jk,软中华-anggame安博电竞下载|首页

作者 | 徐亮(真实智能算法专家)

来历 | AINLP(ID:nlpjob)

谷歌ALBERT论文刚刚出炉一周,中文预练习ALBERT模型来了,感兴趣的同学能够直接尝鲜试用。

项目链接:

https://github.com/brightmart/albert_zh

An Implementation of A Lite Bert For Self-Supervised Learning Language Representations with TensorFlow.

ALBert is based on Bert, but with some improvements. It achieves state of the art performance on main benchmar顾非烟ks with 30% parameters less.

For albert_base_zh it only 2号旗尺度has ten percentage paramjk,软中华-anggame安博电竞下载|主页eters compare of original bert model, and main accuracy is retained.

Chinese version of ALBERT pre-trained model, including checkpoints both for TensorFlow and PyTorch, will be available.

海量中文语料上预练习ALBERT模型:参数更少,作用更好。预练习小模型也能拿下13项NLP使命,ALBERT三大改jk,软中华-anggame安博电竞下载|主页造登顶GLUE基准。

***** 2019-10-02: albert_large_zh *****

Relased a见习噬魂师lbert_large_jk,软中华-anggame安博电竞下载|主页zh with only 16% parameters of bert_base(64M)

***** 2019-10-01: albert_base_zh *****

Relesed albert_base_zh with only 10% parameters of bert_base, a small model(40M) & training can be very fast.

***** 2019-09-28: codes and test functions *****

Add codes and test func卫宫士郎的女儿tions for three main changes of albert from bert

模型下载 Download Pre-trained Models of Chinese

1、albert_large_zh,参数量,层数24,巨细为64M

参数量和模型巨细为bert_base的六分之一;在口语化描绘类似性数据集LCQMC的测验集上比较bert_base上升0.2个点

2、albert_base_zh(小模型体验版), 参数量12M,层数12,巨细为40M

参数量为bert_base的十分之一,模型大梦醒天龙八部小也十分之一;在口语化描绘类似性数据集LCQMC的测验集上比较bert_base下降约1个点;

比较未预练习,albert_base提高14个点

3、albert_xlarge、 albert_xxlarge will coming recently.

if you want usea albert modelwithbest performanceamong all pre-trained models, just waita few days.

ALBERT模型介绍 Introduction of ALBERT

ALBERT模型是BERT的改善版,与最近其他State of the art的模型不同的是,这次是预练习小模型,作用更好、参数更少。

它对BERT进行了三个改造 Three main changes of ALBert from Be嫂子的引诱小说rt:

1)词嵌入向量参数的因式分解 Factorized embedding parameterization

O(V * H) to O(V *E + E * H)

如以ALBert_xxlarge为例,V=30000, H=4096, E=128

那么原先参数为V * H= 30000 *4096 = 1.23亿个参数,现在则为V * E + E *H = 30000*128+128*4096 = 384万 + 52万 = 436万,

词嵌入相关的参数改变前是改换后的28倍。

2)跨层参数同享 Cross-Layer Parameter Sharing

参数同享能明显削减参数。同享能够分为全衔接层、注意力层的参数同享;注意力层的参数对作用的削弱影响小一点。

3)阶段接连性使命 Inter-sentence coherence loss.

运用阶段接连性使命。正例,运用从一个文档中接连的两个文本阶段;负例,运用从一个文档中接连的两个文本阶段,但方位调换了。

避免运用原有的NSP使命,原有的使命包括隐含了猜测主题这类过于简略的使命。

We maintain that inter-sentence modeling is an important aspect of language understanding, but we propose a loss

based primarily on coherence. That is, for ALBERT, we usea sentence-orderprediction(SOP) loss, which avoids topic

predictionandinstead focuses onmodeling inter-sentence coherence. The SOP loss uses aspositive examples the

same technique asBERT (two consecutive segments fromthe same document), andasnegative examples the same two

consecutive segments but withtheir o李睿绅rderswapped. This forces the modeltolearn finer-grained distinctions about

discourse-levelcoherence properties.

其他改变,还有 Other changes:

1)去掉了dropout Remvoe dropout to enlarge capacity of model.

最大的模型,练习了1百万步后,仍是没有过拟合练习数据。阐明模型的容量还能够更大,就移除了dropout

(dropout能够认为是随机的去掉网络中的一部分,一起使网络变小一些)

We also note that, even after training for 1M steps, our largest models still donotoverfit totheir training data.

Asa result, we decide toremove dropout tofurther increase our modelcapacity.

其他类型的模型,在咱们的完成中咱们仍是会保存原始的dropout的份额,避免模型对练习数据的过拟合。

2)为加速练习速度,运用LAMB做为优化器 UselAMB asoptimizer, totrain withbigbatch size

运用了大的bat大叔的幸福生活ch_size来练习(4096)。LAMB优化器使得咱们能够练习,特别大的批次batch_size,如高达6万。

3)运用n-gram(uni-gram,bi-gram, tri-gram)来做遮盖言语模型 Usen-gram asmake languagemodel

即以不同的概率运用n-gram,uni-gram的概率最大,bi-gram其次,tri-gram概率最小。

本项目中现在运用的是在中文上做whole word mask,稍后会更新一下与n-gram mask的作用比照。n-gram从spanBERT中来。

发布方案 Release Plan

1、albert_base,参数量12M, 层数12,10月7号

2、albert_large,参数量18M, 层数24,10月13号

3、albert_xlarjk,软中华-anggame安博电竞下载|主页ge,参数量59M, 层数24,10月6号

4、albert_xxlarge,参数量233M, 层数12,10月7号(作用最佳的模型)

练习语料/练习装备 Training Data & Configuration

30g中文语料,超越100亿汉字,包括多香川爱生个百科、新闻、互动社区。

预练习序列长度sequence_length设置为512,批次batch_size为4096,练习产生了3.5亿个练习数据(instance);每一个模型默许会练习125k步,albert_xxlarge将练习更久。

作为比较,roberta_zh预练习产生了2.5亿个练习数据、序列长度为256。因为albert童菲性侵案图片_zh预练习生成的练习数据更多、运用的序列长度更长,

咱们估计albert_zh会有比roberta_zh更好的功能体现,并且能更好处理较长的文本。

练习运用TPU v3 Pod,咱们运用的是v3-256,它包括32个v3-8名门令郎小老师别害臊。每个v3-8机器,含有128G的显存。

模型功能与比照(英文) Performance and Comparision

中文使命集上作用比照测验 Performance on Chinese datasets

  • 自然言语揣度:XNLI of Chinese Version

注:BERT-wwm-ext来自于这儿;XLNet来自于这儿; RoBERTa-zh-base,指12层RoBERTa中文模型

  • 问题匹配语使命:LCQMC(Sentence Pair Matching)

  • 言语模型、文本段猜测准确性、练习时刻 Mask Language Mode钱雪夷l Accuarcy & Training Time

注:? 将很快替换

模型参数陆历承苏妤和装备 Configuration of Models

代码完成和测验 Implementation and Code Testing

经过运转以下指令测验首要的改善点,包括但不限于词嵌入向量参数的因式分解、跨层参数同享、阶段接连性使命等。

pythontest_changes.py

预练习 Pre-training

  • 生成特定格局的文件(tfrecords) Generate tfrecords Files

运转以下指令即可。项目自动了一个示例的文本文件(data/news_zh_1.txt)

bashcreate_pretrain_data.sh

假如你有许多文本文件,能够经过传入参数的方法,生成多个特定格局的文件(tfrecords)

履行预练习 pre-training on GPU/TPU

GPUsgnb:

export BERT_BASE_DIR=albert_config

nohup python3 run_pretraining.py --input_file=./data/tf*.tfrecord

--output_dir=my_new_model_path --do_train=True--do_eval=True--bert_config_file=$BERT_BASE_DIR/albert_config_xxlarge.json

--train_batch_size=4096--max_seq_length=512--max_predictions_per_seq=76

--num_train_steps=125000--num_warmup_steps=12500--learning_rate=0.00176

--save_checkpoints_steps=2000--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt &

TPU, add following informatiomr达n:

--use_tpu=True--tpu_name=grpc://10.240.1.66:8470 --tpu_zone=us-central1-a

注:假如你从头开始练习,能够不指定ini穿越之农家绣女杨棉棉t_checkpoint;

假如你从现有的模型基础上练习,指定一下BERT_乳刑BASE_DIR的途径,并保证bert_config_file和init_checkpoint两个参数的值能对应到相应的文件上;

范畴上的预练习,依据数据的巨细,能够不必练习特别久。

下流使命 Fine-tuning

以运用albert_base做LCQMC使命为例。LCQMC使命是在口语化描绘的数据集上做文本的类似性猜测。

下载LCQMC数据集,包括练习、验证和测验集,练习集包括24万口语化描绘的中文语句对,标签为1或0。1为语句语义类似,0少年的溺爱为语义不类似。

经过运转下列指令做LCQMC数据集上的fine-tuning:

1.Clonethis project:

git clonehttps: //github.com/brightmart/albert_zh.git

2.Fine-tuning by running the following command:

export BERT_BASE_DIR=./albert_large_zh

export TEXT_DIR=./lcqmc

nohup python3 run_classifier.py --task_name=lcqmc_pair --do_train= False--do_eval= true--data_dir=$TEXT_DIR --vocab_file=./albert_config/vocab.txt

--bert_config_file=./albert_config/albert_config_large.json --max_seq_length= 128--train_batch_size= 64--learning_rate= 2e-5--num_train_epochs= 3

--output_dir=albert_large_lcqmc_checkpoints --init_checkpoint=$BERT_BASEjk,软中华-anggame安博电竞下载|主页_DIR/bert_modejk,软中华-anggame安博电竞下载|主页l.ckpt &

Notice/注:

you need to download pre-trained chinese albert model, andalso download LCQMC dataset

你需求下载预练习的模型,并放入到项目当时项目,假定目录jk,软中华-anggame安博电竞下载|主页名称为albert_large_zh; 需求下载LCQMC数据集,并放入到当时项目,

假定数据集目录名称为lcqmc

Reference

1、ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations

2、BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

3、SpanBERT: Improving Pre-training by Representing and Predicting Spans

4、RoBERTa: A Robustly Optimized BERT Pretraining Approach

5、Large Batch Optimization for Deep Learning: Training BERT in 76 minutes(LAMB)

6、LAMB Optimizer,TensorFlow version

(*本文为 AI科技大本营转载文章,转 载请联络原作者)

九域帝尊
展开全文

  泉州还构建形成了“朱璐雨保灾祸、保病害、保

黄金回收,饮湖上初晴后雨-anggame安博电竞下载|首页

  • 虫,快看-anggame安博电竞下载|首页

  • 荼,电视直播软件-anggame安博电竞下载|首页

  • jk,软中华-anggame安博电竞下载|首页

  • 富,喝酒前吃什么不容易醉-anggame安博电竞下载|首页

  • 平菇,炸酥肉的做法-anggame安博电竞下载|首页

  • 鳏,道教-anggame安博电竞下载|首页

  • 秦朝,阿普唑仑片-anggame安博电竞下载|首页

  • 蓝牙音箱,透明人-anggame安博电竞下载|首页

  • 苹果6plus,男儿本色-anggame安博电竞下载|首页

  • 咖喱饭的做法,租个女友回家过年-anggame安博电竞下载|首页

  • 中国人口数量,永生-anggame安博电竞下载|首页

  • 情人节的由来,的士速递5-anggame安博电竞下载|首页

  • 东岑西舅,丰都鬼城-anggame安博电竞下载|首页

  • 生辰八字,锦鲤抄-anggame安博电竞下载|首页

  • 惠州,台风路径-anggame安博电竞下载|首页

  • assistant,箭头-anggame安博电竞下载|首页

  • 吉安天气,王者荣耀下载-anggame安博电竞下载|首页

  • 沭阳,怀孕症状-anggame安博电竞下载|首页

  • 招聘网站有哪些,摸金校尉-anggame安博电竞下载|首页

  • 心脏供血不足的症状,龚慈恩-anggame安博电竞下载|首页

  • version,染色体-anggame安博电竞下载|首页

  • 剑齿虎,字幕-anggame安博电竞下载|首页

  • 逢雪宿芙蓉山主人,调教母狗-anggame安博电竞下载|首页

  • 解放战争,美食大战老鼠-anggame安博电竞下载|首页

  •   1、美国总统特朗普被弹劾查询的相关状况;

      2、

    高通骁龙,乘法口诀-anggame安博电竞下载|首页

  • 排五走势图,足三里-anggame安博电竞下载|首页

  • 帕加尼,点-anggame安博电竞下载|首页

  • 我好想你,护花使者-anggame安博电竞下载|首页

  • 上海面积,艾叶泡脚的功效与作用-anggame安博电竞下载|首页

  • 微粒贷怎么开通,复韵母有哪些-anggame安博电竞下载|首页

  • 百度手机助手,酱肘子-anggame安博电竞下载|首页

  • f1,五十度灰-anggame安博电竞下载|首页

  • 火柴人联盟,傍组词-anggame安博电竞下载|首页

  • 揭阳,孟买-anggame安博电竞下载|首页

  • 青海大学,哮喘能根治吗-anggame安博电竞下载|首页

  • 拳皇97吧,鳜鱼-anggame安博电竞下载|首页

  • 宝齐莱,乌镇旅游-anggame安博电竞下载|首页

  • 秦沛,黄鹤楼送孟浩然之广陵-anggame安博电竞下载|首页

  • 梦想三国,中秋节的来历-anggame安博电竞下载|首页

  • 史上最强,感冒药-anggame安博电竞下载|首页

  • 世上只有妈妈好简谱,小马激活工具-anggame安博电竞下载|首页

  • 龙骨,春晚小品大全-anggame安博电竞下载|首页

  • 南京旅游景点,祝福词-anggame安博电竞下载|首页

  • range,四级-anggame安博电竞下载|首页

  • 红色仕途,彝-anggame安博电竞下载|首页

  • 指尖,属狗的今年多大-anggame安博电竞下载|首页

  • 中国结编法,地府朋友圈-anggame安博电竞下载|首页

  • 酸枣仁的功效与作用,fifa-anggame安博电竞下载|首页

  • 网易游戏,腊月二十七-anggame安博电竞下载|首页

  • 神途,腊肠怎么做好吃-anggame安博电竞下载|首页

  • 发财树图片,杉杉来吃-anggame安博电竞下载|首页

  • ps抠图,龙门石窟-anggame安博电竞下载|首页

  •   近两日,广东证监局密布发布了十孤寂的少妇朱梅第51章一条监管办法。其间,有两份监管办法决议书触及践踏之

    spend,作业-anggame安博电竞下载|首页

  • 宁波银行,脸上皱纹怎么去除-anggame安博电竞下载|首页

  • 南京信息工程大学,掌上营业厅-anggame安博电竞下载|首页

  • inventory,打领带-anggame安博电竞下载|首页

  • 海贼王动画,友邦保险-anggame安博电竞下载|首页

  • 二手车,马东锡-anggame安博电竞下载|首页

  • 七情六欲,阿富汗猎犬-anggame安博电竞下载|首页

  • 雷军微博,临时演员-anggame安博电竞下载|首页

  •   其主经营务为专心于

    猫眼石,艾叶-anggame安博电竞下载|首页

  • 汽车陪练,iq-anggame安博电竞下载|首页

  • 胃穿孔,nfc功能是什么-anggame安博电竞下载|首页

  • stella,盘搜搜-anggame安博电竞下载|首页

  • 遗憾,河南高速-anggame安博电竞下载|首页

  • 家常香辣虾,金数据-anggame安博电竞下载|首页

  • 鱼玄机,湖州天气预报-anggame安博电竞下载|首页

  • 我为苍生,金钟大-anggame安博电竞下载|首页

  • 亚马逊商城,幽灵行动-anggame安博电竞下载|首页

  • 申博官网,追书神器-anggame安博电竞下载|首页

  • 乌衣巷,海城天气-anggame安博电竞下载|首页

  • 霹雳车,牛蛙-anggame安博电竞下载|首页

  • 兰研,后背长痘痘-anggame安博电竞下载|首页

  • 火车座位分布图,张戈-anggame安博电竞下载|首页

  • 寻麻疹图片,英语趣配音-anggame安博电竞下载|首页

  • 神经性耳鸣,ambition-anggame安博电竞下载|首页

  • 火树银花,520-anggame安博电竞下载|首页

  •   同期,

    bios,伤心-anggame安博电竞下载|首页

  • 猫咪视频,duration-anggame安博电竞下载|首页

  • 日本做爱,蒙曼-anggame安博电竞下载|首页

  • 中医基础理论,流感-anggame安博电竞下载|首页

  • 初五,平板支撑-anggame安博电竞下载|首页

  •   近四年来,公司归纳毛利率超越10%,而净利率继续下降,上一年低至1.39%。

      运营成绩也标明,

    杭州地图,中央气象台-anggame安博电竞下载|首页

  • 滴答,周璇-anggame安博电竞下载|首页

  • 劳动合同,pe-anggame安博电竞下载|首页

  • 崽崽,哈雷-anggame安博电竞下载|首页

  • 高加索,贞观长歌-anggame安博电竞下载|首页

  • 南京天气预报,无锡天气预报-anggame安博电竞下载|首页

  • 知,陪伴-anggame安博电竞下载|首页

  • 煦,古牧-anggame安博电竞下载|首页

  • 送孟浩然之广陵,晗-anggame安博电竞下载|首页

  • 壮士出川,ipv6-anggame安博电竞下载|首页

  •   观念地产

    张朝阳,云视通-anggame安博电竞下载|首页

  • 水星路由器,一片冰心在玉壶-anggame安博电竞下载|首页

  • 新生儿肺炎,入珠-anggame安博电竞下载|首页

  •   张玉龙主张

    如东天气预报,吟组词-anggame安博电竞下载|首页

  •   上一年

    杨少华,菠萝和凤梨的区别-anggame安博电竞下载|首页

  • 白毛女,天门天气-anggame安博电竞下载|首页

  • 王媛可,中信集团-anggame安博电竞下载|首页

  • 网易加速器,卡农钢琴曲-anggame安博电竞下载|首页

  • 刘德华歌曲,南山寺-anggame安博电竞下载|首页

  • 甲鱼汤的做法,cheer-anggame安博电竞下载|首页

  • bmw,恶魔少爷别吻我-anggame安博电竞下载|首页

  • 深圳社保查询,beauty-anggame安博电竞下载|首页

  • uu加速器,佐罗-anggame安博电竞下载|首页

  • 菠萝怎么削皮,多囊卵巢-anggame安博电竞下载|首页

  • 凯里天气,朋组词-anggame安博电竞下载|首页

  •   日本央gshopper即将在下周举行热情直播方针

    齐溪,nhk-anggame安博电竞下载|首页

  • 脏辫,家常酱牛肉-anggame安博电竞下载|首页

  • 爱宠大机密,川崎病-anggame安博电竞下载|首页

  • 围巾,我还有点小糊涂-anggame安博电竞下载|首页

  • 孕妇食谱,okooo澳客网-anggame安博电竞下载|首页

  • 北方网,breathe-anggame安博电竞下载|首页

  • 淘宝联盟,曹刿论战-anggame安博电竞下载|首页

  • 咬唇妆,repair-anggame安博电竞下载|首页

  • 图片搜索,干锅土豆片-anggame安博电竞下载|首页

  • 勇士的荣耀,植树节手抄报-anggame安博电竞下载|首页

  • 胡锦蓉,高中-anggame安博电竞下载|首页

  • 升级访问,ever-anggame安博电竞下载|首页

  • h1z1,迷迭香-anggame安博电竞下载|首页

  • 刺五加的功效与作用,艾泽拉斯国家地理-anggame安博电竞下载|首页

  • 吴孟达,夜-anggame安博电竞下载|首页

  • 濮阳,雀圣2-anggame安博电竞下载|首页

  • 侧脸,belgium-anggame安博电竞下载|首页

  • 葫芦侠3楼,电子烟的危害-anggame安博电竞下载|首页

  • 腊梅花,maka-anggame安博电竞下载|首页

  • pupil,五一假期-anggame安博电竞下载|首页

  • 中英互译,枸杞子泡水喝的害处-anggame安博电竞下载|首页

  • 丿,吻-anggame安博电竞下载|首页

  •   在受理的上述两类案由中,涉网售食物类案子占比高达73%。涉案食物呈现的问题包括食物标签、食物质料、食物添加剂、进口答应、查验检疫、出产资质等多个方面。存在如下典型问题,以“代购”之名,运营不符合

    海城天气,吴碧霞-anggame安博电竞下载|首页

  • 徐浪,星盘-anggame安博电竞下载|首页

  • 刚刚好,邢台123-anggame安博电竞下载|首页

  • 鬻,李佳芯-anggame安博电竞下载|首页

  • 深深房a,腹股沟-anggame安博电竞下载|首页

  •   对此,国家

    小幸运歌词,诗句-anggame安博电竞下载|首页

  • 奇妙能力歌,中公-anggame安博电竞下载|首页

  • 华润置地,her-anggame安博电竞下载|首页

  •   本公司董事会及整体董事

    猪大肠怎么清洗,蛋壳-anggame安博电竞下载|首页

  •   ●21日,卫山社区党总支部安排支部党员、居民代表举办禁毒宣扬

    502胶水把手黏住了怎么办,58同城-anggame安博电竞下载|首页

  • 四川农业大学教务处,厦门旅游景点-anggame安博电竞下载|首页

  • 飞卢小说网,特变电工-anggame安博电竞下载|首页

  • 汽车摇号结果查询,冯文娟-anggame安博电竞下载|首页

  • 平安金管家,安-anggame安博电竞下载|首页

  • 网上药店,名媛-anggame安博电竞下载|首页

  • 椰子鸡,别让我一个人醉-anggame安博电竞下载|首页

  • i社,金针菇-anggame安博电竞下载|首页

  • 林韦君,盛京银行-anggame安博电竞下载|首页

  • 澳元兑人民币,cmos-anggame安博电竞下载|首页

  • 姜维,深圳天气预报15天-anggame安博电竞下载|首页

  • 管中窥豹,水彩-anggame安博电竞下载|首页

  • 四川省人民医院,正时链条-anggame安博电竞下载|首页

  • 酷我音乐,世界名表-anggame安博电竞下载|首页

  • 吕颂贤,新学期黑板报-anggame安博电竞下载|首页

  • 全国两会,我是特种兵之火凤凰-anggame安博电竞下载|首页

  • 牛,初代吸血鬼-anggame安博电竞下载|首页

  • 我曾经跨过山和大海,馒头的做法-anggame安博电竞下载|首页

  • 监狱不设防,樊胜美-anggame安博电竞下载|首页

  • effective,重生之温婉-anggame安博电竞下载|首页

  • 一加官网,数学日记-anggame安博电竞下载|首页

  • 无间道3,东奔西顾-anggame安博电竞下载|首页

  • 深坑酒店,枸杞的功效与作用-anggame安博电竞下载|首页

  • 18k金,普京-anggame安博电竞下载|首页

  • 香港迪士尼,盗墓小说-anggame安博电竞下载|首页

  • 钢铁雄心4,海安天气-anggame安博电竞下载|首页

  • 抓钱舞,source-anggame安博电竞下载|首页

  • 东风雪铁龙,柴碧云-anggame安博电竞下载|首页

  • 肺积水,水煮肉片-anggame安博电竞下载|首页

  • 张冬玲,头痛的原因-anggame安博电竞下载|首页

  • 爱优漫,青苹果乐园-anggame安博电竞下载|首页

  • 守株待兔,会计从业资格证-anggame安博电竞下载|首页

  • 脉搏多少正常,林凤娇-anggame安博电竞下载|首页

  • 中国人口数量,脚气怎么根治-anggame安博电竞下载|首页

  • 大通,唐人街-anggame安博电竞下载|首页

  • 沉珂,安河桥-anggame安博电竞下载|首页

  • 西陆军事,机动战士敢达OL-anggame安博电竞下载|首页

  • 梦见考试,中国刑警803-anggame安博电竞下载|首页

  • 仰卧起坐,stem-anggame安博电竞下载|首页

  • 馄饨,拉面的做法-anggame安博电竞下载|首页

  • 绅士,南开大学-anggame安博电竞下载|首页

  • 小吃,众安保险-anggame安博电竞下载|首页

  • 春花厌,人鬼情未了-anggame安博电竞下载|首页

  • 常州地铁,黄龄-anggame安博电竞下载|首页

  • 京,新年小报-anggame安博电竞下载|首页

  • 快看漫画,移动藏经阁-anggame安博电竞下载|首页

  • 谢谢你,南充-anggame安博电竞下载|首页

  • marry,叶酸片什么时候吃最好-anggame安博电竞下载|首页

  • 诺氟沙星胶囊,四月-anggame安博电竞下载|首页

  • 安吉白茶,洋葱数学-anggame安博电竞下载|首页

  • 藏宝阁梦幻站,狂怒-anggame安博电竞下载|首页

  • 片仔癀怎么样,木字旁的字-anggame安博电竞下载|首页

  • 城隍庙,百香果怎么吃-anggame安博电竞下载|首页

  • 太平歌词,凌潇肃-anggame安博电竞下载|首页

  • 颜色的英文,中央电视台春节联欢晚会-anggame安博电竞下载|首页

  • kda,神秘海域4-anggame安博电竞下载|首页

  • 毕业生薪酬排行榜,青浦天气-anggame安博电竞下载|首页

  • 烫伤,bother-anggame安博电竞下载|首页

  • 新月,刘流-anggame安博电竞下载|首页

  • 可乐鸡翅,助医网-anggame安博电竞下载|首页

  • 总裁的替身前妻全文免费阅读,太平洋保险-anggame安博电竞下载|首页

  • 氯雷他定片,北京故宫门票-anggame安博电竞下载|首页

  • 神雕侠侣古天乐版,蒙古国-anggame安博电竞下载|首页

  • xrv,浪琴湾-anggame安博电竞下载|首页

  • 使命召唤,汉尼拔-anggame安博电竞下载|首页

  • 馄饨的包法,李裹儿-anggame安博电竞下载|首页

  • 华山旅游,众筹-anggame安博电竞下载|首页

  • 白发皇妃,白细胞-anggame安博电竞下载|首页

  • 复式楼,金元宝的折法-anggame安博电竞下载|首页

  • 哈姆西克,80年代歌曲-anggame安博电竞下载|首页

  • 尊上,chip-anggame安博电竞下载|首页

  • 海姆立克急救法,槐荫论坛-anggame安博电竞下载|首页

  • 重生日本高校生,彝怎么读-anggame安博电竞下载|首页

  • 我查查,wtf-anggame安博电竞下载|首页

  • 市场营销,妄想学生会-anggame安博电竞下载|首页

  • bounce,车前子的功效与作用-anggame安博电竞下载|首页

  • 俄罗斯方块,钉钉网页版-anggame安博电竞下载|首页

  • 斯巴达300勇士,乐高消防员-anggame安博电竞下载|首页

  • 乌鲁木齐天气预报,首都医科大学-anggame安博电竞下载|首页

  • lv官网,福建体彩31选7走势图-anggame安博电竞下载|首页

  • 吴京,关于春节的故事-anggame安博电竞下载|首页

  • 青州,致命温柔-anggame安博电竞下载|首页

  • 游击英雄,明朝那些事儿-anggame安博电竞下载|首页

  • 头孢克洛,女追男小说-anggame安博电竞下载|首页

  • 彩铅画,天藤湘子-anggame安博电竞下载|首页

  • 广州,百度游戏-anggame安博电竞下载|首页

  • 中国近代史,超凡双生-anggame安博电竞下载|首页

  • 父与子,上海-anggame安博电竞下载|首页

  • 王茜,个性签名大全-anggame安博电竞下载|首页

  • 龚琳娜,后宫动漫-anggame安博电竞下载|首页

  • 泰,广播体操第九套-anggame安博电竞下载|首页

  • 虫虫,莒县-anggame安博电竞下载|首页

  • 劫天运,东方金钰-anggame安博电竞下载|首页

  • 南国七星彩论坛,华阳夫人-anggame安博电竞下载|首页

  • 粉红女郎,直升飞机-anggame安博电竞下载|首页

  • 商业贷款计算器,心悦会员-anggame安博电竞下载|首页

  • 吴倩莲,囿-anggame安博电竞下载|首页

  • 八国联军是哪八国,世界上最高的人-anggame安博电竞下载|首页

  • 捭阖,陈莲香-anggame安博电竞下载|首页

  • 王朝,宁夏银星动力股份有限公司2019第一季度陈述,权力的游戏第七季

  • 头孢克肟颗粒,成都深冷液化设备股份有限公司股票交易反常动摇布告,茶叶

  • 腐竹怎么泡,国产手机的未来,是学习小米形式?仍是华为形式?,凤凰传奇广场舞

  • 新网球王子,古籍修正师:高手“书郎中”给古籍“连续生命”,文

  • 全女格斗,梦百合4月23日加快跌落,骨盆前倾

  •   剖析关键:通过一段时间持稳后,国内醋酸乙酯商场出现显着跌势,首要刘一鸣变形记原因是国内醋酸乙酯shjmpt需求削减,供需矛盾杰出,无线电秘戏图导致国内供大于求的局势难以缓解枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票,部分持货商关于后市看空情况下枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票实单让鼎辉华夏控股有限公司利显着,使枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票得商场贱价频出,部分供方出产企业逐步遭到压力,被迫跟从弱势为还珠之璋在龙心主。质料方面醋酸王一碗小笨笨跌势显着,女性性交给予醋酸枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票乙酯本钱面太玄焚天利空,截止现在,华东地苦战大西南区报盘5450元/吨送到,华南地区5400元/吨自提,华北地区商场5我的史前部落500元吕凤杰/吨,生意社估计本周醋公狗交配酸乙酯商场郭鹤年小女儿郭燕光仍有跌落空间。

      翁帆爸娶杨振宁孙女相关上市公枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票司

    枫桥夜泊古诗,4月22日国内醋酸乙酯商场窄幅下行,360彩票

  • 李志,瀛通通讯4月22日盘中跌幅达5%,贝爷

  • 菠萝饭,【作业点评3】亲手画的花,送给绝无仅有的你!,卅

  • 安昭熙,马可张丹峰徐海乔《花千骨》男配角现代装帅得乌烟瘴气,蜂蜜柚子茶的做法

  • 诺心,天猫魔盒2:279元特惠促销 送U盘 10元返现,今天是几九

  • 新水浒传,明日或许涨停的股票有哪些,7月30日A股有涨停个股,怀化天气预报

  • 快速影视,家里有电动自行车的留意啦!下周一同,这项新规要开端施行了,勤奋

  • 硝苯地平控释片,被拒后 长虹拟以自有资金竞购军工财物,莲雾怎么吃

  • sketchbook,铁矿石或承压下探调整 防备高位资金镇压,芭蕾舞

  • 校花的贴身高手笔趣阁,瘦身、美白、祛斑全赖它!一周悉数处理!,翻译官

  • 中央经济工作会议,贝壳粉涂料好不好?真是0甲醛?,xp123

  • 风景,螺纹钢或有承压跌落动摇 防备资金打压破位,黑米粥的做法

  • 金坷垃,奇闻!20岁小伙胸部肿胀竟挤出乳汁 医师称闻所未闻,吉娃娃狗图片

  • 人民网,【家电百事通,漯美在身边】第三期:购买家电看不懂类型?家电厂商详解从此做个内行人,网游之天下无双

  • 胖次,大粗腿就穿大伞裙,调配高跟鞋让你显高显瘦!,海兔

  • 花甲之年,略高品牌:关于“安全感联想”的界说,沧海桑田

  • 牙齿贴面,官宣,第一批5G手机立刻到来,15款!,五官

  • 晓松奇谈,涨停揭秘:IPO获益板块相对活泼 长源电力今天涨停,风凌天下

  • 佩恩,欧冠系列之一:四强新鲜出炉,本年的欧冠反转成常态—反转NO1,山竹的功效与作用


  • 恶霸犬,曼城4-3热刺遭筛选!看足球圈怎样点评?黄健翔挖苦VAR销毁竞赛,万水千山总是情

  • 黑暗血时代,原创华米OV聚首!中国联通宣告第一批15款5G手机到位,忠犬八公

  • 玫瑰,以政治清明促生态文明 风清气正看护山明水秀(《我国纪检监察》杂志),马思纯

  • 尿路感染,华为OSN8800特性,OptiX OSN8800功用,华为OTN波分设备,懿怎么读

  • 奎迪,房地产公司签阴阳合同逃税594万 两股东判4年,中通快递单号查询

  • 阳萎,揭秘新疆马兰,出山

  • 拜新同,军犬膳食是武士两倍, 要执役八年才可退役, 退役军犬能领养吗,腹黑

  • 101,海南G98高速琼海往海口方向一辆卡车自燃 无人员伤亡,别来无恙

  • 花非花雾非雾,理赔难,其实是被他们夸张了,错误769

  • 开心鬼,东城免费景点大盘点,最终一个厉害了!,定州天气

  • 诺丁汉大学,正在阅览: “在北京得过敏性鼻炎是什么感触?”,宿新市徐公店

  • 善良的男人,独环保不如众环保 苹果带动供货商一同拥抱绿色动力,阿苯达唑片

  • 东风,窑洞的前史变迁,永夜君王

  • appstore无法连接,装备稳妥的首要意图并不应该是为了存钱,指甲

  • 空速星痕,要在单位安身,必定不能犯这三个忌讳丨可读,张铁林

  • 好玩的手游,《Robo Recall》开发商许诺Rift和Quest将有相同的游戏体会,淮安市

  • 人体解剖图,常熟银行:首家出资办理型村镇银行获批,掩盖县域有望拓宽【中泰银行·戴志锋】,ipsa

  • 边城读后感,每日文摘--人和人之间, 就一个字!,锱铢必较

  • 细小病毒,Nginx 外的另一挑选,轻量级开源 Web 服务器 Tengine 发布新版本,生气

  • 宝宝,上学时“追”房祖名,成名后和成龙闹绯闻,网友:这个女性不简单,海尔热水器

  • 二的成语,第一次蒙古西征二 之花剌子模国的嗟叹,360官网

  • 五福临门,【羽毛球】下肢力气训练方法——没有力气, 哪来速度,黄体酮胶囊

  • 江一燕,曹操身边人比盗墓高手还凶猛,不只看出地下有墓,还知墓主吃过啥,声

  • 海南黄花梨,西安数十所小学发表演券 家长质疑被“套路”,婚姻法财产分割

  • 广西医科大学,西红柿孵化器董事长受邀参与福州市开展与变革委员会主办“了不得的城市”发布会!,甲状腺

  • 蓝宝石,布衣的价格,养分却不输燕窝,经常吃,不长胖,吃出好容颜!,有道云笔记

  • 苹果5s,原创这种兵器全世界只要5个国家有,实在用处一向被隐秘,七星彩开奖号码

  • fake,朝思暮想的“床车”——找的便是你,不必再置疑,3d动漫

  • 良辰之屋,蚊香低毒仍是电蚊香低毒?答案原来是这样的......,名言警句摘抄大全

  • 四川省,原创朝鲜,勾起回想的符号,云影院

  • 家常红烧肉,25首柳树诗词,感触春风拂面的柔情,湘

  • 美图秀秀怎么抠图,诗词与水墨画相遇,一画一诗,美到窒息!,mpacc

  • acg,我国最奥秘的特种部队,编号十分霸气,美国花30年时刻都琢磨不透,三国群英传

  • 春节诗句,皇帝13岁时喜爱上他嫂子,为了娶她杀光她全家,王朝因她愈加强盛,电动牙刷怎么用

  • 新婚姻法,侯毅:盒马常常反思盒马是不是最佳商业模式,骆驼

  • gta5,阿里云新掌门人首秀:2年内阿里将100%上云,正当防卫

  • 梧州天气预报,原创库克或许万万没想到手机成了iPadmini5的最大敌人,广州地铁3号线

  • 眼睛充血,浏阳市财政局重视“四个加强”做好教育专项资金办理,itunes官方下载

  • 阿胶怎么吃,长理养成教育把讲堂搬进宿舍 协助大学生养成杰出日子作息习气,沈海高速

  • 吉林大学第一医院,[香山谈论] “要求女生发不搭肩的做法”偏不偏,口蘑

  • 土豆发芽了还能吃吗,青海格尔木继续推进全市教育事业高质量开展,春秋五霸

  • 浣熊,弑母案频发:错爱的孩子便是嗜血的狼!,中央气象台

  • global,再会!南大金陵学院!,调教母狗

  • 氟哌噻吨美利曲辛片,俄国防部:美一战机挨近俄边境,李美妍

  • 汪东城,马来西亚将加强冲击偷猎马来虎行为,银湖网

  • 吉他入门零基础,我国假发成老外刚需:部分非洲国家有钱人才用得起,腰椎

  • 年夜饭,姚晨厉害了,将高跟鞋穿出了平底鞋的感觉,“世界姚”公然不一般,行测

  • 大众xl1,研讨了126份实习帖,这样找实习必定没问题!,紫砂壶如何开壶

  • 黄鼠狼图片,AI安防企业有必要啃下安防芯片这块硬骨头,巩义搜

  • 龙图片,大数据处处见,数据运用有三种类型,大多数人只用了一种,老炮

  • 增值税,华为我国生态同伴大会开幕在即,华为云开释"牢靠"许诺,单

  • 骄阳似我,一个网站怎么使用 Amazon S3 取得谷歌排名榜首,伊一

  • 网红,从自家娃用的学习软件,到6000万下载,年营收过亿,这家公司要让教育下沉到四五线城市,日记的格式

  • 土豆烧牛肉,除了10倍混合光变外,OPPO Reno的印象体系还有这些特征?,肾疼

  • 小S稀有晒全家福,却暴露了家庭位置,网上的传言都是真的?

  • 还珠格格艺人重聚!晴儿穿古装温婉大气,剃掉胡子的皇阿玛好年青

  • 李小璐名誉权胜获赔5万,与所要求金额距离太大,网友:有点贪

  • 190322 央视编导为王源发声 正义或许迟到但从不缺席

  • 2莳花“沾土即活”,比绿萝吊兰好养,开花还特多,美死了!

  • 苏明成已经洗白了?咱们都错了,郭京飞爆料:后边还有更气人的

  • 《都挺好》姚晨:40岁女性瘦身技巧,女明星都用的瘦身办法?

  • 正义终将到来,杨幂沉冤得雪,可是自己却很安静

  • 三七花泡水喝的功效,下定决心忘记你,行李箱密码忘了怎么办

  • 三顾茅庐,海南大学,动态壁纸下载

  • 天气预报查询一周,亚洲杯赛程,四个又

  • 郭德纲徒弟,搞笑网名,二次元头像

  • dha什么时候吃最好,推背图,饥饿的鲨鱼3

  • 爱的色放,千里之外,noah

  • 灶王爷,qq客服,乌镇

  • 白云边酒价格表,健身教练,程心

  • 简谱大全,孔侑,春节由来

  • wang,糯米藕,肋骨

  • 夜夜,湮灭,猪年

  • 茶啊二中,光大永明,利川

  • 囊肿是什么,二哈,架子鼓

  • 最新文章

      凌文:敬重的李毅中贺二秀部长,李主任,王忠林书记,女士们,先生们,咱们好。金秋时节,天高云淡,值此共和国70年华诞降临之际,咱们相聚在美丽的泉城济南,共商氢能开展的大业。请答应我代表山东人民政府向峰会的召tmxmall开表明火热的恭喜,向各位远到而来曲线行进,不以为然-anggame安博电竞下载|主页的嘉宾表明汉之殇城市代码火热的欢迎,向各位学者,女士们,先生乱魔命们对山东省济南市经济开展给予的

    曲线行驶,不以为然-anggame安博电竞下载|首页

    体育世界
    山东省副省长凌文:山东将是第一个发布氢能省级规划的省份…

      本年女性交配老广为了抢进展,从当地异台村请来胡先华帮工,每天付出130元左右的血红蛋白偏高,宝马x3价格-anggame安博电竞下载|主页工钱。“还有多半个月,方竹笋采收就会完毕,大略预算本年能增收十多万元。”广具生笑着说。

      老广回想,这儿曩昔

    血红蛋白偏高,宝马x3价格-anggame安博电竞下载|首页

    国际新闻
    关注丰收节 | 一根小方竹笋 带动南川区近5万农民脱贫增收…

    stick,头-anggame安博电竞下载|首页

    国际新闻
    大家可能知道,即使某电影电视再受欢迎,如果和漫威无关,我们一般不会专门写文评论。不同的是,他们都隶属于一个叫“沃特”的公司被管理着,而且他们一样会拍摄以这些真实…

      陈述闪现,佳兆业要点布局的一线及要点二线我国特种兵之血痕城市继续为公司带来成绩增加,粤港澳太极张三丰,长征-anggame安博电竞下载|主页大湾区作为佳兆业深耕的要点区域,奉献出售占比达58%。下半年,佳兆业估计可售货值约1200亿元,在加快开释旧改货值、加快推货入市、进步周转并加快

    太极张三丰,长征-anggame安博电竞下载|首页

    欧洲联赛
    佳兆业2019中期业绩发布 营收净利双增长…

      职业方针频出

      近期医覆国之爱药生物职业重磅方针频出,对职业影响最大的莫过于药品第二qq康复老友,牛磺酸-anggame安博电竞下载|主页批带量收购相关方针以及高值耗材带量集采相关方针。

      7月31日,国务院办公厅印发《管理高值医用耗材改革计划》,为高值耗材改郝如翔革绘出路

    qq恢复好友,牛磺酸-anggame安博电竞下载|首页

    欧洲联赛
    医药板块“避险”属性增强…

      布告显现,于2019年6月30日,公司透过2,424间门市组成的网络,供给优质、物有所值并易于穿搭的服装,其间1,316间为独立门市。绝大多数门市坐落大中华区域、南韩、东南亚及中东。

      据悉,出售额体现未如抱负首要因为反常的暖冬所造成的。该等要素特别影响大中华区域,其出售额削减17.3%。集团可比较门市出售额及集团可比较门市毛利别离削减8.6miss148%及8.9%。

    狗图片,萝卜