增加finetune代码

PaddleNLP/ELMO/finetune/bilm.py

+#   Copyright (c) 2018 PaddlePaddle Authors. All Rights Reserve.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+from __future__ import absolute_import
+from __future__ import division
+from __future__ import print_function
+
+import paddle.fluid.layers as layers
+import paddle.fluid as fluid
+import numpy as np
+import os
+
+cell_clip=3.0
+proj_clip=3.0
+hidden_size=4096
+vocab_size=52445
+emb_size=512
+
+def dropout(input):
+    dropout_rate=0.5
+    return layers.dropout(
+            input,
+            dropout_prob=dropout_rate,
+            dropout_implementation="upscale_in_train",
+            is_test=False)
+
+
+def lstmp_encoder(input_seq, gate_size, h_0, c_0, para_name, proj_size, args):
+    # A lstm encoder implementation with projection.
+    # Linear transformation part for input gate, output gate, forget gate
+    # and cell activation vectors need be done outside of dynamic_lstm.
+    # So the output size is 4 times of gate_size.
+
+
+    init = None
+    init_b = None
+    input_proj = layers.fc(input=input_seq,
+                           param_attr=fluid.ParamAttr(
+                               name=para_name + '_gate_w', initializer=init),
+                           size=gate_size * 4,
+                           act=None,
+                           bias_attr=False)
+    hidden, cell = layers.dynamic_lstmp(
+        input=input_proj,
+        size=gate_size * 4,
+        proj_size=proj_size,
+        h_0=h_0,
+        c_0=c_0,
+        use_peepholes=False,
+        proj_clip=proj_clip,
+        cell_clip=cell_clip,
+        proj_activation="identity",
+        param_attr=fluid.ParamAttr(initializer=init),
+        bias_attr=fluid.ParamAttr(initializer=init_b))
+    return hidden, cell, input_proj
+
+def emb(x, vocab_size=52445,emb_size=512):
+    x_emb = layers.embedding(
+        input=x,
+        size=[vocab_size, emb_size],
+        dtype='float32',
+        is_sparse=False,
+        param_attr=fluid.ParamAttr(name='embedding_para'))
+    return x_emb
+
+
+def encoder_1(x_emb,
+            vocab_size,
+            emb_size,
+            init_hidden=None,
+            init_cell=None,
+            para_name='',
+            args=None):
+    rnn_input = x_emb
+    #rnn_input.stop_gradient = True
+    rnn_outs = []
+    rnn_outs_ori = []
+    cells = []
+    projs = []
+    num_layers=2
+    for i in range(num_layers):
+        if init_hidden and init_cell:
+            h0 = layers.squeeze(
+                layers.slice(
+                    init_hidden, axes=[0], starts=[i], ends=[i + 1]),
+                axes=[0])
+            c0 = layers.squeeze(
+                layers.slice(
+                    init_cell, axes=[0], starts=[i], ends=[i + 1]),
+                axes=[0])
+        else:
+            h0 = c0 = None
+        rnn_out, cell, input_proj = lstmp_encoder(
+            rnn_input, hidden_size, h0, c0,
+            para_name + 'layer{}'.format(i + 1), emb_size, args)
+        rnn_out_ori = rnn_out
+        if i > 0:
+            rnn_out = rnn_out + rnn_input
+        rnn_out.stop_gradient = True
+        rnn_outs.append(rnn_out)
+        rnn_outs_ori.append(rnn_out_ori)
+    return  rnn_outs, rnn_outs_ori
+
+
+def weight_layers(lm_embeddings, name="", l2_coef=0.0):
+    '''
+    Weight the layers of a biLM with trainable scalar weights to
+    compute ELMo representations.
+
+    Input:
+        lm_embeddings(list): representations of 2 layers from biLM.
+        name = a string prefix used for the trainable variable names
+        l2_coef: the l2 regularization coefficient $\lambda$.
+            Pass None or 0.0 for no regularization.
+
+    Output:
+        weighted_lm_layers: weighted embeddings form biLM
+    '''
+
+    n_lm_layers = len(lm_embeddings)
+    W = layers.create_parameter([n_lm_layers, ], dtype="float32", name=name+"ELMo_w",
+                                attr=fluid.ParamAttr(name=name+"ELMo_w",
+                                                     initializer=fluid.initializer.Constant(0.0),
+                                                     regularizer=fluid.regularizer.L2Decay(l2_coef)))
+    normed_weights = layers.softmax( W + 1.0 / n_lm_layers)
+    splited_normed_weights = layers.split(normed_weights, n_lm_layers, dim=0)
+    # compute the weighted, normalized LM activations
+    pieces = []
+    for w, t in zip(splited_normed_weights, lm_embeddings):
+        pieces.append(t * w)
+    sum_pieces = layers.sums(pieces)
+    # scale the weighted sum by gamma
+    gamma = layers.create_parameter([1], dtype="float32", name=name+"ELMo_gamma",
+                                attr=fluid.ParamAttr(name=name+"ELMo_gamma",
+                                                     initializer=fluid.initializer.Constant(1.0)))
+    weighted_lm_layers = sum_pieces * gamma
+    return weighted_lm_layers
+
+
+def elmo_encoder(x_emb, elmo_l2_coef):
+    lstm_outputs = []
+    x_emb_r=fluid.layers.sequence_reverse(x_emb, name=None)
+    fw_hiddens, fw_hiddens_ori = encoder_1(
+        x_emb,
+        vocab_size,
+        emb_size,
+        para_name='fw_',
+        args=None)
+    bw_hiddens, bw_hiddens_ori = encoder_1(
+         x_emb_r,
+         vocab_size,
+         emb_size,
+         para_name='bw_',
+         args=None)
+
+    num_layers = len(fw_hiddens_ori)
+    token_embeddings = layers.concat(input=[x_emb, x_emb], axis=1)
+    token_embeddings.stop_gradient = True
+    concate_embeddings = [token_embeddings]
+    for index in range(num_layers):
+        embedding = layers.concat(input = [fw_hiddens_ori[index], bw_hiddens_ori[index]], axis=1)
+        embedding = dropout(embedding)
+        embedding.stop_gradient=True
+        concate_embeddings.append(embedding)
+    weighted_meb = weight_layers(concate_embeddings, l2_coef=elmo_l2_coef)
+    return weighted_meb
+  
+  
+def init_pretraining_params(exe,
+                            pretraining_params_path,
+                            main_program):
+    assert os.path.exists(pretraining_params_path
+                          ), "[%s] cann't be found." % pretraining_params_path
+
+    def if_exist(var):
+      path = os.path.join(pretraining_params_path, var.name)
+      exist = os.path.exists(path)
+      if exist:
+          print('Load model: %s' % path)
+      return exist
+
+    fluid.io.load_vars(
+        exe,
+        pretraining_params_path,
+        main_program=main_program,
+        predicate=if_exist)
+    print("Load pretraining parameters from {}.".format(
+        pretraining_params_path))

PaddleNLP/ELMO/finetune/conf/q2b.dic

+　	 
+、	,
+。	.
+—	-
+～	~
+‖	|
+…	.
+‘	'
+’	'
+“	"
+”	"
+〔	(
+〕	)
+〈	<
+〉	>
+「	'
+」	'
+『	"
+』	"
+〖	[
+〗	]
+【	[
+】	]
+∶	:
+＄	$
+！	!
+＂	"
+＃	#
+％	%
+＆	&
+＇	'
+（	(
+）	)
+＊	*
+＋	+
+，	,
+－	-
+．	.
+／	/
+０	0
+１	1
+２	2
+３	3
+４	4
+５	5
+６	6
+７	7
+８	8
+９	9
+：	:
+；	;
+＜	<
+＝	=
+＞	>
+？	?
+＠	@
+Ａ	a
+Ｂ	b
+Ｃ	c
+Ｄ	d
+Ｅ	e
+Ｆ	f
+Ｇ	g
+Ｈ	h
+Ｉ	i
+Ｊ	j
+Ｋ	k
+Ｌ	l
+Ｍ	m
+Ｎ	n
+Ｏ	o
+Ｐ	p
+Ｑ	q
+Ｒ	r
+Ｓ	s
+Ｔ	t
+Ｕ	u
+Ｖ	v
+Ｗ	w
+Ｘ	x
+Ｙ	y
+Ｚ	z
+［	[
+＼	\
+］	]
+＾	^
+＿	_
+｀	`
+ａ	a
+ｂ	b
+ｃ	c
+ｄ	d
+ｅ	e
+ｆ	f
+ｇ	g
+ｈ	h
+ｉ	i
+ｊ	j
+ｋ	k
+ｌ	l
+ｍ	m
+ｎ	n
+ｏ	o
+ｐ	p
+ｑ	q
+ｒ	r
+ｓ	s
+ｔ	t
+ｕ	u
+ｖ	v
+ｗ	w
+ｘ	x
+ｙ	y
+ｚ	z
+｛	{
+｜	|
+｝	}
+￣	~
+〝	"
+〞	"
+﹐	,
+﹑	,
+﹒	.
+﹔	;
+﹕	:
+﹖	?
+﹗	!
+﹙	(
+﹚	)
+﹛	{
+﹜	{
+﹝	[
+﹞	]
+﹟	#
+﹠	&
+﹡	*
+﹢	+
+﹣	-
+﹤	<
+﹥	>
+﹦	=
+﹨	\
+﹩	$
+﹪	%
+﹫	@
+ 	,
+A	a
+B	b
+C	c
+D	d
+E	e
+F	f
+G	g
+H	h
+I	i
+J	j
+K	k
+L	l
+M	m
+N	n
+O	o
+P	p
+Q	q
+R	r
+S	s
+T	t
+U	u
+V	v
+W	w
+X	x
+Y	y
+Z	z

PaddleNLP/ELMO/finetune/data/dev/dev.tsv

+笔记本 电脑 对 胎儿 影响 大 吗	n n p n v a xc
+这个 跟 我们 一直 传承 《 易经 》 的 精神 是 分 不 开 的	r p r d v w nz w u n v v-B v-I v-I u
+他们 不 但 上 名医 门诊 , 还 兼 作 门诊 医生 的 顾问 团	r d c v n vn w d v-B v-I vn n u n-B n-I
+负责 外商 投资 企业 和 外国 企业 的 税务 登记 , 纳税 申报 和 税收 资料 的 管理 , 全面 掌握 税收 信息	v n vn n c n n u n vn w vn vn c n n u vn w ad v n n
+采用 弹性 密封 结构 , 实现 零 间隙	v n vn n w v a n
+要 做 好 这 三 件 事 , 支行 从 风险 管理 到 市场 营销 策划 都 必须 专业 到位	v v-B v-I r m-B m-I n w n p n vn p n vn vn d d a v
+那么 , 请 你 一定 要 幸福 .	r w v nz-B nz-I nz-I nz-I w
+叉车 在 企业 的 物流 系统 中 扮演 着 非常 重要 的 角色 , 是 物料 搬运 设备 中 的 主力 军	n p n u n n f v u d a u n w v n v n f u n-B n-I
+我 真 的 能够 有 机会 拍摄 这部 电视 剧 么	r a u v v n v r n-B n-I xc
+这种 情况 应该 是 没 有 危害 的	r n v v v-B v-I vn u
+你 帮 我 找 找 附近 有 搞基 的 吗	r v r v-B v-I f v v u xc
+三 十 里 和 百里 风 区 有 10 级 西北 风 , 瞬间 11 级	m-B m-I q c m n n v m-B m-I n-B n-I w t m-B m-I
+让 你 的 瞬间 爆发 满足 一切 理想 状态	v r u vn-B vn-I v r a n
+实践 证明 , 党委 的 重视 , 关心 和 支持 , 是 做 好 人大 工作 的 根本 保证	vn v w n u vn w vn c vn w v v-B v-I nt n u a vn
+对 开展 治理 工作 不 认真 , 组织 领导 不 力 的 , 要 及时 督促 纠正 , 必要 时 进行 通报 批评 和 责任 追究	p v vn n d a w v v a-B a-I u w v ad v v w t-B t-I v vn vn c n vn
+语气 非常 强硬 , 能 有 什么 办法 , 咱们 能 不 遵命 吗	n d a w v v r n w r v d v xc
+在 低 明度 色彩 的 衬托 下 , 最 为 醒目	p a n n u vn f w d-B d-I a
+实验 中心 负责 相关 教学 计划 , 实施 监控 及 教学 质量 的 评价 .	n n v vn n-B n-I w v vn c n n u vn w
+欢迎 有 商业 拓展 需求 的 企业 来电 咨询 洽谈	v v n vn n u n v v v
+杨武 我 听到 了 床 摇动 的 声音 , 意识 到 妻子 被 强奸 了 , 声音 很大 , 我 距离 只有 几米 远	nr r v u n v u n w v-B v-I n p v xc w n a w r v d m a
+只有 火 , 利刃 或 极度 的 悲伤 可以 杀死 精灵	v n w n c a u an v v n
+一 队 队员 则 连同 实力 较 弱 的 苏醒 一 起 待定 等候 结果 .	m-B m-I n c p n d a u nr d-B d-I v v n w
+城市 要 兼顾 各 方面 员工 的 利益 , 因此 , 在 有限 的 资源 条件 下 , 只能 帮助 部分 员工 实现 最 迫切 的 诉求	n v v r-B r-I n u n w c w p a u n n f w v v n n v d a u n
+因此 折射 出来 的 不 仅仅 是 企业 管理 结构 的 问题 , 还有 淘宝 员工 对 社会 良知 的 践踏 和 对 商业 信誉 的 漠视	c v v u d-B d-I v n-B n-I n u n w v nt n p n n u vn c p n n u vn
+没 有 这种 能力 , 他们 是 没 有 资格 做 中华 民族 , 泱泱 大 国 的 宰相 的	v-B v-I r n w r v v-B v-I n v nz-B nz-I w n-B n-I n-I u n u
+这 周 还要 继续 工作 的 , 到 了 中秋 , 就 可以 放松 休假 啦	r q v vd v u w v u nz w d v v v xc
+本票 上 未 记载 出票 地 的 , 出票 人 的 营业 场所 为 出票 地	n f d v n-B n-I u w vn n u vn n v n-B n-I
+系统 可以 无 限制 的 提供 两种 药剂 , 而且 林 天 给 精灵 们 的 , 都 是 最 低级 的 药剂	n v v-B v-I u v m n w c nr-B nr-I v n-B n-I u w v-B v-I d a u n
+郑 先生 故去 了 , 可是 郑 先生 的 医院 也 随 他 故去 , 确实 让 人 感到 遗憾	nr-B nr-I v xc w c nr-B nr-I u n d p r v w ad v n v-B v-I
+三伏 天气 过于 潮湿 时 , 可以 短期 密闭 保存	n n d an n w v n v v
+协议 的 解释 在 任何 时候 以 协议 的 英文 版本 为 准	n u vn p r n p n u nz n v-B v-I
+通过 该 方式 避免 了 部分 楼盘 价格 过 快 上涨 以及 因 结构 性 差异 导致 的 价格 波动 而 影响 购房 者 预期	p r n v u n n n d a vn c p n-B n-I n v u n vn c v n-B n-I vn
+才 是 那个 地道 的 味道 !	v-B v-I r a u n w
+全身 保温 可达 4 小时 , 关节 部位 加入 了 软骨 材料 , 关节 更 灵活 , 能 摆动 更多 高 难度 姿势	n v v m n w n n v u n n w n a-B a-I w v v a a-B a-I n
+2006 年 8 月 辞去 职务	t-B t-I t-B t-I v n
+解决 方案 背诵 每个 句子 , 这 就 是 打包 记忆	n-B n-I v r n w r v-B v-I v n
+2009 年 4 月 21 日 , 国家 代码 中心 门户 网站 正式 改版 上线 运行 .	t-B t-I t-I t-I t-I t-I w nt-B nt-I nt-I n-B n-I ad v v v w
+惊怕 地 注视 着 周围 的 一切	v u v u f u r
+各 组 仪器 未经 老师 许可 , 不 得 随意 移动	r-B r-I n v n v w v-B v-I ad v
+至 红 , 白斑 区分 明显 为止	p a w n vn a v
+可 制作 肥皂 和 洗涤 剂 .	v v n c n-B n-I w
+嘿嘿 , 大叔 碎 觉 去 了 , 明 儿 要 出门 .	xc w n v-B v-I v xc w t-B t-I v v w
+把 行李 放 好 , 她 转身 又 走出 去	p n v a w r v d v-B v-I
+你 也 说 了 , 他 跟 他 的 前 女友 的 激情 在 你 这里 根本 就 不 在 了	r d v xc w r c r u n-B n-I u n p r r d d v-B v-I xc
+郑州 癫痫 病 医院 专家 提醒 , 患者 只有 诊断 正确 才能 确保 治疗 效果 , 从而 早日 摆脱 癫痫 的 困扰	nt-B nt-I nt-I nt-I n v w n c v a v v vn n w c d v n u vn
+晚上 , 我们 约定 一 块 骑车 去 赛 场	t w r v d-B d-I v v n-B n-I
+很 明显 , 广大 期货 市场 的 投资 者 及 监管 机构 对 期货 市场 价格 的 暴涨 暴跌 尤 为 敏感	a-B a-I w a nz-B nz-I u n-B n-I c vn n p n n-B n-I u vn vn d-B d-I a
+法令 一旦 制定 出来 , 就要 坚决 的 执行 , 不 能 轻易 的 改变 和 废止	n d v v w v a u v w v-B v-I a u v c v
+行凶 之 人 , 又 会 如何 浮 出 台面 ?	v u n w d v r v-B v-I n w
+分析 和 触发 这种 串行 数据 通常 比 并行 数据 要 困难 得 多	v c v r vn n d p vn n v a u a
+认真 总结 转变 作风 , 强化 执行 活动 开展 情况 , 立足 实际 , 集中 研讨 , 巩固 活动 成果 , 形成 长效 机制	ad v v n w vd v n vn n w v an w ad v w v vn n w v a n
+高校 校级 科研 项目 设置 初探 .	n a n-B n-I vn vn w
+荚 褐色 , 平均 每 荚 1 . 9 粒 种子 , 底 荚 高 8 . 6cm 左右 .	n n w a r n m-B m-I m-I m-I n w n n a m-B m-I m-I f w
+我 这次 不 付款 , 保留 这个 金额 在 以后 航程 中 抵扣	r r d v w v r n p f n f v
+这 一 点 可以 陪侍 丫环 的 名字 中 看出 .	r-B r-I r-I v vn n u n f v w
+土 表 设 在 会场 的 正中 , 是 用 粘土 堆 成 高 约 60 厘米 , 边长 6 . 7 米 的 正 方形 场地	n n v-B v-I n u f w v p n v v n d m-B m-I w n m-B m-I m-I m-I u n-B n-I n
+虽然 我们 现在 没 有 能够 来 陪衬 这 张 图片 的 官方 细节 图 , 但是 仍 有 些 细节 是 显 而 易 见 的	c r t v-B v-I v v v r q n u n n n w c d r-B r-I n v v-B v-I v-I v-I u
+林 副 市长 的 身家 财产 全部 被 李 三 盗走 , 大发 雷霆	nr n-B n-I u n n d p nr-B nr-I v w v-B v-I
+你 有 什么 资格 在 这 指 手 画 脚	r v r n p r v-B v-I v-I v-I
+不过 有 时候 会 打 不 开 一些 ie 下 能 打开 的 网页	d d-B d-I v v d v m n f v v u n
+继而 , 国土 资源 部 出台 土地 出让 新 规定	c w nt-B nt-I nt-I v n v n-B n-I
+黄色 在 中国 的 色彩 文化 中 具有 崇高 的 象征 意义 .	n p ns u n n f v a u vn n w
+因此 , 大家 对 抗日 救亡 情绪 深受 打击	c w r p vn vn n v vn
+是否 让 孩子 这样 持续 做 下去	d v n r vd v v
+提倡 做 学习 型 辅导 员	v v n-B n-I n-B n-I
+工作 以 外 接触 异性 的 机会 不 多 , 公司 也 很少 组织 联谊 活动	vn f-B f-I v n u n d a w n d ad v vn n
+患者 愈 后 甲肝 抗体 又 如何 消失	n v f nz nz d r v
+海事 大学 场 ~ 不 用 裁判	nt-B nt-I n w v-B v-I n
+在 短期 内 , 公司 的 任务 是 " 巩固 " , 既 巩固 东莞 的 市场	p f-B f-I w n u n v w vn w w c v ns u n
+就让 我们 随着 主角 的 脚步 , 一 步 一 步 的 探索 吧	v r p n u n w m-B m-I m-I m-I u v xc
+可见 早恋 危害 不 一定 大于 利	d vn vn d-B d-I v n
+它 是 与 社会 其他 成员 相 区别 的 内在 规定 性	r v p n r n d v u a n-B n-I
+结果 国内 市场 的 竞争 不 受 制约 , 政府 几乎 不 干预	n n-B n-I u vn v-B v-I vn w n d d v
+做 好 音响 扩声 系统 设计 主要 应 把握 好 以下 两 个 方面 内容	v-B v-I n vn n vn ad v v-B v-I f m-B m-I n n
+没 想到 宇文 家 竟然 捡 了 个 大 便宜 , 平 白 的 添 了 这么 一 个 顶尖 的 存在	v-B v-I nr n d v u q a n w a-B a-I u v u d m-B m-I a u vn
+当 委托 人 死亡 , 蜡烛 上 的 火光 也 会 随之 而 熄灭	p n-B n-I v w n f u n d v d c v
+直到 那时 , 我 才 忽然 意识 到 , 那 不 可能 是 一 架 飞机 或 直升 机	p t w r d d v-B v-I w r d v v m-B m-I n c n-B n-I
+您 需要 不 断 总结 , 测试 , 优化 您 的 公式	r v ad-B ad-I v w v w v r u n
+他 笑 认 目前 生活 开心 , 新年 期间 有 抽空 跟 好友 相聚 , 默认 与 舒淇 有 见面	r v v t v a w t f v v p n v w v p nr v v
+天池山 , 在 县 北 一 十 余 里 .	ns w v n f m-B m-I m-I q w
+人们 被 驱逐 到 最后 的 圣地 - 萨尔蒙 神殿 .	n p v v n-B n-I n-I w ns-B ns-I w
+命途多舛 的 波音 787 梦想 飞机 在 日本 再次 遭遇 噩梦	a u nz-B nz-I n n p ns d v n
+要 是 这 两 条 都 做 不 到 , 就 只有 发 神经 了	c c r m-B m-I d v-B v-I v-I w d d v-B v-I xc
+法律 , 行政 法规 , 国务院 决定 未 规定 许可 的 , 自主 选择 经营 项目 开展 经营	n w n n w nt n d v vn u w vd v vn n v vn
+小 寺 工厂 也 很 乐意 的 答应 了	nt-B nt-I nt-I d d a u v xc
+要 发挥 他们 的 积极 性 , 就要 制定 一 套 正确 的 政策	v v r u n-B n-I w v v m-B m-I a u n
+徐 老师 发现 , 这种 运动 方式 不仅 不 适合 仅 10 分钟 的 课间 休息 , 而且 很 危险	nr-B nr-I v w r vn n c d v d m-B m-I u n-B n-I w c d a
+中国 老 百姓 对 政府 的 期望 本来 就 普遍 低 下 , 现在 则 转向 了 非常 的 负面	ns n-B n-I p n u vn d d ad a-B a-I w t d v u d u n
+平台 融合 的 过程 中 , 对 投资 人 来 说 , 第 一 比 第 二 更 重要	n v u n f w p n-B n-I v-B v-I w m-B m-I p m-B m-I a-B a-I
+温家宝 强调 , 经济 特区 是 改革 开放 的 产物 , 是 改革 开放 的 旗帜 和 风向标	nr v w n-B n-I v vn-B vn-I u n w v vn-B vn-I u n c n
+欢迎 各 生产 厂家 及 经销 商 洽谈 合作 事宜	v r vn n c n-B n-I v vn n
+对 身体 虚弱 以及 病 后 需要 调养 的 人 也 是 极 好 的 食物	p n a c n f v vn u n v-B v-I a-B a-I u n
+应该 说 , 对 广场 舞 单 方面 抑制 , 是 没 有 从 " 需求 角度 " 理解 广场 舞 为何 流行	v v w p n-B n-I d-B d-I v w v v-B v-I p w n n w v n-B n-I r v
+日子 就 这样 一 天天 在 心绪不宁 中 过去 了	n d-B d-I m-B m-I p vn f v xc
+随后 , 出租 车 绝尘 而 去 , 消失 在 滚滚 车 流 之 中	d w n-B n-I v-B v-I v-I w v p a n-B n-I f-B f-I
+清晨 , 当 校长 和 家属 巡查 校园 时 , 发现 一 具 教师 的 尸体 .	t w v n c n v n n w v m-B m-I n u n w
+我 觉得 除了 我 的 射手 都 是 处女 座	r v p r u nz v-B v-I nz-B nz-I
+每日 清晨 , 它们 趁 着 朝日 东升 , 吸取 天地 间 的 灵气 , 一 点 一 点 地 增加 自己 的 灵力	r t w r p p n v w v s-B s-I u n w m-B m-I m-I m-I u v r u n
+刚 开始 只是 小小 的 热 感 , 流 点 鼻涕 , 说话 有 点 痰 , 稍微 有 点 咳嗽	d v v a u n-B n-I w v q n w v v-B v-I n w d d-B d-I v
+讨厌 一切 束缚 自由 , 繁琐 复杂 的 东西 .	v r v an w a a u n w
+是 一 种 儿童 学习 电脑 的 软件 .	v m-B m-I n v n u n w
+第 三 位 小姐 没 给 钱 , 司机 也 照 样 让 她 上 车 , 为什么	m-B m-I m-I n v v-B v-I w n d d-B d-I v r v-B v-I w r
+李明启 老师 出生 于 辽宁 省 丹东 , 具有 回族 血统 , 现 居住 在 北京 .	nr n v-B v-I ns-B ns-I ns w v nz n w t v p ns w
+一 是 领带 产业 .	m v n n w
+中国 的 铁矿 石 库存 约 有 三 个 月 的 消耗 量 , 这 意味 着 即使 有 实际 需求 , 也 不 会 在 现 阶段 出现 明显 的 原料 短缺 现象	ns u n-B n-I n d v n-B n-I n-I u n-B n-I w r v-B v-I c v a n w d v-B v-I p n-B n-I v a u n v n
+小雨 称 , 这种 书 好像 在 学校 旁 的 文具 店 可以 买到	nr v w r n d p n f u n-B n-I v v
+《 武魂 》 " 霸王 大陆 " 玩法 的 出现 , 让 我们 如愿 以 偿	w nz w w nz-B nz-I w n u vn w v r v-B v-I v-I
+婚姻 花园 所 需要 的 适度 肥料 是 夫妻 彼此 的 接纳 和 欣赏	n n u v u a n v n r u vn c vn
+后来 我们 刀 也 没 敢 拣 就 默默 走 了	t r n d d v v d d v xc
+做工 精细 , 没 有 多余 线头 , 赞 一 个	vn a w v-B v-I a n w v m-B m-I
+我们 想 弄 明白 的 问题 是 什么	r v v a u n v-B v-I
+但是 不 知道 男 主 是 谁 ?	c v-B v-I n-B n-I v r w
+不 由 泛起 一抹 恶狠狠 地 笑	d-B d-I v m a u vn
+没 想到 日本 也 会 做出 这种 忘 祖 弃 宗 的 蠢事	v-B v-I ns d v v r v n v n u n
+哪个 男孩 没 有 对 机械 的 东西 着迷 过 ?	r n v-B v-I p n u n v u w
+他 说 是 朋友 , 可是 她 总 觉得 有 什么 不 对	r v v n w c r d v v r an-B an-I
+babcock 公司 在 气体 中 加入 石墨 颗粒 后 发现 换热 系数 可 提高 9 倍	nt-B nt-I p n f v n n f v vn n v v m-B m-I
+项 梁 事业 有 了 刘邦 的 加盟 , 如 虎 添翼	nr-B nr-I n v u nr u vn w v-B v-I v-I
+平时 可以 适当 的 热敷 或 按摩 一 下 的	t v a u v c v m-B m-I u
+比如 春天 开花 的 有 三色堇 , 石竹	v t v u v nz w nz
+用户 拥有 对 租赁 设备 的 使用 权 ( 所有 权 ) 和 完全 控制 权限 , 自行 安装 和 维护 软件 系统	n v p vn n u n-B n-I w n-B n-I w c ad v n w d v c v n n
+1949 年 当 第 一 面 五星 红旗 在 天安门 广场 上 徐徐 升起 时 , 钱学森 爷爷 深 为 祖国 的 新生 而 高兴	t-B t-I p m-B m-I m-I n-B n-I p ns-B ns-I f d v n w nr n d p n u n c a
+这 味 药 最 大 的 本事 就 是 能 祛除 我们 体 内 的 湿 浊 之 物 , 中医 在 治疗 肺痈 , 肠痈 的 时候 , 往往 会 用 到 薏苡 仁	r q n a-B a-I u n v-B v-I v v r s-B s-I u a a u n w n p v nz w nz u n w d v v-B v-I nz-B nz-I
+星期 五 的 " 聚 礼 " 一般 去 清真 寺 做 .	t-B t-I u w vn n w d v n-B n-I v w
+市 首批 中学 化学 中 青年 骨干 教师 .	n m n n n-B n-I n n w
+促使 人们 去 观察 它 研究 它 提出 克服 它 的 措施	v n v v r v r v v r u n
+当时 大家 议论 纷纷 , 有 领导 认为 模具 结构 不 合理 须 重新 设计 等等	t r v-B v-I w v n v n n d a v v-B v-I u
+而 另外 两 个 人类 则 在 小 木屋 里 团 团 转	c r m-B m-I n d p n-B n-I f v-B v-I v-I
+客观 能 给 我们 的 感觉 带来 什么	an v p r u n v r
+2012 年 中国 作 协 迎春 联欢 会 特 等 奖 奖品 就 是 陈奕纯 创作 的 工笔 画 .	t-B t-I ns nt-B nt-I vn n-B n-I n-B n-I n-I n v-B v-I nr v u n-B n-I w
+现在 我 必须 把 你 重新 改造 , 你 愿 不 愿意 留 在 这里	t r d p r d v w r v-B v-I v-I v-B v-I r
+右侧 颈 动脉 怒 张 .	f n-B n-I vd v w
+考虑 研究 对象 在 dt 时间 内 能量 的 增量 , 并 考虑 研究 对象 端面 上 所 受 压力 作 的 功 以及 与 外界 的 热 交换	v n-B n-I p n n f n u n w c v n-B n-I n f u v n v u n c p n u vn-B vn-I
+这 款 显卡 899 能 买到 行货 吗	r-B r-I n m v v n xc
+所以 , 只能 选择 远远 守护 她 , 默默 爱 着 她 , 所以 , 只要 静静 守护 她 , 悄悄 爱 着 她 , 就好	c w v v ad v r w ad v-B v-I r w c w c ad v r w ad v-B v-I r w a
+明白 了 , 看 来 我 的 确 有 点 笨 呐	v xc w v-B v-I r d-B d-I d-B d-I a xc
+因此 , 提高 人体 内 生长 激素 的 含量 , 以及 延缓 骨骺 闭合 , 就 成 了 能否 继续 长高 的 关键	c w v n f n-B n-I u n w c v n v w d v u v vd v u n
+改名 泽 胤	v nr-B nr-I
+你们 先 要 我 提供 照片 , 又 要 我 提供 视频 , 如果 不 能 作为 证据 , 为何 要 我 提供	r d v r v n w v-B v-I r v n w c v-B v-I v n w r v r v
+但是 透镜 里面 的 灯炮 是 不 动 的	c n f u n v a-B a-I u
+她 手 中 提 着 一 个 小 篮子 , 里面 是 满满 的 雪白 的 槐花	r s-B s-I v u m-B m-I a n w f v a u a u n
+果皮 , 果肉 均 为 桔 红色 , 肉 细嫩 , 酸甜 可口 , 耐 贮运	n w n v-B v-I n-B n-I w n a w a a w v-B v-I
+对 没 有 把握 的 判断 题 , 考生 最 好 坚持 " 谨慎 原则 "	p v-B v-I vn u vn n w n d-B d-I v w a n w
+他们 对 自己 国家 的 政策 和 神话 提出 挑战	r p r n u n c n v vn
+要 这么 想 , 我 第 一天 就 不 会 把 阿里巴巴 股份 这么 稀释	v r v w r m-B m-I d v-B v-I p n-B n-I r a
+更多 时候 , 静静 的 , 到 海边 , 脚踩 松软 沙粒 , 沉淀 心事 , 整理 心绪 , 使 自己 去掉 尘世 的 喧嚣 , 变得 温良 谦恭 让 一些	a n w a u w v-B v-I w v a n w v n w v n w v r v n u an w v a a v m
+但 他 的 导演 作品 的 数量 至今 已 开始 呈现 上升 趋势 , 而且 还 设计 电视 等 其他 门类 作品	c r u vn n u n d d v v vn n w c d v n u r n n
+东西 还 没 用 , 应该 也是 跟 以前 买 的 一 样	n d v-B v-I w v v p f v u a-B a-I
+只见 关 明 正 蹲 在 一 刻 大树 下 正 扒拉 着 什么	v nr-B nr-I nr-I v p m-B m-I n f d v u r
+也 可以 在 法院 受理 破产 申请 后 , 宣告 债务 人 破产 前 , 向 法院 申请 和解	d v p n v vn vn f w v n-B n-I v f w p n v vn
+西部 王军 把 议会 军 赶出 了 南 威尔士 , 占领 了 多塞特郡	f n p n n v u f ns w v u ns
+点评 : 加点 最 简单 的 门派 , 全 体质 , 只要 气力 够 拿起 装备 就 可以 了 .	vn w v d a u n w a n w c n v v n d v xc w
+一般 情况 下 , 就 好像 在 定期 寿险 中 的 情况 一 样 , 信息 的 存在 形式 是 非常 零散 的	a n f w d v p nz-B nz-I f u n a-B a-I w n u vn n v d a u
+与 中文 不 同 , 在 英文 中 字母 的 大小 写 有 时 也 就 决定 了 一句 话 的 意义	p nz a-B a-I w p nz f n u n-B n-I d-B d-I d d v u n-B n-I u n
+在 忙碌 的 现代 社会 中 , 很多 人 出现 各种 胃病	p a u t n f w n-B n-I v r n
+由于 被 骚扰 并 不 是 一 件 光彩 的 事情 , 张恒 不 想 再 提起	p p v c v-B v-I m-B m-I a u n w nr d v d v
+材料 自 熄 是 指 原本 燃烧 的 材料 在 离开 火源 就会 自动 熄灭 , 衡量 某种 材料 是否 会 燃烧 可用 氧 指数 值 作 判断	n d v v v d v u n p v n v ad v w v r n v v v v nz-B nz-I nz-I v vn
+某天 , 下车 很久 之后 在 某 个 节目 中 再次 相逢 的 夫妇	r w v a f p r q n f d v u n
+无 论 多少 , 我 付 双倍 , 三 倍	c c r w r v m w m-B m-I
+郭 子 明 最 痛恨 人家 拿 他 的 姓名 开 玩笑	nr-B nr-I nr-I d v r p r u n v-B v-I
+照料 室 , 以 帮助 老年 人 解决 生活 困难	n-B n-I w p v n-B n-I v n n
+同时 , 我 也 萌 生 了 译 好 这 书 送给 费 先生 的 意念	d w r d v-B v-I u v a r n v nr n u n
+这 对 当时 中国 近代 史 学科 建设 是 有 着 十分 重要 的 意义 的	r p t ns n-B n-I n vn v v-B v-I d a u n u
+而 下 影 线 愈 长 表示 市场 向上 的 支撑 力 愈 大	c n-B n-I n-I d a v n v u vn n d a
+中国 足球 的 当 务 之 急 是 理 顺 职权 关系 , 完善 联赛 职业 进程 , 加强 民间 推广	ns n u n-B n-I n-I n-I v v-B v-I n n w v n n n w v n vn
+莱斯利 成 了 最后 知道 自己 " 被 分手 " 的 人	nr v u ad v r w p v w u n
+宗旨 意识 和 群众 观念 有 所 弱化 , 头脑 中 还有 " 官 本 位 " 的 思想 残余	n n c n n d-B d-I v w n f v w n-B n-I n-I w u n n
+从 这个 意义 上 讲 , 王晓棠 已经 具备 成为 第 一类 女人 的 条件	p r n f v w nr d v v m-B m-I n u n
+萨维奇 已经 活 了 八 万 多 年 , 他 曾 多次 成为 名 垂 青史 的 统治 者 .	nr d v u m-B m-I m-I m-I w r d-B d-I v a-B a-I a-I u n-B n-I w
+你 这么 大 的 屏幕 , 有 点 变形 是 正常 的 吧	r r a u n w d-B d-I v v a u xc
+主要 投资 部门 为 冶金 , 建筑 材料 和 服务 业	a vn n v n w n-B n-I c n-B n-I
+客户 就 是 玉帝 , 我 还 怕 你们 不 来 呢	n v-B v-I n w r d v r d v xc
+刘备 军 追到 雏 城 , 张任 又 逃往 金雁 桥 , 在 金雁 桥 一战 孔明 把 有 实力 的 武将 列 于 阵 前 , 击败 了 张任	n-B n-I v ns-B ns-I w nr d v ns-B ns-I w p ns-B ns-I n nr p v n u n v-B v-I s-B s-I w v u nr
+以上 是 主 卧室 装修 会 出现 的 项目 及 应 注意 的 事项 , 所有 的 分项 均 包含 了 小 五金 的 价格 , 不 需要 再 单独 另 计	f v n-B n-I vn v-B v-I u n c v v u n w r u n d v u nz-B nz-I u n w v-B v-I d d d v
+虽然 铁 饭碗 比 金 饭碗 差 了 一 点 , 但 这 说明 公务员 在 韩国 同样 是 很 吃 香 的	c n-B n-I p n-B n-I a u m-B m-I w c r v n p ns d v d a-B a-I u
+不过 如今 时 过境 迁 , 我们 不 难 发现 , 蔡卓妍 与 谢霆锋 拥有 的 不过 只是 兄妹 之 情 罢 了	c t v-B v-I v-I w r d-B d-I v w nr c nr v u d v n u n v xc
+生活 中 , 我 会 和 每 一 个 女孩 子 一 样 , 享受 生活 , 感恩 生活	n f w r v p r-B r-I r-I n-B n-I a-B a-I w v n w v n
+你 是 不 是 问答 型 的	r v-B v-I v-I a-B a-I u
+当 分子 中 正负 电荷 中心 不 重叠 时 , 就会 使 分子 中 局部 带 正 电 , 局部 带 负 电 , 此时 分子 具有 偶极 矩	p n f a n n d v n w v v n f n v n-B n-I w n v n-B n-I w t n v nz-B nz-I
+日本 对 二战 结果 充满 忌恨 , 但 它 不 敢 拿 美国 军事 占领 开刀 , 而是 冲 着 美国 现实 政治 中 的 主要 防范 对象 挑衅	ns p nz n v vn w c r v-B v-I v ns n vn v w c p p ns n n f u a vn n v
+金城 作为 贯穿 全剧 的 剧本 家 , 表现 的 十分 活跃 .	nr p v n u n n w v u d a w
+再 说 了 , 她 现在 正 头疼 怎么 出门 去	v-B v-I xc w r t d a r v v
+所以 , 该 明白 许多 道理 了 吧	c w v v m n xc xc
+为什么 考生 需要 在 面试 前 模拟 考场 和 题目	r n v p v f v n c n
+这 是 最早 的 一 种 行 之 有效 的 办法 , 用来 解决 单兵 使用 黑 火药 兵器 所 遇到 的 一 个 基本 问题	r v a u m-B m-I a-B a-I a-I u n w v v n v n-B n-I n u v u m-B m-I a n
+中央 银行 要求 的 存款 准备金 占 其 存款 总额 的 比例 就 是 存款 准备金 率	nt-B nt-I v u n n v r n n u n v-B v-I n n-B n-I
+盘古 大陆 所有 的 优点 恰恰 是 岛屿 地图 的 缺点	ns-B ns-I r u n d v n n u n
+魔兽 视频 网 都 出 了 视频 了 , 我 没 找到	nz n n d v u n xc w r v v
+这个 网站 不 错 , 网站 叫 啥 呢	r n a-B a-I w n v r xc
+在 乔丹 带领 下 , 公牛 队 杀 入 当年 的 季后赛 , 在 东部 首轮 淘汰 黄蜂 队 , 但 在 东部 半 决赛 中 被 奥兰多 魔术 队 淘汰	p nr vn f w nt-B nt-I v-B v-I t u n w p f n v nt-B nt-I w c p f n-B n-I f p ns nt-B nt-I v
+男人 遇到 大 的 机会 永远 想着 如何 获得 下 一 个 , 女人 则 会 想着 如何 把 这个 机会 的 空间 做 得 更 精细	n v a u n d v r v r-B r-I r-I w n c v v r p r n u n v u d a
+然后 说 自己 不 想 让 明 瑾 看 扁 , 才 假装 不 害怕 的	c v r d v v nr-B nr-I v-B v-I w d v d v u
+在 这个 时候 , 影响 力 所 发挥 的 作用 更加 关键	p r n w n-B n-I u v u n d a
+厮守 在 一 起 还有 进 言 或 示意 的 可能 , 对于 阴谋 或 中 伤 , 也有 阻止 或 解释 的 机会	v d-B d-I d-I v v-B v-I c v u n w p n c vn-B vn-I w v vn c vn u n
+不 是 高丽 森 吗	d v nz-B nz-I xc
+或者 , 如果 他 找到 这个 地方 , 可能 一切 都会 迎 刃 而 解	c w c r v r n w v r v v-B v-I v-I v-I
+本 周 , 国内 外 都 有 一 系列 重要 数据 公布	t-B t-I w s-B s-I d v a-B a-I a n v
+每天 大家 都 在 教室 , 寝室 , 食堂 交替 忙碌	r r d p n w n w n vd a
+2007 年 被 聘 为 乌海 市 消费 者 协会 法律 顾问 团 律师	t-B t-I p v-B v-I nt-B nt-I nt-I nt-I nt-I nt-I nt-I nt-I n
+在 这样 的 季节 , 把 我 的 真挚 的 祝福 捎 给 您 , 愿 幸福 常 在 您 身边	p r u n w p r u a u vn v p r w v an v-B v-I r s

PaddleNLP/ELMO/finetune/data/tag.dic

+a
+a-B
+a-I
+ad
+ad-B
+ad-I
+an
+an-B
+an-I
+c
+d
+d-B
+d-I
+f
+f-B
+f-I
+m
+m-B
+m-I
+n
+n-B
+n-I
+nr
+nr-B
+nr-I
+ns
+ns-B
+ns-I
+nt
+nt-B
+nt-I
+nw
+nw-B
+nw-I
+nz
+nz-B
+nz-I
+p
+q
+r
+r-B
+r-I
+s
+s-B
+s-I
+t
+t-B
+t-I
+u
+v
+v-B
+v-I
+vd
+vd-B
+vd-I
+vn
+vn-B
+vn-I
+w
+xc
\ No newline at end of file

PaddleNLP/ELMO/finetune/data/train/train.tsv

+b . 这 几 个 人 一 坐 到 一 块 儿 就 谈 吃 谈 穿 , 真 是 百 无聊 赖	xc w r m-B m-I n v-B v-I v m-B m-I m-I d v vn v vn w v-B v-I v-B v-I v-I
+不 嫩 不 老 是 什么 样 的	d a a-B a-I v n-B n-I u
+那么 曾国藩 为什么 这样 对待 李鸿章 呢	c nr r r v nr xc
+鲜血 未 干 的 卢旺达 , 已经 重 归 宁静 的 生活	n v-B v-I u ns w d v-B v-I a u n
+因为 这些 故事 不仅 新鲜 , 而且 真实	c r n c a w c a
+早点 回来 参加 早 午餐 , 好 吗 ?	d v v nz-B nz-I w a xc w
+生活 中 , 他们 是 让 人 倾慕 的 侠客 , 从容 自得 , 豪情 万丈	n f w r v v n v u n w a a w n m
+但是 虽然 如此 , 他 的 病 仍 是 一天 加重 一天	c c r w r u n v-B v-I m v m
+袁科 在 袁 志 帮助 下 买 了 火药 , 订制 了 装 爆炸 物 的 木盒	nr p nr-B nr-I vn f v u n w v u v n-B n-I u n
+那 我 就 不 知道 怎么 才能 到 外婆 家 了	r r d v-B v-I r v v n-B n-I xc
+实际 上 他 虽然 有 着 男人 的 器官 , 确 没 有 男人 的 功能	d-B d-I r c v-B v-I n u n w d n-B n-I n-I u n
+是 " 慈悲 " , " 智慧 " 与 " 和平 " 的 精神 象征	v w an w w w n w c w n w u n n
+它 的 硝酸 盐 含量 较 其他 培养 基 为 高 , 广泛 地 用于 植物 的 器官 , 花药 , 细胞 和 原生质 体 培养 , 效果 良好	r u nz-B nz-I n d r nz-B nz-I v an w a u v n u n w n w n c vn-B vn-I vn-I w n a
+分类 方 示 可以 按 年龄 断 , 按 主题 内容 或 其它 你 认为 方便 的 方法	v d v v p n v w p n n c r r v a u n
+全 班 齐 练 , 教师 巡视 , 做完 后 集体 订正	n-B n-I d v w n v w v f n v
+他 勉强 爬 起来 , 躲 到 一 棵 树 下 .	r ad v-B v-I w v v n-B n-I n-I f w
+讨厌 他 那 双 漆黑 如 子夜 清澈 如 泉水 的 眼眸 , 昭示 了 众人 的 丑陋 与 罪恶 .	v r r-B r-I a v n a v n u n w v u n u an c n w
+作者 具有 深邃 的 洞察 力 , 强烈 的 社会 责任 感	n v a u n-B n-I w a u n n-B n-I
+看看 胶南 的 大街 , 还有 写字 楼	v ns u n w c n-B n-I
+成都 神钢 挖掘 机 掀开 外资 进军 中国 挖掘 机 市场 的 序幕	ns nz n-B n-I v n v ns n-B n-I n u n
+书 里面 交代 非常 清楚 , 父亲 叫 李守中 , 什么 样 的 家庭 背景 呢	n f v d a w n v nr w n-B n-I u n-B n-I xc
+两年 过去 了 , 我 对 小令 的 爱 还是 无法 释怀	m v xc w r p nr u vn d vd v
+企业 成立 于 1985 年 , 是 一 家 制造 , 设计 各类 大 中型 铝 , 锌 , 镁 结构 复杂 精度 高 的 压铸 模具 专业 生产 工厂	n v p t-B t-I w v m-B m-I v w v r a-B a-I n w n w n n a a-B a-I u nz-B nz-I a vn n
+像 是 约 好 了 一 样 , 第 24 代 张 天师 张 正 随 , 也 恰好 是 活 满 了 87 岁	v v v a u a-B a-I w m-B m-I m-I nr-B nr-I nr-B nr-I nr-I w d d v v a u m-B m-I
+从前 , 他 没 给 她 的 感情 半点 儿 机会 , 却 只是 对 她 很好	t w r v v r u n m-B m-I n w d d p r a
+5 个 民族 乡 俄 亚 纳西 族 乡 , 屋 脚 蒙古 族 乡 , 白 碉 苗族 乡 , 项 脚 蒙古 族 乡 , 固 增 苗族 乡	m-B m-I n-B n-I ns-B ns-I ns-I ns-I ns-I w ns-B ns-I ns-I ns-I ns-I w ns-B ns-I ns-I ns-I w ns-B ns-I ns-I ns-I ns-I w ns-B ns-I ns-I ns-I
+有 点 担心 成份 会 不 会 对 皮肤 有 害	d-B d-I v n d-B d-I d-I v n a-B a-I
+而且 我 也 经常 在 报纸 上 发表 文章	c r d d p n f v n
+我们 以 细致 入 微 的 人性 化 服务 和 独具 特色 的 夜场 滑雪 而 广 受 赞誉 .	r p a a-B a-I u vn-B vn-I vn c v n u n vn c ad v-B v-I w
+根据 国家 , 省 电子 政务 相关 标准 , 进一步 完善 江门 市 政务 信息 共享 目录 和 数据 交换 规范	p n w n nz-B nz-I vn n w d v ns-B ns-I n n vn n c n vn n
+爱 财 君子 才 回 过 神 来 , 赶紧 擦 了 一 把 嘴边 的 口水 , 他 还 没 听说 行 会 里 谁 爆出 过 更 好 的 武器	nr-B nr-I nr-I d v u n v w d v u m-B m-I s u n w r d d v n-B n-I f r v u a-B a-I u n
+高 效率 合理 分配 人力 是 很 必要 的 .	n-B n-I ad v n v d a u w
+草地 上 无 遮 无 挡 , 哪 怕 是 一 顶 帐篷 都 找 不 到 .	n f v-B v-I v-I v-I w d-B d-I v m-B m-I n d v-B v-I v-I w
+一 楼 原本 是 宾馆 的 大堂 , 已经 夷 为 平 地	m n d v n u n w d v-B v-I v-I v-I
+事情 见 报 后 , 他 当 即 成 了 美国 乃至 整个 北美 军人 的 传奇 及 骄傲 .	n v-B v-I f w r d-B d-I v u ns c a ns n u n c an w
+电气 产品 必须 通过 " 3c " 认证	n n d v w n w vn
+以上 就 是 关于 " 江苏 省 南京 市 哪 看 滑膜 炎 好 " 的 相关 介绍 , 希望 对 您 有 所 帮助	f v-B v-I p w ns-B ns-I ns-B ns-I r v n-B n-I a w u vn vn w v p r v-B v-I vn
+给 别人 真诚 , 是 给 自己 公道	v r an w v v r n
+目前 , 除 我 国 之外 , 还有 一些 国家 征收 营业 税	t w p r n f w v m n v n-B n-I
+我 的 目的 很 简单 希望 更多 的 装修 公司 更加 的 诚信	r u n a-B a-I v a u vn n d u a
+每个 应用 程序 对其 程式 的 使用 方式 并 不 相同 , 让 我们 先 看看 它们 中 最 常见 的 三 个 吧	r n-B n-I v a u vn n d d a w v r d v r f d a u m-B m-I xc
+是 什么 决定 了 我们 一生 的 方向 , 需求 , 使命 , 价值 ?	v r v u r n u n w n w n w n w
+旱冰 鞋 是 多大 号 的 啊 亲	n-B n-I v a q u xc n
+比如 欺诈 客户 , 骗 了 钱 但是 不 给 客户 做 , 或者 , 假装 安排 人 去 医院 做	v v n w v u n c d p n v w c w v v n v n v
+但是 , 希望 以后 , 我 还能 遇见 各位	c w v f w r v v r
+无锡 龙 寺 农业 生态 园 中 采摘 水果 要钱 吗	ns ns-B ns-I ns-I ns-I ns-I f v n v xc
+该 次 我们 在 香港 拜访 了 6 家 大型 资产 管理 公司 , 其他 5 家 均 为 欧美 资 , 而 其 管理 规模 和 人员 团队 均 不 及 惠理	r q r p ns v u m-B m-I a n vn n w r m-B m-I v-B v-I n-B n-I w c r vn n c n n d v-B v-I nt
+多元化 , 综合 性 游戏 社区 一 步步 迈进 , 贴心 的 服务 协作 创新 , 给予 用户 最 极致 的 游戏 体验	vn w n-B n-I n n m-B m-I v w a u vn vn vn w v n d a u n vn
+刘备 为什么 选择 了 诸葛 亮 作为 政治 委托 人	nr r v u nr-B nr-I v n n-B n-I
+除 农业 为 主 外 , 其余 的 劳力 在 外 打工 , 全 村 人均 收入 不 足 3000 元 .	p n v-B v-I f w r u n p f v w n-B n-I v n v-B v-I m-B m-I w
+创业 管理 是 要 想 办法 生 个 婴儿 并且 最 好 还要 健康 一 点 的 , 直至 使 他 能够 自理 自立 , 这样 就 进入 了 创业 后 阶段	vn vn v v v-B v-I v q n c d-B d-I v a m-B m-I u w p v r v v v w r d v u vn f n
+qq 寻仙 法宝 怎么 才能 升 到 12 段	nz nz-B nz-I r v v v m-B m-I
+一 个 幸福 的 三 口 之 家 就 这样 因为 战争 而 破碎 了	m-B m-I a u m-B m-I u n d-B d-I p n c v xc
+资源 一般 包括 人力 , 材料 , 费用 等	n ad v n w n w n u
+一天 夜里 , 小明 的 铅笔 盒 里 传 出 了 吵闹 声	m t w nr u n-B n-I f v-B v-I u vn n
+最 明显 的 是 一些 暴力 意味 的 动词 的 大量 使用	d a u v m n n u n u a vn
+因此 , 可以 说 国 有 建筑 安装 企业 的 制度 缺陷 , 才 是 人才 流失 的 深层 次 原因	c w v-B v-I a-B a-I vn vn n u n n w v-B v-I vn-B vn-I u n-B n-I n
+( 4 ) 客户 端 接收 服务 器 所 返回 的 信息 通过 浏览 器 显示 在 用户 的 显示 屏 上 , 然后 客户 机 与 服务 器 断开 连接	w m w n-B n-I v n-B n-I u v u n p n-B n-I v p n u n-B n-I f w c n-B n-I p n-B n-I v vn
+她 介绍 , 她 的 外 祖父 , 父亲 和 她 , 三 代 都 和 共产 党 有 密切 的 联系	r v w r u n-B n-I w n c r w m-B m-I d c nt-B nt-I v a u vn
+硬件 稍 显 陈旧 , 但 还是 蛮 温馨 的	n d v an w c v d a u
+抱怨 缺水 的 声音 到处 弥漫 , 许多 人 愿意 用 一 块 金币 换 一 壶 凉水	v vn u n d v w n-B n-I v p m-B m-I n v m-B m-I n
+着装 正 是 表达 出 与 生活 方式 的 高度 相关 .	n v-B v-I v v p n-B n-I u ad vn w
+施工 人员 生活 垃圾 定期 运 至 当地 环卫 部门 指定 地点 处理	vn n n n d v p s n n vn n v
+实现 廉价 的 无线 显示 输出	v a u a nz-B nz-I
+圣诞 节 送 女 朋友 什么 礼物 好 呢	nz-B nz-I v n-B n-I r n a xc
+这 是 一 部 叙述 南北 战争 期间 一支 美国 黑人 军队 浴血 奋战 的 历史 影片 .	r v m-B m-I v nz-B nz-I n m ns n n v-B v-I u n n w
+其实 就 是 变相 传销 , 去 河南 工作 的 兄弟 一定 要 小心	d v-B v-I vn vn w v ns v u n v-B v-I a
+江苏 全日制 自考 本科	ns n vn n
+在 中国 , 谁 能 为 孩子 代言 ?	p ns w r v-B v-I n v w
+饭后 服 阿司匹林 可 减少 恶心 呕吐 等 胃肠 道 一 败 涂 地 症状 .	t v n v-B v-I n vn u n-B n-I a-B a-I a-I a-I n w
+特别 谈到 了 绿化 , 每 平 400 元 投入 , 让 人 很 是 期待	d v u vn w r q m-B m-I v w v n d v v
+少年 握 着 一 个 白色 的 板面 , 展示 和 说明	n v u m-B m-I n u n w v c v
+经 复核 , 本 年 年末 无形 资产 的 使用 寿命 及 摊销 方法 与 以前 估计 未有 不 同	p vn w n-B n-I t n-B n-I u n-B n-I c vn n p f vn d a-B a-I
+凡尔纳 的 小说 有 着 十分 深远 的 影响	nr u n v-B v-I d a u vn
+包括 《 世界 报 》 在 内 的 共 10 家 媒体 给 出 了 满分 , 15 家 媒体 给 出 四 颗星	v w nt-B nt-I w v-B v-I u d m-B m-I n v-B v-I u n w m-B m-I n v-B v-I n-B n-I
+在 国家 服务 外包 产业 政策 的 大力 支持 下 , 服务 外包 企业 快速 成长	p n vn n n n u ad vn f w vn n n ad v
+坚定 不 移 地 推进 产业 转型 升级	a-B a-I a-I u v n vn vn
+流浪 者 再次 出现 继续 强暴 她	n-B n-I v-B v-I vd v r
+同桌 自主 进入 课件 , 判断 各 幅 图 上 的 小 朋友 的 行为 , 并 说说 判断 原因	n vd v n w v r q n f u n-B n-I u n w c v vn n
+目前 , 工业 区 新 一 轮 开发 已 全面 启动	t w n-B n-I n-B n-I n-I vn d ad v
+杨怡 饰演 的 宠 妃 万 贞 儿 , 善妒 有 谋略 , 心狠 手辣 .	nr v u n-B n-I nr-B nr-I nr-I w v v n w a-B a-I w
+最后 , 希望 我们 大家 继续 关注 感恩 中国 网站 , 从 身边 做起 , 从 小事 做起 , 让 我们 的 社会 , 让 我们 的 生活 更加 美好	f w v r r v v nz-B nz-I n w p s v w v-B v-I v-I w v r u n w v r u vn d a
+搜狐 娱乐 : 什么 时候 开始 决定 做 这部 戏 的 ?	nz-B nz-I w r n v v v r n u w
+关键 的 是 怎么 处理 发烧 这个 症状	a u v r v vn r n
+新春 期间 , 男女 青年 跨 上 骏马 , 带 上 哈达 , 美酒 等 礼物 , 三 五 成群 , 挨个 地 给 亲友 拜年	t f w n n v-B v-I n w v v n w n u n w v-B v-I v-I w d u p n v
+可是 , 赛 前 的 种 种 细节 却 透露 出 球队 并 没 有 那么 自信	c w f-B f-I u q q n d v v n v-B v-I v-I r a
+目前 , 7 名 犯罪 嫌疑 人 已 被 顺义 警方 依法 刑事 拘留	t w m-B m-I n-B n-I n-I d p ns n vd v-B v-I
+教官 说 着 , 就 摆 开 了 架 式	n v-B v-I w d v-B v-I u n-B n-I
+因为 提供 的 材料 很多 , 所以 学生 都 自由 地 列出 竖式 进行 计算	p v u n a w c n d a u v n v vn
+加强 同 国内 外 史 学 界 , 学术 团体 的 联谊 , 开展 学术 交流 活动 .	v p s-B s-I n-B n-I n-I w n-B n-I u vn w v n vn n w
+2001 年 毕业 于 哈尔滨 工业 大学 结构 工程 专业 , 获 硕士 学位 .	t-B t-I v p nt-B nt-I nt-I n n n w v n-B n-I w
+我 听 女儿 说 , 我 这 儿 天 晚晚 发 高烧 , 如果 人 退烧 了 , 我 就 得 要 出院 了	r v n v w r r-B r-I n t v-B v-I w c n v xc w r d v v v xc
+正 因为 这个 平衡 , 使 中国 的 封建 社会 延续 了 数 千年 .	d p r an w v ns u nz-B nz-I v u m-B m-I w
+服务 很 周 到 , 用餐 也 很 适中	vn d a-B a-I w vn d d a
+他们 还 准备 带 克莱尔 去 安全 的 地方 , 彼得 一 怒 之 下 单独 离开 了 .	r d v v nr v a u n w nr d-B d-I d-I d-I d v u w
+伍兹 还 澄清 了 关于 他 曾经 服用 过 兴奋剂 , 生长 素 等 违禁 药品 的 不 实 传闻	nr d v u p r d v u n w n-B n-I u vn n u d a n
+这个 时候 军队 出 动 进行 封锁 , 清扫	r n n v-B v-I v vn w vn
+唐 舞桐 是 谁 ?	nr-B nr-I v r w
+第 三 , 如果 你 没 有 一 个 快乐 的 计划 , 那么 痛苦 便 会 乘虚而入	m-B m-I w c r v-B v-I m-B m-I a u n w c an d v v
+霎时 , 尖叫 , 惊呼 , 哭声 充斥 店 内 , 惊骇 的 女人 们 逃 的 逃 , 跑 不 动 的 就 哭喊	d w vn w vn w n v n f w a u n-B n-I v u v w v-B v-I v-I u d v
+那些 食物 里 含 的 纤维 素 多	r n f v u n-B n-I a
+生死 间 不 容 发 , 彼此 都 要 顾 到 对方 的 安全	n a-B a-I a-I a-I w r d v v v n u an
+共 有 8 间 房间 可 供 客人 选择 , 全部 都 给 人 以 安静 典雅 的 感觉	v-B v-I m-B m-I n v v n v w n d v n p a a u n
+此外 , 贾士荣 对 不 同 国家 和 地区 转 基因 产品 的 管理 政策 进行 了 比较	c w nr p a-B a-I n c n vn-B vn-I n u vn n v u vn
+我 想 走 过去 , 揽 过 她 的 肩膀 安慰 她 让 她 不 要 哭	r v v v w v-B v-I r u n v r v r v-B v-I v-I
+线条 宜 细 至 一 丝 至 半 丝 , 采用 施 针 以 稀 线条 打底 .	n vd a v m-B m-I v m-B m-I w v v n p a n v w
+她 是 名门 之后 , 贵府 小姐 , 却 骄傲 的 宣称 自己 是 一 个 自 食 其 力 的 小 市民	r v n-B n-I w n n w d a u v r v m-B m-I vn-B vn-I vn-I vn-I u n-B n-I
+恐怖 电影 , 运用 一 系列 表现 手法 , 使 生命 受到 威胁 而 引起 人 内心 恐惧 的 电影	an n w v m n n-B n-I w v n v vn c v n n an u n
+因为 照 书 上 所 说 , 有 一颗 钉子 应 扎 在 天灵盖	c p n-B n-I n-B n-I w v m n v v p n
+人民 群众 的 创造 力 是 中国 马克思 主义 理论 不 断 创新 的 源泉	n-B n-I u n-B n-I v ns nz-B nz-I n ad-B ad-I v u n
+小说 的 市场 表现 也 颇 为 亮丽 , 出版 社 在 发行 数 日 后 即 决定 加 印 .	n u n vn d d-B d-I a w n-B n-I p v t-B t-I t-I d v v-B v-I w
+一般 每亩 每次 施 用 硫酸 铵 15 千克 或 尿素 8 千克 .	ad r r v-B v-I n-B n-I m-B m-I c n m-B m-I w
+淋病 患者 能 不 能 吃 辣 的 东西	n n v-B v-I v-I v-I a u n
+并 与 冷却 愈 慢 应力 愈 小 的 传统 观念 大 相 径庭 .	c p vn d a n d a u n-B n-I a-B a-I a-I w
+德国 爱情 小说 两人 在 第 一 章 就 看 对眼 , 最后 一 章 才能 比翼 双飞	ns n-B n-I n p m-B m-I m-I d v-B v-I w m-B m-I m-I v v-B v-I
+难道 情愿 让 父母 贫寒 下去 吗	d v v n a v xc
+也 找 过 物业 交涉 过 , 还是 解决 不 了 问题 , 之后 , 过 不 久 还是 漏水	d v u n v xc w c v d u n w f w v d a d v
+这 也是 目前 这个 世界 发展 的 不 好 方向	r v t n-B n-I v u a-B a-I n
+地图 学 由 起草 技术 的 集合 成长 为 实际 的 科学	nz-B nz-I p vn n u vn v v a u n
+加强 重点 领域 技术 攻关 , 抓好 科技 成果 转化 .	v n n vn-B vn-I w v n n vn w
+电气 自动 化 在 工厂 里 应用 比较 广泛 , 几乎 为 每所 工厂 所 必需	n vn-B vn-I p n f vn d a w d p r n u v
+下面 是 我们 几 个 来 回 的 短信	f v r m-B m-I vn-B vn-I u n
+但 今天 的 中国 , 充当 了 一 个 反面 的 教材	c t u ns w v u m-B m-I a u n
+是 怕 和 他们 平时 报道 的 一 片 歌舞 升 平 的 景象 起 冲突 吗	v v p r t v u m-B m-I an-B an-I an-I u n v vn xc
+从前 有 比丘 , 比丘尼 , 式 叉 摩 那 , 沙弥 , 沙弥 尼 , 在 历史 发展 的 过程 中 , 上座部 的 比丘尼 僧 团 消失 了	t v nz w nz w nz-B nz-I nz-I nz-I w nz w nz-B nz-I w p n vn u n f w n u nz n n v-B v-I
+报价 相同 , 按 报价 时间 的 先后 排序	n a w p vn n u n v
+这些 细节 之 处 是 伪造 不 出来 .	r n u n v v d v w
+教学 模式 和 学习 任务 二者 共同 构成 了 教学 问题 的 解决 方案	vn n c vn n r ad v u vn n u n-B n-I
+举升 车辆 时 一定 要 注意 安全	v n n v-B v-I v an
+我们 了解 了 家乡 人 物质 生活 所 发生 的 巨大 变化	r v u n n n vn u v u a vn
+大黄 更 是 耳聪目明 .	nr d-B d-I a w
+做 高级 将领 的 , 主意 有 参谋 给 出 , 计划 自有 下级 军官 去 施行 , 自己 凭 什么 还要 去 找 苦 头 吃 呢	v a n u w n v n v-B v-I w vn v n n v v w r d-B d-I v v-B v-I n-B n-I v xc
+面对 这些 存在 的 问题 , 一 味 的 抱怨 , 等待 都 解决 不 了 问题	v r v u n w d-B d-I u v w v d v d u n
+车队 每 到 夏季 会 派发 冷饮 , 凉茶 还有 绿豆 汤	n r p t v v n w n c n-B n-I
+不 可 触及 的 夜空 , 写 满 过往 的 哀伤	v-B v-I v-I u n w v a t u n
+环境 问题 已经 越来 越 严重 影响 到 我们 的 日常 生活	n-B n-I d d-B d-I ad v v r u n-B n-I
+该 型号 并 未 投产 .	r n d-B d-I v w
+男孩 与 女孩 ) 图片	n c n w n
+农村 社会 的 诉讼 现象 所 反映 的 司法 诉讼 观念 , 同样 决定 于 社会 存在 中 历史 和 现实 的 法律 现象	n n u vn n u v u n vn n w ad v p vn-B vn-I f n c n u n n
+4 . 我们 要 不 断 改进 学习 方法 , 增加 学习 效率	m-B m-I r v d-B d-I v n-B n-I w v n-B n-I
+整个 里斯德 帝国 就 只有 她 一 个 圣女 , 难 不 成 还能 扯 到 国外 去	a ns n d v r m-B m-I n w ad v-B v-I v v v s v
+协助 驻地 监理 工程 师 对 施工 计划 进行 审查	v n vn n-B n-I p vn n v vn
+其中 农业 人口 1342 人 , 劳动 力 685 人 .	f n n m n w n-B n-I m n w
+那 就 是 想 拯救 现实 中 深受 苦难 的 百姓 , 只有 通过 正确 的 政治 才 可以 !	r v-B v-I v v n f v n u n w c p a u n d v w
+国家 是否 有 颁布 什么 法律 法规 对 这种 情况 进行 说明	n d v v r n n p r n v vn
+一 家 韩国 公司 在 本 周 内 将 举行 为 期 48 小时 的 黑客 竞赛 , 并 提供 10 万 美元 奖金	m-B m-I ns n p r-B r-I f d v v-B v-I m-B m-I u nz n w c v m-B m-I m-I n
+3 , 负责 全 区 人口 和 计划 生育 基础 信息 库 的 建设 , 维护 , 管理 .	m w v n-B n-I n c n-B n-I n n-B n-I u vn w vn w vn w
+被 称赞 的 人 就 去 打听 了 一 下 , 原来 舂 谷 者 却 是 这 人 的 母亲	p v u n d v v u m-B m-I w d n-B n-I n-I v-B v-I r n u n
+许多 中国 物理 学 家 一直 是 维护 这种 观念 的 .	m ns n-B n-I n-I d v v r n u w
+由此 实现 中国 户籍 制度 的 全面 改革	d v ns n n u a vn
+第 五 十 七 条 各级 人民 政府 应当 加强 粮食 仓储 设施 , 物流 运输 , 应急 加工 和 供应 网点 建设	m-B m-I m-I m-I m-I r n-B n-I v v n vn n w n vn w vn vn c vn n vn
+一 个 人 想 创业 成功 , 不 仅仅 取决 于 自身 的 努力 , 更 重要 的 是 要 有 一 个 好 的 平台	n-B n-I n-I v vn a w d-B d-I v-B v-I r u an w a-B a-I u v v v m-B m-I a-B a-I n
+他 仍然 关心 国家 和 军队 的 建设 与 发展 , 坚决 拥护 党 中央 的 路线 及 政策 .	r d v n c n u vn c vn w ad v nt-B nt-I u n c n w
+忽然 , 他 要 王洪文 把 桌子 上 的 一 个 鸡蛋 立 起来	d w r v nr p n f u m-B m-I n v v
+你 换 到 另 一 排 , 你 原来 站 的 那 一 排 , 就 开始 动 的 比较 快 了	r v v r m-B m-I w r d v u r m-B m-I w d v v u d a xc
+千千 要 将 这 几 个 看 上去 很 奇妙 的 事物 联系 到 一 起 , 然而 , 却 总 像 是 欠缺 一 点 什么	nr v p r m-B m-I d-B d-I d a u n v p s-B s-I w c w d d v v v m-B m-I r
+剧目 所 用 曲牌 215 个 .	n v-B v-I n m-B m-I w
+那么 一般 外痔 需要 如何 治疗 呢	d ad n v r v xc
+玛雅 的 天文 台 也是 充满 特色 的 建筑 物	ns u n-B n-I v v n u n-B n-I
+这种 回应 基于 如 下 认识 公平 竞争 将 产生 最 经济 的 资源 配置 , 最 低 的 价格 , 最 高 的 质量 和 最 大 的 物质 进步	r vn v vn-B vn-I n vn-B vn-I d v d n u vn-B vn-I w a-B a-I u n w a-B a-I u n c a-B a-I u n vn
+我们 只能 进 不 能 退 了 , 我们 只能 坚持 下去	r v v v-B v-I v xc w r v v v
+在 对于 一 个 生词 的 一次 学习 中 , 就 可以 反复 多次 强化 对 这个 单词 的 记忆	p p m-B m-I n u m vn f w d v d m v p r n u n
+雨夜 朝 东方 眨 了 眨 眼睛 , 放 出 高 分贝 的 电量	nr p nr v-B v-I v-I n w v-B v-I n-B n-I u n
+你 可以 表现 得 更 谦虚 , 时不时 的 来 点 自嘲 , 装 点 小 傻 , 这样 会 让 别人 感觉 更 好	v-B v-I v u d a w n u v q v w v-B v-I a a w r v v r v a-B a-I
+解决 好 早餐 问题 后 , 大家 分别 把 各自 的 东西 都 放在 咱们 领队 飞鹰 的 车 上	v-B v-I n n f w r d p r u n d v r n nr u s-B s-I
+钉 马掌 是 相当 讲究 的 专业 本事 .	v n v d a u a n w
+实验 结果 验证 了 该 方案 的 可行 性 和 有效 性	vn n v u r n u n-B n-I c n-B n-I
+平 日 里 这 名 老人 帮 着 男孩 的 妈妈 照 看 他 , 枪击 案 发生 在 老人 家中	t-B t-I t-I r q n v u n u n v-B v-I r w n-B n-I v p n s
+景点 小吃 他 都 懂 都 可以 拿到 最 实惠 的 价格	n n r d v d v v a-B a-I u n
+这次 洽谈 会 有 20 多 个 国家 的 客 商 参加 , 成交 项目 金额 4000 多万 美元 .	r n-B n-I v m-B m-I m-I n u n-B n-I v w vn n n m-B m-I m-I w
+符合 未来 人 居 标准 固然 重要 , 市场 表现 也 不 可 或 缺	v t n-B n-I n d a w n vn d a-B a-I a-I a-I
+这 一 点 来 说 , 不管 是 男 设计 师 还是 女 设计 师 , 主要 还是 看 作品 的 思想 表达	r-B r-I r-I v-B v-I w c v a n-B n-I c a n-B n-I w ad d v n u n vn
+那 分明 是 阿爸 , 人 却 只 剩 了 上 半 个	r d v n w n d d v u f m-B m-I
+2005 年 至今 , 任 广东 钜豪 照明 有限 公司 营销 副总 经理	t-B t-I d w v nt-B nt-I nt-I nt-I nt-I vn n-B n-I
+这 对 我 和 弓 都 是 很好 的 锻炼 .	r p r c nr v-B v-I a u vn w
+当 接近 地面 时 , 太空 船 会 像 飞机 一 样 缓缓 滑行 到 跑道 上 .	p v n n w n-B n-I v v n a-B a-I d v v n f w
+巴菲特 在 会 上 轻松 化解 提问 , 对 美国 的 经济 前景 也 信心 十足	nr p n f ad v vn w p ns u n n d n a
+还有 , 美国 总统 选举 很 不 公平	v w n-B n-I vn d a-B a-I
+境内 单位 或者 个人 在 境外 接受 应 税 服务	s n c n p s v nz-B nz-I nz-I
+每个 帝国 战争 都 是 一 场 内战 , 一 个 警察 行动 .	r nz-B nz-I v-B v-I m-B m-I n w m-B m-I n vn w
+此 建议 旨在 使 俄罗斯 为 加强 世界 粮食 安全 作出 更 大 贡献	r n v v ns p v n n an v a-B a-I n
+一些 人 争先 恐 后 的 答应 着 冲 了 出来	n-B n-I v-B v-I v-I u v u v u v
+对 部分 病人 可能 剂量 过 大 , 产生 了 毒 副 作用 , 反而 削弱 或 抵销 了 治疗 的 积极 作用	p n n v n a-B a-I w v u n n-B n-I w d v c v u vn u a n
+朱元璋 在 世 时 即 首开 恶 例	nr v-B v-I n d v a n
+头痛 也 可以 是 痛觉 传导 纤维 或 痛觉 各级 中枢 或 调节 痛觉 的 镇痛 结构 发生 病变 所致	an d v v n vn n c n r n c v n u vn n v vn v
+不过 这个 价钱 也 算 很 值 了	c r n d v d a xc
+第 5 , 6 自然 段 , 谈 对 这 两 样 伟大 事物 的 研究 探索 的 方式	m-B m-I w m n-B n-I w v p m-B m-I m-I a n u vn vn u n
+接 下来 的 日子 里 朝廷 上 风云 变幻 , 爷 倒 是 喜事 颇多	v-B v-I u n f n f v-B v-I w n d-B d-I n a
+建立 工作 责任 制度 , 保证 每 项 工作 都 有 具体 人 负责 , 避免 有 的 工作 无 人 过 问	v n n n w v r q n d v a n v w v v u n v-B v-I v-B v-I
+秀 米 于 出嫁 途中 遭遇 土匪 绑票 , 被 劫 至 偏 野 小 村 花 家 舍 的 一 处 湖 心 小岛 上	nr-B nr-I p vn s v n vn w v-B v-I p a a n-B n-I n n-B n-I u m-B m-I n-B n-I n f
+科学 研究 表明 , 这 是 人体 的 信息 传递 在 起 作用	a vn v w r v n u n vn d v-B v-I
+可见 , 该 项目 的 经济 效益 , 社会 效益 , 生态 效益 尤 为 显著	v w r n u n-B n-I w n-B n-I w n n d-B d-I a
+中国 国内 出具 的 公证 书 , 商业 证明 等 , 如何 办理 领事 认证	ns s v u n-B n-I w n n u w r v n vn
+无 需 投入 太多 的 启动 费用 既 可 拥有 合作 机会	v-B v-I v a u vn n c v v vn n
+也 不 知道 是 怎么 回事 , 今年 的 女生 怎么 比 男生 还要 壮实	d d v v n-B n-I w t u n r p n v a
+1933 年 生 , 江苏 常熟 人 .	t-B t-I v w ns ns n w
+北部 的 外敌 重创 , 虽然 不 敢 说 突厥 人 已经 彻底 降服 , 但是 , 他们 想要 南下 趁 火 打劫 , 那 是 不 可能 的 了	f u n v w c v-B v-I v n-B n-I d ad v w c w r v v v-B v-I v-I w r v d v u xc
+就 一 张 脸 , 老 了 就 变 不 回来 了	d n-B n-I n-I w a u d v d v xc
+能够 根据 材料 的 特性 , 用途 , 来源 或 其他 标准 对 纺织 材料 进行 分类	v p n u n w n w n c r n p n-B n-I v vn
+搅拌 台 上 操作 人员 应 戴 口罩 , 搬运 水泥 工人 应 戴 口罩 和 手套	vn s-B s-I vn n v v-B v-I w v n n v v-B v-I c n

PaddleNLP/ELMO/finetune/infer.py

+from __future__ import print_function
+import numpy as np
+import reader
+import paddle.fluid as fluid
+import paddle
+import argparse
+import time
+import sys
+import io
+
+if sys.version_info > (3,):
+    sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
+else:
+    reload(sys)
+    sys.setdefaultencoding("utf8")
+
+def parse_args():
+    parser = argparse.ArgumentParser("Run inference.")
+    parser.add_argument(
+        '--batch_size',
+        type=int,
+        default=5,
+        help='The size of a batch. (default: %(default)d)'
+    )
+    parser.add_argument(
+        '--model_path',
+        type=str,
+        default='./conf/model',
+        help='A path to the model. (default: %(default)s)'
+    )
+    parser.add_argument(
+        '--test_data_dir',
+        type=str,
+        default='./data/test_data',
+        help='A directory with test data files. (default: %(default)s)'
+    )
+    parser.add_argument(
+        "--word_dict_path",
+        type=str,
+        default="./conf/word.dic",
+        help="The path of the word dictionary. (default: %(default)s)"
+    )
+    parser.add_argument(
+        "--label_dict_path",
+        type=str,
+        default="./conf/tag.dic",
+        help="The path of the label dictionary. (default: %(default)s)"
+    )
+    parser.add_argument(
+        "--word_rep_dict_path",
+        type=str,
+        default="./conf/q2b.dic",
+        help="The path of the word replacement Dictionary. (default: %(default)s)"
+    )
+    args = parser.parse_args()
+    return args
+
+
+def print_arguments(args):
+    print('-----------  Configuration Arguments -----------')
+    for arg, value in sorted(vars(args).items()):
+        print('%s: %s' % (arg, value))
+    print('------------------------------------------------')
+
+
+def get_real_tag(origin_tag):
+    if origin_tag == "O":
+        return "O"
+    return origin_tag[0:len(origin_tag) - 2]
+
+def to_lodtensor(data, place):
+    seq_lens = [len(seq) for seq in data]
+    cur_len = 0
+    lod = [cur_len]
+    for l in seq_lens:
+        cur_len += l
+        lod.append(cur_len)
+    flattened_data = np.concatenate(data, axis=0).astype("int64")
+    flattened_data = flattened_data.reshape([len(flattened_data), 1])
+    res = fluid.LoDTensor()
+    res.set(flattened_data, place)
+    res.set_lod([lod])
+    return res
+
+def infer(args):
+    id2word_dict = reader.load_dict(args.word_dict_path)
+    word2id_dict = reader.load_reverse_dict(args.word_dict_path) 
+
+    id2label_dict = reader.load_dict(args.label_dict_path)
+    label2id_dict = reader.load_reverse_dict(args.label_dict_path)
+    q2b_dict = reader.load_dict(args.word_rep_dict_path)
+    test_data = paddle.batch(
+                    reader.test_reader(args.test_data_dir,
+                        word2id_dict,
+                        label2id_dict,
+                        q2b_dict),
+                    batch_size = args.batch_size)
+    place = fluid.CPUPlace()
+    exe = fluid.Executor(place)
+
+    inference_scope = fluid.core.Scope()
+    with fluid.scope_guard(inference_scope):
+        [inference_program, feed_target_names,
+         fetch_targets] = fluid.io.load_inference_model(args.model_path, exe)
+        for data in test_data():
+            full_out_str = ""
+            word_idx = to_lodtensor([x[0] for x in data], place)
+            word_list = [x[1] for x in data]
+            (crf_decode, ) = exe.run(inference_program,
+                                 feed={"word":word_idx},
+                                 fetch_list=fetch_targets,
+                                 return_numpy=False)
+            lod_info = (crf_decode.lod())[0]
+            np_data = np.array(crf_decode)
+            assert len(data) == len(lod_info) - 1
+            for sen_index in range(len(data)):
+                assert len(data[sen_index][0]) == lod_info[
+                    sen_index + 1] - lod_info[sen_index]
+                word_index = 0
+                outstr = ""
+                cur_full_word = ""
+                cur_full_tag = ""
+                words = word_list[sen_index]
+                for tag_index in range(lod_info[sen_index],
+                                        lod_info[sen_index + 1]):
+                    cur_word = words[word_index]
+                    cur_tag = id2label_dict[str(np_data[tag_index][0])]
+                    if cur_tag.endswith("-B") or cur_tag.endswith("O"):
+                        if len(cur_full_word) != 0:
+                            outstr += cur_full_word + u"/" + cur_full_tag + u" "
+                        cur_full_word = cur_word
+                        cur_full_tag = get_real_tag(cur_tag)
+                    else:
+                        cur_full_word += cur_word
+                    word_index += 1
+                outstr += cur_full_word + u"/" + cur_full_tag + u" "    
+                outstr = outstr.strip()
+                full_out_str += outstr + u"\n"
+            print(full_out_str.strip(), file=sys.stdout)
+
+if __name__ == "__main__":
+    args = parse_args()
+    print_arguments(args)
+    infer(args)

PaddleNLP/ELMO/finetune/network.py

+"""
+The function lex_net(args) define the lexical analysis network structure
+"""
+import sys
+import os
+import math
+
+import paddle.fluid as fluid
+from paddle.fluid.initializer import NormalInitializer
+import paddle.fluid.layers as layers
+from bilm import elmo_encoder
+from bilm import emb
+#import bilm
+import ipdb
+
+def lex_net(args, word_dict_len, label_dict_len):
+    """
+    define the lexical analysis network structure
+    """
+    word_emb_dim = args.word_emb_dim
+    grnn_hidden_dim = args.grnn_hidden_dim
+    emb_lr = args.emb_learning_rate
+    crf_lr = args.crf_learning_rate
+    bigru_num = args.bigru_num
+    init_bound = 0.1
+    IS_SPARSE = True
+
+    def _bigru_layer(input_feature):
+        """
+        define the bidirectional gru layer
+        """
+        pre_gru = fluid.layers.fc(
+            input=input_feature,
+            size=grnn_hidden_dim * 3,
+            param_attr=fluid.ParamAttr(
+                initializer=fluid.initializer.Uniform(
+                    low=-init_bound, high=init_bound),
+                regularizer=fluid.regularizer.L2DecayRegularizer(
+                    regularization_coeff=1e-4)))
+        gru = fluid.layers.dynamic_gru(
+            input=pre_gru,
+            size=grnn_hidden_dim,
+            param_attr=fluid.ParamAttr(
+                initializer=fluid.initializer.Uniform(
+                    low=-init_bound, high=init_bound),
+                regularizer=fluid.regularizer.L2DecayRegularizer(
+                    regularization_coeff=1e-4)))
+
+        pre_gru_r = fluid.layers.fc(
+            input=input_feature,
+            size=grnn_hidden_dim * 3,
+            param_attr=fluid.ParamAttr(
+                initializer=fluid.initializer.Uniform(
+                    low=-init_bound, high=init_bound),
+                regularizer=fluid.regularizer.L2DecayRegularizer(
+                    regularization_coeff=1e-4)))
+        gru_r = fluid.layers.dynamic_gru(
+            input=pre_gru_r,
+            size=grnn_hidden_dim,
+            is_reverse=True,
+            param_attr=fluid.ParamAttr(
+                initializer=fluid.initializer.Uniform(
+                    low=-init_bound, high=init_bound),
+                regularizer=fluid.regularizer.L2DecayRegularizer(
+                    regularization_coeff=1e-4)))
+
+        bi_merge = fluid.layers.concat(input=[gru, gru_r], axis=1)
+        return bi_merge
+
+    def _net_conf(word, target):
+        """
+        Configure the network
+        """
+        #add elmo
+        #ipdb.set_trace()
+        #elmo_embedding = emb(word)
+        #layers.Print(word, message='input_seq', summarize=10)
+        #drnn = layers.DynamicRNN()
+        #with drnn.block():
+         #   elmo_embedding = drnn.step_input(elmo_embedding)
+          #  elmo_enc= elmo_encoder(elmo_embedding)
+           # drnn.output(elmo_enc)
+       # elmo_enc = drnn()
+        
+        word_embedding = fluid.layers.embedding(
+        input=word,
+        size=[word_dict_len, word_emb_dim],
+        dtype='float32',
+        is_sparse=IS_SPARSE,
+        param_attr=fluid.ParamAttr(
+             learning_rate=emb_lr,
+             name="word_emb",
+             initializer=fluid.initializer.Uniform(
+                 low=-init_bound, high=init_bound)))	
+        #layers.Print(word, message='word', summarize=-1)
+        #layers.Print(word_r, message='word_r', summarize=-1)
+        #word_r=fluid.layers.sequence_reverse(word, name=None)
+        #layers.Print(word_r, message='word_r_1', summarize=-1)
+        elmo_embedding = emb(word)
+        #elmo_embedding_r=emb(word_r)
+        #layers.Print(elmo_embedding, message='elmo_embedding', summarize=10)
+        #layers.Print(word, message='input_seq', summarize=10)
+        #drnn = layers.DynamicRNN()
+        #with drnn.block():
+        #elmo_embed = drnn.step_input(elmo_embedding)
+        #layers.Print(elmo_embed, message='elmo_enc', summarize=10)
+        #elmo_enc = elmo_encoder(elmo_embedding)
+        elmo_enc = elmo_encoder(elmo_embedding, args.elmo_l2_coef)
+        #input_feature=layers.concat(input=[elmo_enc, word_embedding], axis=1)
+        #input_feature=elmo_enc
+         #input_feature=layers.concat#drnn.output(input_feature)
+        #input_feature = drnn()
+       # input_feature = word_embedding
+        #layers.Print(elmo_enc, message='elmo_enc', summarize=10)
+        input_feature=layers.concat(input=[elmo_enc, word_embedding], axis=1)
+        for i in range(bigru_num):
+            bigru_output = _bigru_layer(input_feature)
+            input_feature = bigru_output
+
+        emission = fluid.layers.fc(
+            size=label_dict_len,
+            input=bigru_output,
+            param_attr=fluid.ParamAttr(
+                initializer=fluid.initializer.Uniform(
+                    low=-init_bound, high=init_bound),
+                regularizer=fluid.regularizer.L2DecayRegularizer(
+                    regularization_coeff=1e-4)))
+
+        crf_cost = fluid.layers.linear_chain_crf(
+            input=emission,
+            label=target,
+            param_attr=fluid.ParamAttr(
+                name='crfw',
+                learning_rate=crf_lr))
+        crf_decode = fluid.layers.crf_decoding(
+            input=emission, param_attr=fluid.ParamAttr(name='crfw'))
+        avg_cost = fluid.layers.mean(x=crf_cost)
+        return avg_cost, crf_decode
+
+    word = fluid.layers.data(
+        name='word', shape=[1], dtype='int64', lod_level=1)
+    #word_r = fluid.layers.data(
+    #    name='word_r', shape=[1], dtype='int64', lod_level=1)
+    target = fluid.layers.data(
+        name="target", shape=[1], dtype='int64', lod_level=1)
+
+    avg_cost, crf_decode= _net_conf(word, target)
+
+    return avg_cost, crf_decode, word,target

PaddleNLP/ELMO/finetune/reader.py

+#coding: utf-8
+"""
+The file_reader converts raw corpus to input.
+"""
+import os
+import __future__
+import io
+
+def file_reader(file_dir,
+                word2id_dict,
+                label2id_dict,
+                word_replace_dict,
+                filename_feature=""):
+    """
+    define the reader to read files in file_dir
+    """
+    word_dict_len = max(map(int, word2id_dict.values())) + 1
+    label_dict_len = max(map(int, label2id_dict.values())) + 1
+    def reader():
+        """
+        the data generator
+        """
+        index = 0
+        for root, dirs, files in os.walk(file_dir):
+            for filename in files:
+                for line in io.open(os.path.join(root, filename), 'r', encoding='utf8'):
+                    index += 1
+                    bad_line = False
+                    line = line.strip("\n")
+                    if len(line) == 0:
+                        continue
+                    seg_tag = line.rfind("\t")
+                    # TODO 词和字模型
+                    word_part = line[0:seg_tag].strip().split(' ')
+                    label_part = line[seg_tag + 1:]
+                    word_idx = []
+                    words = word_part
+                    for word in words:
+                        if word in word_replace_dict:
+                            word = word_replace_dict[word]
+                        if word in word2id_dict:
+                            word_idx.append(int(word2id_dict[word]))
+                        else:
+                            word_idx.append(int(word2id_dict["<UNK>"]))
+                    target_idx = []
+                    labels = label_part.strip().split(" ")
+                    for label in labels:
+                        if label in label2id_dict:
+                            target_idx.append(int(label2id_dict[label]))
+                        else:
+                            target_idx.append(int(label2id_dict["O"]))
+                    if len(word_idx) != len(target_idx):
+                        print(line)
+                        continue             
+                    #import ipdb;ipdb.set_trace()
+                    #import copy;word_idx1=copy.deepcopy(word_idx)
+                    #word_idx1=word_idx
+                    #word_idx.reverse()
+                    #import ipdb;ipdb.set_trace()
+                    yield word_idx, target_idx
+    return reader
+
+def test_reader(file_dir,
+                word2id_dict,
+                label2id_dict,
+                word_replace_dict,
+                filename_feature=""):
+    """
+    define the reader to read test files in file_dir
+    """
+    word_dict_len = max(map(int, word2id_dict.values())) + 1
+    label_dict_len = max(map(int, label2id_dict.values())) + 1
+    def reader():
+        """
+        the data generator
+        """
+        index = 0
+        for root, dirs, files in os.walk(file_dir):
+            for filename in files:
+                if not filename.startswith(filename_feature):
+                    continue
+                for line in io.open(os.path.join(root, filename), 'r', encoding='utf8'):
+                    index += 1
+                    bad_line = False
+                    line = line.strip("\n")
+                    if len(line) == 0:
+                        continue
+                    seg_tag = line.rfind("\t")
+                    if seg_tag == -1:
+                        seg_tag = len(line)
+                    word_part = line[0:seg_tag]
+                    label_part = line[seg_tag + 1:]
+                    word_idx = []
+                    words = word_part
+                    for word in words:
+                        if ord(word) < 0x20:
+                            word = ' '
+                        if word in word_replace_dict:
+                            word = word_replace_dict[word]
+                        if word in word2id_dict:
+                            word_idx.append(int(word2id_dict[word]))
+                        else:
+                            word_idx.append(int(word2id_dict["OOV"]))
+                    yield word_idx, words
+    return reader
+
+
+def load_reverse_dict(dict_path):
+    """
+    Load a dict. The first column is the key and the second column is the value.
+    """
+    result_dict = {}
+    # TODO 字和词模型
+    for idx, line in enumerate(io.open(dict_path, "r", encoding='utf8')):
+        terms = line.strip("\n")
+        result_dict[terms] = idx
+    return result_dict
+
+
+def load_dict(dict_path):
+    """
+    Load a dict. The first column is the value and the second column is the key.
+    """
+    result_dict = {}
+    for idx, line in enumerate(io.open(dict_path, "r", encoding='utf8')):
+        terms = line.strip("\n")
+        result_dict[idx] = terms
+    return result_dict

PaddleNLP/ELMO/finetune/run.sh

+export FLAGS_fraction_of_gpu_memory_to_use=0.5
+export FLAGS_eager_delete_tensor_gb=0.0 
+export FLAGS_fast_eager_deletion_mode=1
+export CUDA_VISIBLE_DEVICES=4
+
+python train.py \
+--traindata_dir data/train \
+--model_save_dir model \
+--use_gpu 1 \
+--corpus_type_list train \
+--corpus_proportion_list 1 \
+--num_iterations 200000 \
+--testdata_dir data/dev $@ \

PaddleNLP/ELMO/finetune/train.py

+"""
+This file is used to train the model.
+"""
+import os
+import sys
+import math
+import time
+import random
+import argparse
+
+import numpy as np
+import paddle
+import paddle.fluid as fluid
+
+import reader
+from network import lex_net
+from bilm import init_pretraining_params
+
+def parse_args():
+    """
+    Parsing the input parameters.
+    """
+    parser = argparse.ArgumentParser("Training for lexical analyzer.")
+    parser.add_argument(
+        "--traindata_dir",
+        type=str,
+        default="data/train_data",
+        help="The folder where the training data is located.")
+    parser.add_argument(
+        "--testdata_dir",
+        type=str,
+        default="data/test_data",
+        help="The folder where the training data is located.")
+    parser.add_argument(
+        "--model_save_dir",
+        type=str,
+        default="./models",
+        help="The model will be saved in this path.")
+    parser.add_argument(
+        "--save_model_per_batchs",
+        type=int,
+        default=1000,
+        help="Save the model once per xxxx batch of training")
+    parser.add_argument(
+        "--eval_window",
+        type=int,
+        default=20,
+        help="Training will be suspended when the evaluation indicators on the validation set" \
+             " no longer increase. The eval_window specifies the scope of the evaluation.")
+    parser.add_argument(
+        "--batch_size",
+        type=int,
+        default=32,
+        help="The number of sequences contained in a mini-batch, or the maximum" \
+             "number of tokens (include paddings) contained in a mini-batch.")
+    parser.add_argument(
+        "--corpus_type_list",
+        type=str,
+        default=["human", "feed", "query", "title", "news"],
+        nargs='+',
+        help="The pattern list of different types of corpus used in training.")
+    parser.add_argument(
+        "--corpus_proportion_list",
+        type=float,
+        default=[0.2, 0.2, 0.2, 0.2, 0.2],
+        nargs='+',
+        help="The proportion list of different types of corpus used in training.")
+    parser.add_argument(
+        "--use_gpu",
+        type=int,
+        default=False,
+        help="Whether or not to use GPU. 0-->CPU 1-->GPU")
+    parser.add_argument(
+        "--traindata_shuffle_buffer",
+        type=int,
+        default=200000,
+        help="The buffer size used in shuffle the training data.")
+    parser.add_argument(
+        "--word_emb_dim",
+        type=int,
+        default=128,
+        help="The dimension in which a word is embedded.")
+    parser.add_argument(
+        "--grnn_hidden_dim",
+        type=int,
+        default=256,
+        help="The number of hidden nodes in the GRNN layer.")
+    parser.add_argument(
+        "--bigru_num",
+        type=int,
+        default=2,
+        help="The number of bi_gru layers in the network.")
+    parser.add_argument(
+        "--base_learning_rate",
+        type=float,
+        default=1e-3,
+        help="The basic learning rate that affects the entire network.")
+    parser.add_argument(
+        "--emb_learning_rate",
+        type=float,
+        default=5,
+        help="The real learning rate of the embedding layer will be" \
+        " (emb_learning_rate * base_learning_rate)."
+    )
+    parser.add_argument(
+        "--crf_learning_rate",
+        type=float,
+        default=0.2,
+        help="The real learning rate of the embedding layer will be" \
+             " (crf_learning_rate * base_learning_rate)."
+    )
+    parser.add_argument(
+        "--word_dict_path",
+        type=str,
+        default="../data/vocabulary_min5k.txt",
+        help="The path of the word dictionary."
+    )
+    parser.add_argument(
+        "--label_dict_path",
+        type=str,
+        default="data/tag.dic",
+        help="The path of the label dictionary."
+    )
+    parser.add_argument(
+        "--word_rep_dict_path",
+        type=str,
+        default="conf/q2b.dic",
+        help="The path of the word replacement Dictionary."
+    )
+    parser.add_argument(
+        "--num_iterations",
+        type=int,
+        default=40000,
+        help="The maximum number of iterations. If set to 0 (default), do not limit the number."
+    )
+    
+    #add elmo args
+    parser.add_argument(
+        "--elmo_l2_coef",
+        type=float,
+        default=0.001,
+        help="Weight decay. (default: %(default)f)"
+    )
+    parser.add_argument(
+        "--elmo_dict_dir",
+        default='data/vocabulary_min5k.txt',
+        help="If set, load elmo dict."
+    )
+    parser.add_argument(
+        '--pretrain_elmo_model_path', 
+        default="data/baike_elmo_checkpoint",
+        help="If set, load elmo checkpoint."
+    )
+    args = parser.parse_args()
+    if len(args.corpus_proportion_list) != len(args.corpus_type_list):
+        sys.stderr.write(
+            "The length of corpus_proportion_list should be equal to the length of corpus_type_list.\n"
+        )
+        exit(-1)
+    return args
+
+
+def print_arguments(args):
+    print('-----------  Configuration Arguments -----------')
+    for arg, value in sorted(vars(args).items()):
+        print('%s: %s' % (arg, value))
+    print('------------------------------------------------')
+
+
+def to_lodtensor(data, place):
+    """
+    Convert data in list into lodtensor.
+    """
+    seq_lens = [len(seq) for seq in data]
+    cur_len = 0
+    lod = [cur_len]
+    for l in seq_lens:
+        cur_len += l
+        lod.append(cur_len)
+    flattened_data = np.concatenate(data, axis=0).astype("int64")
+    flattened_data = flattened_data.reshape([len(flattened_data), 1])
+    res = fluid.LoDTensor()
+    res.set(flattened_data, place)
+    res.set_lod([lod])
+    return res
+
+
+def test(exe, chunk_evaluator, save_dirname, test_data, place):
+    """
+    Test the network in training.
+    """
+    #import ipdb;ipdb.set_trace()
+    inference_scope = fluid.core.Scope()
+    with fluid.scope_guard(inference_scope):
+        [inference_program, feed_target_names, fetch_targets] = fluid.io.load_inference_model(save_dirname, exe)
+        chunk_evaluator.reset()
+        for data in test_data():
+            word = to_lodtensor(list(map(lambda x: x[0], data)), place)
+            #import ipdb;ipdb.set_trace()
+            #word_r = to_lodtensor(list(map(lambda x: x[0].reverse(), data)), place)
+            #word_r_lod=[]
+            #for data1 in data:
+              # data1[0].reverse() 
+             #  word_r_lod.append(data1[0])
+            #import ipdb;ipdb.set_trace()
+            #word_r = to_lodtensor(word_r_lod,place) 
+            target = to_lodtensor(list(map(lambda x: x[1], data)), place)
+            #import ipdb 
+            #ipdb.set_trace()
+            result_list = exe.run(
+                inference_program,
+                feed={
+                    "word": word,
+                    "target": target
+                },
+                fetch_list=fetch_targets)
+            number_infer = np.array(result_list[0])
+            number_label = np.array(result_list[1])
+            number_correct = np.array(result_list[2])
+            chunk_evaluator.update(int(number_infer[0]), int(number_label[0]),
+                               int(number_correct[0]))
+    return chunk_evaluator.eval()
+
+def train(args):
+    """
+    Train the network.
+    """
+    if not os.path.exists(args.model_save_dir):
+        os.mkdir(args.model_save_dir)
+
+    word2id_dict = reader.load_reverse_dict(args.word_dict_path)
+    label2id_dict = reader.load_reverse_dict(args.label_dict_path)
+    word_rep_dict = reader.load_dict(args.word_rep_dict_path)
+    word_dict_len = max(map(int, word2id_dict.values())) + 1                
+    label_dict_len = max(map(int, label2id_dict.values())) + 1 
+    
+    avg_cost, crf_decode, word,target= lex_net(args, word_dict_len, label_dict_len)
+    adam_optimizer = fluid.optimizer.Adam(learning_rate=args.base_learning_rate)
+    adam_optimizer.minimize(avg_cost)
+
+    (precision, recall, f1_score, num_infer_chunks, num_label_chunks,
+     num_correct_chunks) = fluid.layers.chunk_eval(
+         input=crf_decode,
+         label=target,
+         chunk_scheme="IOB",
+         num_chunk_types=int(math.ceil((label_dict_len - 1) / 2.0)))
+    chunk_evaluator = fluid.metrics.ChunkEvaluator()
+    chunk_evaluator.reset()
+    
+    train_reader_list = []
+    corpus_num = len(args.corpus_type_list)
+    for i in range(corpus_num):
+        train_reader = paddle.batch(
+            paddle.reader.shuffle(
+                reader.file_reader(args.traindata_dir,
+                                            word2id_dict,
+                                            label2id_dict,
+                                            word_rep_dict,
+                                            args.corpus_type_list[i]),
+                buf_size=args.traindata_shuffle_buffer),
+            batch_size=int(args.batch_size * args.corpus_proportion_list[i]))
+        train_reader_list.append(train_reader)
+    test_reader = paddle.batch(
+        reader.file_reader(args.testdata_dir, word2id_dict, label2id_dict, word_rep_dict),
+        batch_size=args.batch_size)
+    train_reader_itr_list = []
+    for train_reader in train_reader_list:
+        cur_reader_itr = train_reader()
+        train_reader_itr_list.append(cur_reader_itr)
+
+    place = fluid.CUDAPlace(0) if args.use_gpu else fluid.CPUPlace()
+    feeder = fluid.DataFeeder(feed_list=[word, target], place=place)
+    exe = fluid.Executor(place)
+    exe.run(fluid.default_startup_program())
+    #add elmo finetune layers
+    init_pretraining_params(exe,args.pretrain_elmo_model_path,fluid.default_main_program())
+    batch_id = 0
+    start_time = time.time()
+    eval_list = []
+    iter = 0
+    while True:
+        full_batch = []
+        cur_batch = []
+        for i in range(corpus_num):
+            reader_itr = train_reader_itr_list[i]
+            try:
+                cur_batch = next(reader_itr)
+            except StopIteration:
+                print(args.corpus_type_list[i] +
+                      " corpus finish a pass of training")
+                new_reader = train_reader_list[i]
+                train_reader_itr_list[i] = new_reader()
+                cur_batch = next(train_reader_itr_list[i])
+            full_batch += cur_batch
+        random.shuffle(full_batch)
+
+        cost_var, nums_infer, nums_label, nums_correct = exe.run(
+            fluid.default_main_program(),
+            fetch_list=[
+                avg_cost, num_infer_chunks, num_label_chunks,
+                num_correct_chunks
+            ],
+            feed=feeder.feed(full_batch))
+        print("batch_id:" + str(batch_id) + ", avg_cost:" + str(cost_var[0]))
+        chunk_evaluator.update(nums_infer, nums_label, nums_correct)
+        batch_id += 1
+
+        if (batch_id % args.save_model_per_batchs == 1):
+            save_exe = fluid.Executor(place)
+            save_dirname = os.path.join(args.model_save_dir,
+                                        "params_batch_%d" % batch_id)
+            #fluid.io.save_inference_model(save_dirname, ['word'], [crf_decode],
+             #                             save_exe)
+            temp_save_model = os.path.join(args.model_save_dir, "temp_model_for_test")
+            fluid.io.save_inference_model(temp_save_model, ['word', 'target'], [num_infer_chunks, num_label_chunks, num_correct_chunks], save_exe)
+
+            precision, recall, f1_score = chunk_evaluator.eval()
+            print("[train] batch_id:" + str(batch_id) + ", precision:" +
+                  str(precision) + ", recall:" + str(recall) + ", f1:" +
+                  str(f1_score))
+            chunk_evaluator.reset()
+            p, r, f1 = test(
+                exe, chunk_evaluator, temp_save_model, test_reader, place)
+            chunk_evaluator.reset()
+            print("[test] batch_id:" + str(batch_id) + ", precision:" +
+                  str(p) + ", recall:" + str(r) + ", f1:" + str(f1))
+            end_time = time.time()
+            print("cur_batch_id:" + str(batch_id) + ", last " +
+                  str(args.save_model_per_batchs) + " batchs, time_cost:" +
+                  str(end_time - start_time))
+            start_time = time.time()
+
+            if len(eval_list) < 2 * args.eval_window:
+                eval_list.append(f1)
+            else:
+                eval_list.pop(0)
+                eval_list.append(f1)
+                last_avg_f1 = sum(
+                    eval_list[0:args.eval_window]) / args.eval_window
+                cur_avg_f1 = sum(eval_list[
+                    args.eval_window:2 * args.eval_window]) / args.eval_window
+                if cur_avg_f1 <= last_avg_f1:
+                    return
+                else:
+                    print("keep training!")
+        iter += 1
+        if (iter == args.num_iterations):
+            return
+
+
+if __name__ == "__main__":
+    args = parse_args()
+    print_arguments(args)
+    train(args)
\ No newline at end of file