Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
0a4178f3
M
models
项目概览
PaddlePaddle
/
models
大约 1 年 前同步成功
通知
222
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
0a4178f3
编写于
4月 15, 2019
作者:
J
JesseyXujin
提交者:
GitHub
4月 15, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update README.md
上级
56b08830
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
6 addition
and
5 deletion
+6
-5
PaddleNLP/ELMO/README.md
PaddleNLP/ELMO/README.md
+6
-5
未找到文件。
PaddleNLP/ELMO/README.md
浏览文件 @
0a4178f3
...
...
@@ -9,9 +9,9 @@ ELMO在大语料上以language model为训练目标,训练出bidirectional LST
此版本发布要点:
1.
发布预训练模型完整代码。
2.
支持多卡训练,训练速度比主流实现快约1倍。
3.
发布
[
ELMO中文预训练模型
](
https://dureader.gz.bcebos.com/elmo/
elmo_chinese
_checkpoint.tar.gz
)
,
训练约3
.
8G中文百科数据。
4.
发布基于ELMO微调步骤和
示例代码,验证在中文词法分析任务LAC上f1值提升了0.68
%。
3.
发布
[
ELMO中文预训练模型
](
https://dureader.gz.bcebos.com/elmo/
baike_elmo
_checkpoint.tar.gz
)
,
训练约38G中文百科数据。
4.
发布基于ELMO微调步骤和
[
LAC微调示例代码
](
/finetune
)
,验证在中文词法分析任务LAC上f1值提升了0.7
%。
## 基本配置及第三方安装包
...
...
@@ -62,6 +62,8 @@ export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
利用ELMO做微调,与Bert方式不同,ELMO微调是把ELMO部分作为已预训练好的词向量,接入到NLP下游任务中。
在原论文中推荐的使用方式是,NLP下游任务输入的embedding层与ELMO的输出向量直接做concat。其中,ELMO部分是直接加载预训练出来的模型参数(PaddlePaddle中通过fluid.io.load_vars接口来加载参数),模型参数输入到NLP下游任务是fix的(在PaddlePaddle中通过stop_gradient = True来实现)。
ELMO微调部分可参考
[
LAC微调示例代码
](
/finetune
)
,
[
LAC微调示例代码
](
/finetune
)
是基于百度词法分析工具LAC做的代码,
[
LAC官方发布代码地址
](
https://github.com/baidu/lac/tree/a4eb73b2fb64d8aab8499a1184edf4fc386f8268
)
ELMO微调任务的要点如下:
...
...
@@ -77,7 +79,7 @@ ELMO微调任务的要点如下:
具体步骤如下:
1.
下载ELMO Paddle官方发布Checkpoint文件,Checkpoint文件为预训练好的约3.8G中文百科数据。
[
PaddlePaddle官方发布Checkpoint文件下载地址
](
https://dureader.gz.bcebos.com/elmo/
elmo_chinese
_checkpoint.tar.gz
)
[
PaddlePaddle官方发布Checkpoint文件下载地址
](
https://dureader.gz.bcebos.com/elmo/
baike_elmo
_checkpoint.tar.gz
)
2.
在网络初始化启动中加载ELMO Checkpoint文件。加载参数接口(fluid.io.load_vars),可加在网络参数(exe.run(fluid.default_startup_program()))初始化之后。
...
...
@@ -123,7 +125,6 @@ word_embedding=layers.concat(input=[elmo_enc, word_embedding], axis=1)
```
## 参考论文
[
Deep contextualized word representations
](
https://arxiv.org/abs/1802.05365
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录