提交 dcbb0223 编写于 作者: C chenjiawen

修改README

上级 62a87b39
...@@ -64,13 +64,13 @@ export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ...@@ -64,13 +64,13 @@ export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
在原论文中推荐的使用方式是,NLP下游任务输入的embedding层与ELMO的输出向量直接做concat。其中,ELMO部分是直接加载预训练出来的模型参数(PaddlePaddle中通过fluid.io.load_vars接口来加载参数),模型参数输入到NLP下游任务是fix的(在PaddlePaddle中通过stop_gradient = True来实现)。 在原论文中推荐的使用方式是,NLP下游任务输入的embedding层与ELMO的输出向量直接做concat。其中,ELMO部分是直接加载预训练出来的模型参数(PaddlePaddle中通过fluid.io.load_vars接口来加载参数),模型参数输入到NLP下游任务是fix的(在PaddlePaddle中通过stop_gradient = True来实现)。
ELMO微调任务的要点如下: ELMO微调任务的要点如下:
1. 下载预训练模型。 1.下载预训练模型的参数文件。
2. 加载elmo网络定义部分bilm.py。 2.加载elmo网络定义部分bilm.py。
3. 在网络启动时加载预训练模型。 3.在网络启动时加载预训练模型。
4. 基于elmo字典对输入做切词并转化为id。 4.基于elmo字典对输入做切词并转化为id。
5. elmo词向量与网络embedding层做concat。 5.elmo词向量与网络embedding层做concat。
具体步骤如下:
1. 下载ELMO Paddle官方发布Checkpoint文件,Checkpoint文件为预训练好的约3.8G中文百科数据。 1. 下载ELMO Paddle官方发布Checkpoint文件,Checkpoint文件为预训练好的约3.8G中文百科数据。
[PaddlePaddle官方发布Checkpoint文件下载地址](https://dureader.gz.bcebos.com/elmo/elmo_chinese_checkpoint.tar.gz) [PaddlePaddle官方发布Checkpoint文件下载地址](https://dureader.gz.bcebos.com/elmo/elmo_chinese_checkpoint.tar.gz)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册