Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
8d18a4ce
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
8d18a4ce
编写于
3月 17, 2019
作者:
T
tianxin04
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add run environment
上级
6204b17e
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
8 addition
and
2 deletion
+8
-2
BERT/README.md
BERT/README.md
+3
-2
ERNIE/README.md
ERNIE/README.md
+5
-0
未找到文件。
BERT/README.md
浏览文件 @
8d18a4ce
...
...
@@ -123,7 +123,7 @@ export current_endpoint=192.168.0.17:9185
```
shell
export
FLAGS_enable_parallel_graph
=
1
export
FLAGS_sync_nccl_allreduce
=
1
export
CUDA_VISIBLE_DEVICES
=
0,1,2,3
export
CUDA_VISIBLE_DEVICES
=
0,1,2,3
,4,5,6,7
BERT_BASE_PATH
=
"chinese_L-12_H-768_A-12"
TASK_NAME
=
'XNLI'
...
...
@@ -149,7 +149,8 @@ python -u run_classifier.py --task_name ${TASK_NAME} \
--max_seq_len
512
\
--bert_config_path
${
BERT_BASE_PATH
}
/bert_config.json
\
--learning_rate
1e-4
\
--skip_steps
10
--skip_steps
10
\
--random_seed
1
```
这里的
`chinese_L-12_H-768_A-12`
即是转换后的中文预训练模型。需要注意的是,BERT on PaddlePaddle 支持按两种方式构建一个 batch 的数据,
`in_tokens`
参数影响
`batch_size`
参数的意义,如果
`in_tokens`
为
`true`
则按照 token 个数构建 batch, 如不设定则按照 example 个数来构建 batch. 训练过程中会输出训练误差、训练速度等信息,训练结束后会输出如下所示的在验证集上的测试结果:
...
...
ERNIE/README.md
浏览文件 @
8d18a4ce
...
...
@@ -163,6 +163,11 @@ nlpcc-dbqa是由国际自然语言处理和中文计算会议NLPCC于2016年举
2)
[
任务数据下载
](
https://ernie.bj.bcebos.com/task_data.tgz
)
### 安装
本项目依赖于 Paddle Fluid 1.3,请参考
[
安装指南
](
http://www.paddlepaddle.org/#quick-start
)
进行安装。
**Note**
: 预训练任务和finetune任务测试机器为P40, 显存22G;如果显存低于22G, 某些任务可能会因显存不足报错;
### 预训练
#### 数据预处理
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录