提交 8d18a4ce 编写于 作者: T tianxin04

add run environment

上级 6204b17e
......@@ -123,7 +123,7 @@ export current_endpoint=192.168.0.17:9185
```shell
export FLAGS_enable_parallel_graph=1
export FLAGS_sync_nccl_allreduce=1
export CUDA_VISIBLE_DEVICES=0,1,2,3
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
BERT_BASE_PATH="chinese_L-12_H-768_A-12"
TASK_NAME='XNLI'
......@@ -149,7 +149,8 @@ python -u run_classifier.py --task_name ${TASK_NAME} \
--max_seq_len 512 \
--bert_config_path ${BERT_BASE_PATH}/bert_config.json \
--learning_rate 1e-4 \
--skip_steps 10
--skip_steps 10 \
--random_seed 1
```
这里的 `chinese_L-12_H-768_A-12` 即是转换后的中文预训练模型。需要注意的是,BERT on PaddlePaddle 支持按两种方式构建一个 batch 的数据,`in_tokens` 参数影响 `batch_size` 参数的意义,如果 `in_tokens``true` 则按照 token 个数构建 batch, 如不设定则按照 example 个数来构建 batch. 训练过程中会输出训练误差、训练速度等信息,训练结束后会输出如下所示的在验证集上的测试结果:
......
......@@ -163,6 +163,11 @@ nlpcc-dbqa是由国际自然语言处理和中文计算会议NLPCC于2016年举
2) [任务数据下载](https://ernie.bj.bcebos.com/task_data.tgz)
### 安装
本项目依赖于 Paddle Fluid 1.3,请参考[安装指南](http://www.paddlepaddle.org/#quick-start)进行安装。
**Note**: 预训练任务和finetune任务测试机器为P40, 显存22G;如果显存低于22G, 某些任务可能会因显存不足报错;
### 预训练
#### 数据预处理
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册