From 8d18a4cec7d1aa90555b6639cb368e2f76d68b1f Mon Sep 17 00:00:00 2001 From: tianxin04 Date: Sun, 17 Mar 2019 22:37:53 +0800 Subject: [PATCH] add run environment --- BERT/README.md | 5 +++-- ERNIE/README.md | 5 +++++ 2 files changed, 8 insertions(+), 2 deletions(-) diff --git a/BERT/README.md b/BERT/README.md index 5de9e76..691051f 100644 --- a/BERT/README.md +++ b/BERT/README.md @@ -123,7 +123,7 @@ export current_endpoint=192.168.0.17:9185 ```shell export FLAGS_enable_parallel_graph=1 export FLAGS_sync_nccl_allreduce=1 -export CUDA_VISIBLE_DEVICES=0,1,2,3 +export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 BERT_BASE_PATH="chinese_L-12_H-768_A-12" TASK_NAME='XNLI' @@ -149,7 +149,8 @@ python -u run_classifier.py --task_name ${TASK_NAME} \ --max_seq_len 512 \ --bert_config_path ${BERT_BASE_PATH}/bert_config.json \ --learning_rate 1e-4 \ - --skip_steps 10 + --skip_steps 10 \ + --random_seed 1 ``` 这里的 `chinese_L-12_H-768_A-12` 即是转换后的中文预训练模型。需要注意的是,BERT on PaddlePaddle 支持按两种方式构建一个 batch 的数据,`in_tokens` 参数影响 `batch_size` 参数的意义,如果 `in_tokens` 为 `true` 则按照 token 个数构建 batch, 如不设定则按照 example 个数来构建 batch. 训练过程中会输出训练误差、训练速度等信息,训练结束后会输出如下所示的在验证集上的测试结果: diff --git a/ERNIE/README.md b/ERNIE/README.md index 2c30301..90809b8 100644 --- a/ERNIE/README.md +++ b/ERNIE/README.md @@ -163,6 +163,11 @@ nlpcc-dbqa是由国际自然语言处理和中文计算会议NLPCC于2016年举 2) [任务数据下载](https://ernie.bj.bcebos.com/task_data.tgz) +### 安装 +本项目依赖于 Paddle Fluid 1.3,请参考[安装指南](http://www.paddlepaddle.org/#quick-start)进行安装。 + +**Note**: 预训练任务和finetune任务测试机器为P40, 显存22G;如果显存低于22G, 某些任务可能会因显存不足报错; + ### 预训练 #### 数据预处理 -- GitLab