diff --git a/BERT/README.md b/BERT/README.md index 5de9e769f5e58683452ff6186c3274eedb75c86b..691051f82d1e26b5032dc79724642cd33f05eeb8 100644 --- a/BERT/README.md +++ b/BERT/README.md @@ -123,7 +123,7 @@ export current_endpoint=192.168.0.17:9185 ```shell export FLAGS_enable_parallel_graph=1 export FLAGS_sync_nccl_allreduce=1 -export CUDA_VISIBLE_DEVICES=0,1,2,3 +export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 BERT_BASE_PATH="chinese_L-12_H-768_A-12" TASK_NAME='XNLI' @@ -149,7 +149,8 @@ python -u run_classifier.py --task_name ${TASK_NAME} \ --max_seq_len 512 \ --bert_config_path ${BERT_BASE_PATH}/bert_config.json \ --learning_rate 1e-4 \ - --skip_steps 10 + --skip_steps 10 \ + --random_seed 1 ``` 这里的 `chinese_L-12_H-768_A-12` 即是转换后的中文预训练模型。需要注意的是,BERT on PaddlePaddle 支持按两种方式构建一个 batch 的数据,`in_tokens` 参数影响 `batch_size` 参数的意义,如果 `in_tokens` 为 `true` 则按照 token 个数构建 batch, 如不设定则按照 example 个数来构建 batch. 训练过程中会输出训练误差、训练速度等信息,训练结束后会输出如下所示的在验证集上的测试结果: diff --git a/ERNIE/README.md b/ERNIE/README.md index 2c303014524efee233cb0f426f4068ae47fbfa81..90809b8dd836dc051afec9b3b94bb89987abf98b 100644 --- a/ERNIE/README.md +++ b/ERNIE/README.md @@ -163,6 +163,11 @@ nlpcc-dbqa是由国际自然语言处理和中文计算会议NLPCC于2016年举 2) [任务数据下载](https://ernie.bj.bcebos.com/task_data.tgz) +### 安装 +本项目依赖于 Paddle Fluid 1.3,请参考[安装指南](http://www.paddlepaddle.org/#quick-start)进行安装。 + +**Note**: 预训练任务和finetune任务测试机器为P40, 显存22G;如果显存低于22G, 某些任务可能会因显存不足报错; + ### 预训练 #### 数据预处理