提交 c98dbafd 编写于 作者: X Xing Wu 提交者: Guo Sheng

fix lac small bugs in README and run.sh (#4213)

上级 e6436070
...@@ -23,7 +23,7 @@ Lexical Analysis of Chinese,简称 LAC,是一个联合的词法分析模型 ...@@ -23,7 +23,7 @@ Lexical Analysis of Chinese,简称 LAC,是一个联合的词法分析模型
克隆工具集代码库到本地 克隆工具集代码库到本地
```bash ```bash
git clone https://github.com/PaddlePaddle/models.git git clone https://github.com/PaddlePaddle/models.git
cd https://github.com/PaddlePaddle/models/tree/develop/dygraph/lac cd models/dygraph/lac
``` ```
#### 3. 环境依赖 #### 3. 环境依赖
...@@ -88,7 +88,7 @@ sh predict.sh ...@@ -88,7 +88,7 @@ sh predict.sh
上面介绍的模型原理如下图所示:<br /> 上面介绍的模型原理如下图所示:<br />
![GRU-CRF-MODEL](./gru-crf-model.png) ![GRU-CRF-MODEL](https://github.com/PaddlePaddle/models/blob/develop/PaddleNLP/lexical_analysis/gru-crf-model.png)
### 数据格式 ### 数据格式
训练使用的数据可以由用户根据实际的应用场景,自己组织数据。除了第一行是 `text_a\tlabel` 固定的开头,后面的每行数据都是由两列组成,以制表符分隔,第一列是 utf-8 编码的中文文本,以 `\002` 分割,第二列是对应每个字的标注,以 `\002` 分隔。我们采用 IOB2 标注体系,即以 X-B 作为类型为 X 的词的开始,以 X-I 作为类型为 X 的词的持续,以 O 表示不关注的字(实际上,在词性、专名联合标注中,不存在 O )。示例如下: 训练使用的数据可以由用户根据实际的应用场景,自己组织数据。除了第一行是 `text_a\tlabel` 固定的开头,后面的每行数据都是由两列组成,以制表符分隔,第一列是 utf-8 编码的中文文本,以 `\002` 分割,第二列是对应每个字的标注,以 `\002` 分隔。我们采用 IOB2 标注体系,即以 X-B 作为类型为 X 的词的开始,以 X-I 作为类型为 X 的词的持续,以 O 表示不关注的字(实际上,在词性、专名联合标注中,不存在 O )。示例如下:
......
...@@ -2,8 +2,9 @@ ...@@ -2,8 +2,9 @@
export FLAGS_fraction_of_gpu_memory_to_use=0.02 export FLAGS_fraction_of_gpu_memory_to_use=0.02
export FLAGS_eager_delete_tensor_gb=0.0 export FLAGS_eager_delete_tensor_gb=0.0
export FLAGS_fast_eager_deletion_mode=1 export FLAGS_fast_eager_deletion_mode=1
export CUDA_VISIBLE_DEVICES=0,1,2,3
python -m paddle.distributed.launch --selected_gpus=3,4,6,7 train.py \ python -m paddle.distributed.launch --selected_gpus=0,1,2,3 train.py \
--train_data ./data/train.tsv \ --train_data ./data/train.tsv \
--test_data ./data/test.tsv \ --test_data ./data/test.tsv \
--model_save_dir ./padding_models \ --model_save_dir ./padding_models \
...@@ -25,4 +26,4 @@ python -m paddle.distributed.launch --selected_gpus=3,4,6,7 train.py \ ...@@ -25,4 +26,4 @@ python -m paddle.distributed.launch --selected_gpus=3,4,6,7 train.py \
--enable_ce false \ --enable_ce false \
--use_cuda true \ --use_cuda true \
--cpu_num 1 \ --cpu_num 1 \
--use_data_paralle True --use_data_paralle True
\ No newline at end of file
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册