recognition.md 7.4 KB
Newer Older
T
tink2123 已提交
1 2 3 4 5
## 文字识别

### 数据准备


T
tink2123 已提交
6
PaddleOCR 支持两种数据格式: `lmdb` 用于训练公开数据,调试算法; `通用数据` 训练自己的数据:
T
tink2123 已提交
7 8

请按如下步骤设置数据集:
T
tink2123 已提交
9 10 11 12 13 14 15 16 17 18

训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集,只需创建软链接至数据集目录:

```
ln -sf <path/to/dataset> <path/to/paddle_detection>/train_data/dataset
```


* 数据下载

T
tink2123 已提交
19
若您本地没有数据集,可以在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据,用于快速验证。也可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here),下载 benchmark 所需的lmdb格式数据集。
T
tink2123 已提交
20

T
tink2123 已提交
21
* 使用自己数据集:
T
tink2123 已提交
22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

若您希望使用自己的数据进行训练,请参考下文组织您的数据。

- 训练集

首先请将训练图片放入同一个文件夹(train_images),并用一个txt文件(rec_gt_train.txt)记录图片路径和标签。

* 注意: 默认请将图片路径和图片标签用 \t 分割,如用其他方式分割将造成训练报错

```
" 图像文件名                 图像标注信息 "

train_data/train_0001.jpg   简单可依赖
train_data/train_0002.jpg   用科技让复杂的世界更简单
```
T
fix doc  
tink2123 已提交
37 38 39 40 41 42
PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件,通过以下方式下载:

```
# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
T
tink2123 已提交
43
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt
T
fix doc  
tink2123 已提交
44
```
T
tink2123 已提交
45 46 47

最终训练集应有如下文件结构:

T
tink2123 已提交
48
```
T
tink2123 已提交
49
|-train_data
T
tink2123 已提交
50 51
    |-ic15_data
        |- rec_gt_train.txt
T
fix doc  
tink2123 已提交
52 53 54 55
        |- train
            |- word_001.png
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
56
            | ...
T
tink2123 已提交
57
```
T
tink2123 已提交
58

T
fix doc  
tink2123 已提交
59
- 测试集
T
tink2123 已提交
60

T
fix doc  
tink2123 已提交
61
同训练集类似,测试集也需要提供一个包含所有图片的文件夹(test)和一个rec_gt_test.txt,测试集的结构如下所示:
T
tink2123 已提交
62

T
tink2123 已提交
63
```
T
tink2123 已提交
64
|-train_data
T
tink2123 已提交
65
    |-ic15_data
T
fix doc  
tink2123 已提交
66 67 68 69 70
        |- rec_gt_test.txt
        |- test
            |- word_001.jpg
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
71
            | ...
T
tink2123 已提交
72
```
T
tink2123 已提交
73 74 75 76 77

- 字典

最后需要提供一个字典({word_dict_name}.txt),使模型在训练时,可以将所有出现的字符映射为字典的索引。

T
tink2123 已提交
78
因此字典需要包含所有希望被正确识别的字符,{word_dict_name}.txt需要写成如下格式,并以 `utf-8` 编码格式保存:
T
tink2123 已提交
79

T
tink2123 已提交
80 81
```
l
T
tink2123 已提交
82 83
d
a
T
tink2123 已提交
84 85
d
r
T
tink2123 已提交
86
n
T
tink2123 已提交
87
```
T
tink2123 已提交
88 89 90 91 92

word_dict.txt 每行有一个单字,将字符与数字索引映射在一起,“and” 将被映射成 [2 5 1]

`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典,
`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典,
T
fix doc  
tink2123 已提交
93
您可以按需使用。
T
tink2123 已提交
94

T
fix doc  
tink2123 已提交
95
如需自定义dic文件,请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段, 并将 `character_type` 设置为 `ch`
T
tink2123 已提交
96 97 98

### 启动训练

T
tink2123 已提交
99
PaddleOCR提供了训练脚本、评估脚本和预测脚本,本节将以 CRNN 识别模型为例:
T
tink2123 已提交
100

T
tink2123 已提交
101
首先下载pretrain model,您可以下载训练好的模型在 icdar2015 数据上进行finetune
T
tink2123 已提交
102 103

```
T
tink2123 已提交
104 105 106 107 108 109 110 111 112 113
cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar
# 解压模型参数
cd pretrain_models
tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar
```

开始训练:

T
tink2123 已提交
114 115 116 117 118
```
# 设置PYTHONPATH路径
export PYTHONPATH=$PYTHONPATH:.
# GPU训练 支持单卡,多卡训练,通过CUDA_VISIBLE_DEVICES指定卡号
export CUDA_VISIBLE_DEVICES=0,1,2,3
T
tink2123 已提交
119
# 训练icdar15英文数据
T
fix doc  
tink2123 已提交
120
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml
T
tink2123 已提交
121 122
```

T
tink2123 已提交
123
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率,默认每500个iter评估一次。评估过程中默认将最佳acc模型,保存为 `output/rec_CRNN/best_accuracy`
T
tink2123 已提交
124 125 126

如果验证集很大,测试将会比较耗时,建议减少评估次数,或训练完再进行评估。

T
tink2123 已提交
127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165
* 提示: 可通过 -c 参数选择 `configs/rec/` 路径下的多种模型配置进行训练,PaddleOCR支持的识别算法有:


| 配置文件 |  算法名称 |   backbone |   trans   |   seq      |     pred     |
| :--------: |  :-------:   | :-------:  |   :-------:   |   :-----:   |  :-----:   |
| rec_chinese_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  |
| rec_icdar15_train.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_bilstm_ctc.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_none_ctc.yml |  Rosetta |   Mobilenet_v3 large 0.5 |  None   |  None |  ctc  |
| rec_mv3_tps_bilstm_ctc.yml |  STARNet |   Mobilenet_v3 large 0.5 |  tps   |  BiLSTM |  ctc  |
| rec_mv3_tps_bilstm_attn.yml |  RARE |   Mobilenet_v3 large 0.5 |  tps   |  BiLSTM |  attention  |
| rec_r34_vd_none_bilstm_ctc.yml |  CRNN |   Resnet34_vd |  None   |  BiLSTM |  ctc  |
| rec_r34_vd_none_none_ctc.yml |  Rosetta |   Resnet34_vd |  None   |  None |  ctc  |
| rec_r34_vd_tps_bilstm_attn.yml | RARE | Resnet34_vd | tps | BiLSTM | attention |
| rec_r34_vd_tps_bilstm_ctc.yml | STARNet | Resnet34_vd | tps | BiLSTM | ctc |

训练中文数据,推荐使用`rec_chinese_lite_train.yml`,如您希望尝试其他算法在中文数据集上的效果,请参考下列说明修改配置文件:

`rec_mv3_none_none_ctc.yml` 为例:
```
Global:
  ...
  # 修改 image_shape 以适应长文本
  image_shape: [3, 32, 320]
  ...
  # 修改字符类型
  character_type: ch
  # 添加自定义字典,如修改字典请将路径指向新字典
  character_dict_path: ./ppocr/utils/ppocr_keys_v1.txt
  ...
  # 修改reader类型
  reader_yml: ./configs/rec/rec_chinese_reader.yml
  ...

...
```
**注意,预测时的配置文件请务必与训练一致。**


T
tink2123 已提交
166

T
tink2123 已提交
167 168 169 170 171 172
### 评估

评估数据集可以通过 `configs/rec/rec_icdar15_reader.yml`  修改EvalReader中的 `label_file_path` 设置。

```
export CUDA_VISIBLE_DEVICES=0
T
tink2123 已提交
173
# GPU 评估, Global.checkpoints 为待测权重
T
fix doc  
tink2123 已提交
174
python3 tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
T
tink2123 已提交
175 176
```

T
tink2123 已提交
177
### 预测
T
tink2123 已提交
178 179 180

* 训练引擎的预测

T
tink2123 已提交
181
使用 PaddleOCR 训练好的模型,可以通过以下脚本进行快速预测。
T
tink2123 已提交
182

T
tink2123 已提交
183
默认预测图片存储在 `infer_img` 里,通过 `-o Global.checkpoints` 指定权重:
T
tink2123 已提交
184 185

```
T
tink2123 已提交
186 187
# 预测英文结果
python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/en/word_1.jpg
T
tink2123 已提交
188
```
T
tink2123 已提交
189 190 191 192 193 194 195 196

预测图片:

![](./imgs_words/en/word_1.png)

得到输入图像的预测结果:

```
T
tink2123 已提交
197
infer_img: doc/imgs_words/en/word_1.png
T
tink2123 已提交
198 199 200 201 202 203 204 205 206 207 208 209
     index: [19 24 18 23 29]
     word : joint
```

预测使用的配置文件必须与训练一致,如您通过 `python3 tools/train.py -c configs/rec/rec_chinese_lite_train.yml` 完成了中文模型的训练,
您可以使用如下命令进行中文模型预测。

```
# 预测中文结果
python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/ch/word_1.jpg
```

T
tink2123 已提交
210
预测图片:
T
tink2123 已提交
211

T
tink2123 已提交
212
![](./imgs_words/ch/word_1.jpg)
X
xiaoting 已提交
213

T
tink2123 已提交
214 215 216
得到输入图像的预测结果:

```
T
tink2123 已提交
217
infer_img: doc/imgs_words/ch/word_1.jpg
T
tink2123 已提交
218 219
     index: [2092  177  312 2503]
     word : 韩国小馆
T
tink2123 已提交
220
```