recognition.md 8.6 KB
Newer Older
T
tink2123 已提交
1 2 3 4 5
## 文字识别

### 数据准备


T
tink2123 已提交
6
PaddleOCR 支持两种数据格式: `lmdb` 用于训练公开数据,调试算法; `通用数据` 训练自己的数据:
T
tink2123 已提交
7 8

请按如下步骤设置数据集:
T
tink2123 已提交
9 10 11 12

训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集,只需创建软链接至数据集目录:

```
13
ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset
T
tink2123 已提交
14 15 16 17 18
```


* 数据下载

T
tink2123 已提交
19
若您本地没有数据集,可以在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据,用于快速验证。也可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here),下载 benchmark 所需的lmdb格式数据集。
T
tink2123 已提交
20

T
tink2123 已提交
21
* 使用自己数据集:
T
tink2123 已提交
22 23 24 25 26 27

若您希望使用自己的数据进行训练,请参考下文组织您的数据。
- 训练集

首先请将训练图片放入同一个文件夹(train_images),并用一个txt文件(rec_gt_train.txt)记录图片路径和标签。

M
MissPenguin 已提交
28
**注意:** 默认请将图片路径和图片标签用 \t 分割,如用其他方式分割将造成训练报错
T
tink2123 已提交
29 30 31 32 33 34 35

```
" 图像文件名                 图像标注信息 "

train_data/train_0001.jpg   简单可依赖
train_data/train_0002.jpg   用科技让复杂的世界更简单
```
T
fix doc  
tink2123 已提交
36 37 38 39 40 41
PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件,通过以下方式下载:

```
# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
T
tink2123 已提交
42
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt
T
fix doc  
tink2123 已提交
43
```
T
tink2123 已提交
44 45

最终训练集应有如下文件结构:
T
tink2123 已提交
46
```
T
tink2123 已提交
47
|-train_data
T
tink2123 已提交
48 49
    |-ic15_data
        |- rec_gt_train.txt
T
fix doc  
tink2123 已提交
50 51 52 53
        |- train
            |- word_001.png
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
54
            | ...
T
tink2123 已提交
55
```
T
tink2123 已提交
56

T
fix doc  
tink2123 已提交
57
- 测试集
T
tink2123 已提交
58

T
fix doc  
tink2123 已提交
59
同训练集类似,测试集也需要提供一个包含所有图片的文件夹(test)和一个rec_gt_test.txt,测试集的结构如下所示:
T
tink2123 已提交
60

T
tink2123 已提交
61
```
T
tink2123 已提交
62
|-train_data
T
tink2123 已提交
63
    |-ic15_data
T
fix doc  
tink2123 已提交
64 65 66 67 68
        |- rec_gt_test.txt
        |- test
            |- word_001.jpg
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
69
            | ...
T
tink2123 已提交
70
```
T
tink2123 已提交
71 72 73 74 75

- 字典

最后需要提供一个字典({word_dict_name}.txt),使模型在训练时,可以将所有出现的字符映射为字典的索引。

T
tink2123 已提交
76
因此字典需要包含所有希望被正确识别的字符,{word_dict_name}.txt需要写成如下格式,并以 `utf-8` 编码格式保存:
T
tink2123 已提交
77

T
tink2123 已提交
78 79
```
l
T
tink2123 已提交
80 81
d
a
T
tink2123 已提交
82 83
d
r
T
tink2123 已提交
84
n
T
tink2123 已提交
85
```
T
tink2123 已提交
86 87 88 89 90

word_dict.txt 每行有一个单字,将字符与数字索引映射在一起,“and” 将被映射成 [2 5 1]

`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典,
`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典,
T
fix doc  
tink2123 已提交
91
您可以按需使用。
T
tink2123 已提交
92

T
tink2123 已提交
93
- 自定义字典
T
tink2123 已提交
94

T
tink2123 已提交
95 96 97 98 99 100 101 102
如需自定义dic文件,请在 `configs/rec/rec_icdar15_train.yml` 中添加 `character_dict_path` 字段, 指向您的字典路径。
并将 `character_type` 设置为 `ch`

- 添加空格类别

如果希望支持识别"空格"类别, 请将yml文件中的 `use_space_char` 字段设置为 `true`

**注意:`use_space_char` 仅在 `character_type=ch` 时生效**
T
tink2123 已提交
103 104


T
tink2123 已提交
105 106
### 启动训练

T
tink2123 已提交
107
PaddleOCR提供了训练脚本、评估脚本和预测脚本,本节将以 CRNN 识别模型为例:
T
tink2123 已提交
108

T
tink2123 已提交
109
首先下载pretrain model,您可以下载训练好的模型在 icdar2015 数据上进行finetune
T
tink2123 已提交
110 111

```
T
tink2123 已提交
112 113 114 115 116 117 118 119 120 121
cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar
# 解压模型参数
cd pretrain_models
tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar
```

开始训练:

T
tink2123 已提交
122 123
*如果您安装的是cpu版本,请将配置文件中的 `use_gpu` 字段修改为false*

T
tink2123 已提交
124 125 126 127 128
```
# 设置PYTHONPATH路径
export PYTHONPATH=$PYTHONPATH:.
# GPU训练 支持单卡,多卡训练,通过CUDA_VISIBLE_DEVICES指定卡号
export CUDA_VISIBLE_DEVICES=0,1,2,3
T
tink2123 已提交
129
# 训练icdar15英文数据
T
fix doc  
tink2123 已提交
130
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml
T
tink2123 已提交
131 132
```

T
tink2123 已提交
133 134 135 136 137 138 139 140 141 142 143 144
- 数据增强

PaddleOCR提供了多种数据增强方式,如果您希望在训练时加入扰动,请在配置文件中设置 `distort: true`

默认的扰动方式有:颜色空间转换(cvtColor)、模糊(blur)、抖动(jitter)、噪声(Gasuss noise)、随机切割(random crop)、透视(perspective)、颜色反转(reverse)。

训练过程中每种扰动方式以50%的概率被选择,具体代码实现请参考:[img_tools.py](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/ppocr/data/rec/img_tools.py)

*由于OpenCV的兼容性问题,扰动操作暂时只支持GPU*

- 训练

T
tink2123 已提交
145
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率,默认每500个iter评估一次。评估过程中默认将最佳acc模型,保存为 `output/rec_CRNN/best_accuracy`
T
tink2123 已提交
146 147 148

如果验证集很大,测试将会比较耗时,建议减少评估次数,或训练完再进行评估。

M
MissPenguin 已提交
149
**提示:** 可通过 -c 参数选择 `configs/rec/` 路径下的多种模型配置进行训练,PaddleOCR支持的识别算法有:
T
tink2123 已提交
150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177


| 配置文件 |  算法名称 |   backbone |   trans   |   seq      |     pred     |
| :--------: |  :-------:   | :-------:  |   :-------:   |   :-----:   |  :-----:   |
| rec_chinese_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  |
| rec_icdar15_train.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_bilstm_ctc.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_none_ctc.yml |  Rosetta |   Mobilenet_v3 large 0.5 |  None   |  None |  ctc  |
| rec_mv3_tps_bilstm_ctc.yml |  STARNet |   Mobilenet_v3 large 0.5 |  tps   |  BiLSTM |  ctc  |
| rec_mv3_tps_bilstm_attn.yml |  RARE |   Mobilenet_v3 large 0.5 |  tps   |  BiLSTM |  attention  |
| rec_r34_vd_none_bilstm_ctc.yml |  CRNN |   Resnet34_vd |  None   |  BiLSTM |  ctc  |
| rec_r34_vd_none_none_ctc.yml |  Rosetta |   Resnet34_vd |  None   |  None |  ctc  |
| rec_r34_vd_tps_bilstm_attn.yml | RARE | Resnet34_vd | tps | BiLSTM | attention |
| rec_r34_vd_tps_bilstm_ctc.yml | STARNet | Resnet34_vd | tps | BiLSTM | ctc |

训练中文数据,推荐使用`rec_chinese_lite_train.yml`,如您希望尝试其他算法在中文数据集上的效果,请参考下列说明修改配置文件:

`rec_mv3_none_none_ctc.yml` 为例:
```
Global:
  ...
  # 修改 image_shape 以适应长文本
  image_shape: [3, 32, 320]
  ...
  # 修改字符类型
  character_type: ch
  # 添加自定义字典,如修改字典请将路径指向新字典
  character_dict_path: ./ppocr/utils/ppocr_keys_v1.txt
178 179 180
  # 训练时添加数据增强
  distort: true
  # 识别空格
T
tink2123 已提交
181
  use_space_char: true
T
tink2123 已提交
182 183 184 185 186 187
  ...
  # 修改reader类型
  reader_yml: ./configs/rec/rec_chinese_reader.yml
  ...

...
188 189 190 191 192 193 194 195 196 197

Optimizer:
  ...
  # 添加学习率衰减策略
  decay:
    function: cosine_decay
    # 每个 epoch 包含 iter 数
    step_each_epoch: 20
    # 总共训练epoch数
    total_epoch: 1000
T
tink2123 已提交
198
```
T
tink2123 已提交
199
**注意,预测/评估时的配置文件请务必与训练一致。**
T
tink2123 已提交
200 201


T
tink2123 已提交
202

T
tink2123 已提交
203 204 205 206
### 评估

评估数据集可以通过 `configs/rec/rec_icdar15_reader.yml`  修改EvalReader中的 `label_file_path` 设置。

T
tink2123 已提交
207
*注意* 评估时必须确保配置文件中 infer_img 字段为空
T
tink2123 已提交
208 209
```
export CUDA_VISIBLE_DEVICES=0
T
tink2123 已提交
210
# GPU 评估, Global.checkpoints 为待测权重
T
tink2123 已提交
211
python3 tools/eval.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
T
tink2123 已提交
212 213
```

T
tink2123 已提交
214
### 预测
T
tink2123 已提交
215 216 217

* 训练引擎的预测

T
tink2123 已提交
218
使用 PaddleOCR 训练好的模型,可以通过以下脚本进行快速预测。
T
tink2123 已提交
219

T
tink2123 已提交
220
默认预测图片存储在 `infer_img` 里,通过 `-o Global.checkpoints` 指定权重:
T
tink2123 已提交
221 222

```
T
tink2123 已提交
223
# 预测英文结果
T
tink2123 已提交
224
python3 tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy Global.infer_img=doc/imgs_words/en/word_1.png
T
tink2123 已提交
225
```
T
tink2123 已提交
226 227 228

预测图片:

229
![](../imgs_words/en/word_1.png)
T
tink2123 已提交
230 231 232 233

得到输入图像的预测结果:

```
T
tink2123 已提交
234
infer_img: doc/imgs_words/en/word_1.png
T
tink2123 已提交
235 236 237 238 239 240 241 242 243
     index: [19 24 18 23 29]
     word : joint
```

预测使用的配置文件必须与训练一致,如您通过 `python3 tools/train.py -c configs/rec/rec_chinese_lite_train.yml` 完成了中文模型的训练,
您可以使用如下命令进行中文模型预测。

```
# 预测中文结果
L
LDOUBLEV 已提交
244
python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy Global.infer_img=doc/imgs_words/ch/word_1.jpg
T
tink2123 已提交
245 246
```

T
tink2123 已提交
247
预测图片:
T
tink2123 已提交
248

249
![](../imgs_words/ch/word_1.jpg)
X
xiaoting 已提交
250

T
tink2123 已提交
251 252 253
得到输入图像的预测结果:

```
T
tink2123 已提交
254
infer_img: doc/imgs_words/ch/word_1.jpg
T
tink2123 已提交
255 256
     index: [2092  177  312 2503]
     word : 韩国小馆
T
tink2123 已提交
257
```