recognition.md 4.7 KB
Newer Older
T
tink2123 已提交
1 2 3 4 5
## 文字识别

### 数据准备


T
tink2123 已提交
6
PaddleOCR 支持两种数据格式: `lmdb` 用于训练公开数据,调试算法; `通用数据` 训练自己的数据: 
T
tink2123 已提交
7 8

请按如下步骤设置数据集:
T
tink2123 已提交
9 10 11 12 13 14 15 16 17 18

训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集,只需创建软链接至数据集目录:

```
ln -sf <path/to/dataset> <path/to/paddle_detection>/train_data/dataset
```


* 数据下载

T
tink2123 已提交
19
若您本地没有数据集,可以在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据,用于快速验证。也可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here),下载 benchmark 所需的lmdb格式数据集。
T
tink2123 已提交
20

T
tink2123 已提交
21
* 使用自己数据集:
T
tink2123 已提交
22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

若您希望使用自己的数据进行训练,请参考下文组织您的数据。

- 训练集

首先请将训练图片放入同一个文件夹(train_images),并用一个txt文件(rec_gt_train.txt)记录图片路径和标签。

* 注意: 默认请将图片路径和图片标签用 \t 分割,如用其他方式分割将造成训练报错

```
" 图像文件名                 图像标注信息 "

train_data/train_0001.jpg   简单可依赖
train_data/train_0002.jpg   用科技让复杂的世界更简单
```
T
fix doc  
tink2123 已提交
37 38 39 40 41 42 43 44
PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件,通过以下方式下载:

```
# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt 
```
T
tink2123 已提交
45 46 47

最终训练集应有如下文件结构:

T
tink2123 已提交
48
```
T
tink2123 已提交
49
|-train_data
T
tink2123 已提交
50 51
    |-ic15_data
        |- rec_gt_train.txt
T
fix doc  
tink2123 已提交
52 53 54 55
        |- train
            |- word_001.png
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
56
            | ...
T
tink2123 已提交
57
```
T
tink2123 已提交
58

T
fix doc  
tink2123 已提交
59
- 测试集
T
tink2123 已提交
60

T
fix doc  
tink2123 已提交
61
同训练集类似,测试集也需要提供一个包含所有图片的文件夹(test)和一个rec_gt_test.txt,测试集的结构如下所示:
T
tink2123 已提交
62

T
tink2123 已提交
63
```
T
tink2123 已提交
64
|-train_data
T
tink2123 已提交
65
    |-ic15_data
T
fix doc  
tink2123 已提交
66 67 68 69 70
        |- rec_gt_test.txt
        |- test
            |- word_001.jpg
            |- word_002.jpg
            |- word_003.jpg
T
tink2123 已提交
71
            | ...
T
tink2123 已提交
72
```
T
tink2123 已提交
73 74 75 76 77

- 字典

最后需要提供一个字典({word_dict_name}.txt),使模型在训练时,可以将所有出现的字符映射为字典的索引。

T
tink2123 已提交
78
因此字典需要包含所有希望被正确识别的字符,{word_dict_name}.txt需要写成如下格式,并以 `utf-8` 编码格式保存:
T
tink2123 已提交
79

T
tink2123 已提交
80 81
```
l
T
tink2123 已提交
82 83
d
a
T
tink2123 已提交
84 85
d
r
T
tink2123 已提交
86
n
T
tink2123 已提交
87
```
T
tink2123 已提交
88 89 90 91 92

word_dict.txt 每行有一个单字,将字符与数字索引映射在一起,“and” 将被映射成 [2 5 1]

`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典,
`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典,
T
fix doc  
tink2123 已提交
93
您可以按需使用。
T
tink2123 已提交
94

T
fix doc  
tink2123 已提交
95
如需自定义dic文件,请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段, 并将 `character_type` 设置为 `ch`
T
tink2123 已提交
96 97 98

### 启动训练

T
tink2123 已提交
99
PaddleOCR提供了训练脚本、评估脚本和预测脚本,本节将以 CRNN 识别模型为例:
T
tink2123 已提交
100 101 102 103 104 105

```
# 设置PYTHONPATH路径
export PYTHONPATH=$PYTHONPATH:.
# GPU训练 支持单卡,多卡训练,通过CUDA_VISIBLE_DEVICES指定卡号
export CUDA_VISIBLE_DEVICES=0,1,2,3
T
fix doc  
tink2123 已提交
106
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml
T
tink2123 已提交
107 108
```

T
tink2123 已提交
109
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率,默认每2000个iter评估一次。评估过程中默认将最佳acc模型,保存为 `output/rec_CRNN/best_accuracy`
T
tink2123 已提交
110 111 112

如果验证集很大,测试将会比较耗时,建议减少评估次数,或训练完再进行评估。

T
tink2123 已提交
113 114
* 提示: 可通过 -c 参数选择 `configs/rec/` 路径下的多种模型配置进行训练

T
tink2123 已提交
115 116 117 118 119 120
### 评估

评估数据集可以通过 `configs/rec/rec_icdar15_reader.yml`  修改EvalReader中的 `label_file_path` 设置。

```
export CUDA_VISIBLE_DEVICES=0
T
tink2123 已提交
121
# GPU 评估, Global.checkpoints 为待测权重
T
fix doc  
tink2123 已提交
122
python3 tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
T
tink2123 已提交
123 124
```

T
tink2123 已提交
125
### 预测
T
tink2123 已提交
126 127 128

* 训练引擎的预测

T
tink2123 已提交
129
PaddleOCR 提供了训练好的中文模型,可以[下载](todo: add)进行快速预测。
T
tink2123 已提交
130

T
tink2123 已提交
131
默认预测图片存储在 `infer_img` 里,通过 `-o Global.checkpoints` 指定权重:
T
tink2123 已提交
132 133

```
T
fix doc  
tink2123 已提交
134
python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/word_1.jpg
T
tink2123 已提交
135
```
T
tink2123 已提交
136
预测图片:
T
tink2123 已提交
137

T
tink2123 已提交
138
![](./doc/imgs_words/word_1.jpg)
T
tink2123 已提交
139 140 141
得到输入图像的预测结果:

```
T
tink2123 已提交
142 143 144
infer_img: doc/imgs_words/word_1.jpg
     index: [2092  177  312 2503]
     word : 韩国小馆
T
tink2123 已提交
145 146
```