diff --git a/PPOCRLabel/README.md b/PPOCRLabel/README.md index 9e5b3245b0cfb56d300155a94f64d38edcdbb599..7a936543277e2e1d5687681ac78eca96f5f3f400 100644 --- a/PPOCRLabel/README.md +++ b/PPOCRLabel/README.md @@ -21,12 +21,9 @@ PPOCRLabel is a semi-automatic graphic annotation tool suitable for OCR field, w - Click to modify the recognition result.(If you can't change the result, please switch to the system default input method, or switch back to the original input method again) - 2020.12.18: Support re-recognition of a single label box (by [ninetailskim](https://github.com/ninetailskim) ), perfect shortcut keys. -### TODO: -- Lock box mode: For the same scene data, the size and position of the locked detection box can be transferred between different pictures. +## 1. Installation -## Installation - -### 1. Environment Preparation +### 1.1 Environment Preparation #### **Install PaddlePaddle 2.0** @@ -66,7 +63,7 @@ If you getting this error `OSError: [WinError 126] The specified module could no Reference: [Solve shapely installation on windows](https://stackoverflow.com/questions/44398265/install-shapely-oserror-winerror-126-the-specified-module-could-not-be-found) -### 2. Install PPOCRLabel +### 1.2 Install PPOCRLabel #### Windows @@ -94,9 +91,9 @@ cd ./PPOCRLabel # Change the directory to the PPOCRLabel folder python3 PPOCRLabel.py ``` -## Usage +## 2. Usage -### Steps +### 2.1 Steps 1. Build and launch using the instructions above. @@ -140,9 +137,9 @@ python3 PPOCRLabel.py | rec_gt.txt | The recognition label file, which can be directly used for PPOCR identification model training, is generated after the user clicks on the menu bar "File"-"Export recognition result". | | crop_img | The recognition data, generated at the same time with *rec_gt.txt* | -## Explanation +## 3. Explanation -### Shortcut keys +### 3.1 Shortcut keys | Shortcut keys | Description | | ------------------------ | ------------------------------------------------ | @@ -162,31 +159,37 @@ python3 PPOCRLabel.py | Ctrl-- | Zoom out | | ↑→↓← | Move selected box | -### Built-in Model +### 3.2 Built-in Model - Default model: PPOCRLabel uses the Chinese and English ultra-lightweight OCR model in PaddleOCR by default, supports Chinese, English and number recognition, and multiple language detection. - Model language switching: Changing the built-in model language is supportable by clicking "PaddleOCR"-"Choose OCR Model" in the menu bar. Currently supported languages​include French, German, Korean, and Japanese. For specific model download links, please refer to [PaddleOCR Model List](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_en/models_list_en.md#multilingual-recognition-modelupdating) -- Custom model: The model trained by users can be replaced by modifying PPOCRLabel.py in [PaddleOCR class instantiation](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/PPOCRLabel/PPOCRLabel.py#L110) referring [Custom Model Code](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_en/whl_en.md#use-custom-model) +- **Custom Model**: If users want to replace the built-in model with their own inference model, they can follow the [Custom Model Code Usage](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.3/doc/doc_en/whl_en.md#31-use-by-code) by modifying PPOCRLabel.py for [Instantiation of PaddleOCR class](https://github.com/PaddlePaddle/PaddleOCR/blob/release/ 2.3/PPOCRLabel/PPOCRLabel.py#L116) : + + add parameter `det_model_dir` in `self.ocr = PaddleOCR(use_pdserving=False, use_angle_cls=True, det=True, cls=True, use_gpu=gpu, lang=lang) ` -### Export Label Result +### 3.3 Export Label Result PPOCRLabel supports three ways to export Label.txt - Automatically export: After selecting "File - Auto Export Label Mode", the program will automatically write the annotations into Label.txt every time the user confirms an image. If this option is not turned on, it will be automatically exported after detecting that the user has manually checked 5 images. + + > The automatically export mode is turned off by default + - Manual export: Click "File-Export Marking Results" to manually export the label. + - Close application export -### Export Partial Recognition Results +### 3.4 Export Partial Recognition Results -For some data that are difficult to recognize, the recognition results will not be exported by **unchecking** the corresponding tags in the recognition results checkbox. +For some data that are difficult to recognize, the recognition results will not be exported by **unchecking** the corresponding tags in the recognition results checkbox. The unchecked recognition result is saved as `True` in the `difficult` variable in the label file `label.txt`. -*Note: The status of the checkboxes in the recognition results still needs to be saved manually by clicking Save Button.* +> *Note: The status of the checkboxes in the recognition results still needs to be saved manually by clicking Save Button.* -### Error message +### 3.5 Error message - If paddleocr is installed with whl, it has a higher priority than calling PaddleOCR class with paddleocr.py, which may cause an exception if whl package is not updated. diff --git a/PPOCRLabel/README_ch.md b/PPOCRLabel/README_ch.md index 7f9351dfe185be2417162f2c786f5eec0b58816a..17bb95c08267bfac5e2cecde2e1d88c4a7cb1b60 100644 --- a/PPOCRLabel/README_ch.md +++ b/PPOCRLabel/README_ch.md @@ -21,16 +21,12 @@ PPOCRLabel是一款适用于OCR领域的半自动化图形标注工具，内置P - 识别结果更改为单击修改。（如果无法修改，请切换为系统自带输入法，或再次切回原输入法） - 2020.12.18： 支持对单个标记框进行重新识别（by [ninetailskim](https://github.com/ninetailskim)），完善快捷键。 -#### 尽请期待 - -- 锁定框模式：针对同一场景数据，被锁定的检测框的大小与位置能在不同图片之间传递。 - 如果您对以上内容感兴趣或对完善工具有不一样的想法，欢迎加入我们的SIG队伍与我们共同开发。可以在[此处](https://github.com/PaddlePaddle/PaddleOCR/issues/1728)完成问卷和前置任务，经过我们确认相关内容后即可正式加入，享受SIG福利，共同为OCR开源事业贡献（特别说明：针对PPOCRLabel的改进也属于PaddleOCR前置任务） -## 安装 +## 1. 安装 -### 1. 环境搭建 +### 1.1 环境搭建 #### 安装PaddlePaddle ```bash @@ -67,7 +63,7 @@ pip3 install -r requirements.txt 注意，windows环境下，建议从[这里](https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely)下载shapely安装包完成安装， 直接通过pip安装的shapely库可能出现`[winRrror 126] 找不到指定模块的问题`。 -### 2. 安装PPOCRLabel +### 1.2 安装PPOCRLabel #### Windows @@ -95,11 +91,9 @@ cd ./PPOCRLabel # 将目录切换到PPOCRLabel文件夹下 python3 PPOCRLabel.py --lang ch ``` +## 2. 使用 - -## 使用 - -### 操作步骤 +### 2.1 操作步骤 1. 安装与运行：使用上述命令安装与运行程序。 2. 打开文件夹：在菜单栏点击 “文件” - "打开目录" 选择待标记图片的文件夹[1]. @@ -130,9 +124,9 @@ python3 PPOCRLabel.py --lang ch | rec_gt.txt | 识别标签。可直接用于PPOCR识别模型训练。需用户手动点击菜单栏“文件” - "导出识别结果"后产生。 | | crop_img | 识别数据。按照检测框切割后的图片。与rec_gt.txt同时产生。 | -## 说明 +## 3. 说明 -### 快捷键 +### 3.1 快捷键 | 快捷键 | 说明 | | ---------------- | ---------------------------- | @@ -152,29 +146,35 @@ python3 PPOCRLabel.py --lang ch | Ctrl-- | 放大 | | ↑→↓← | 移动标记框 | -### 内置模型 +### 3.2 内置模型 - 默认模型：PPOCRLabel默认使用PaddleOCR中的中英文超轻量OCR模型，支持中英文与数字识别，多种语言检测。 - 模型语言切换：用户可通过菜单栏中 "PaddleOCR" - "选择模型" 切换内置模型语言，目前支持的语言包括法文、德文、韩文、日文。具体模型下载链接可参考[PaddleOCR模型列表](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_ch/models_list.md). - - 自定义模型：用户可根据[自定义模型代码使用](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_ch/whl.md#%E8%87%AA%E5%AE%9A%E4%B9%89%E6%A8%A1%E5%9E%8B)，通过修改PPOCRLabel.py中针对[PaddleOCR类的实例化](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/PPOCRLabel/PPOCRLabel.py#L110)替换成自己训练的模型。 + - **自定义模型**：如果用户想将内置模型更换为自己的推理模型，可根据[自定义模型代码使用](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_ch/whl.md#%E8%87%AA%E5%AE%9A%E4%B9%89%E6%A8%A1%E5%9E%8B)，通过修改PPOCRLabel.py中针对[PaddleOCR类的实例化](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.3/PPOCRLabel/PPOCRLabel.py#L116) : -### 导出标记结果 + `self.ocr = PaddleOCR(use_pdserving=False, use_angle_cls=True, det=True, cls=True, use_gpu=gpu, lang=lang) `，在 `det_model_dir` 中传入 自己的模型即可。 + +### 3.3 导出标记结果 PPOCRLabel支持三种导出方式： - 自动导出：点击“文件 - 自动导出标记结果”后，用户每确认过一张图片，程序自动将标记结果写入Label.txt中。若未开启此选项，则检测到用户手动确认过5张图片后进行自动导出。 + + > 默认情况下自动导出功能为关闭状态 + - 手动导出：点击“文件 - 导出标记结果”手动导出标记。 + - 关闭应用程序导出 -### 导出部分识别结果 +### 3.4 导出部分识别结果 -针对部分难以识别的数据，通过在识别结果的复选框中**取消勾选**相应的标记，其识别结果不会被导出。 +针对部分难以识别的数据，通过在识别结果的复选框中**取消勾选**相应的标记，其识别结果不会被导出。被取消勾选的识别结果在标记文件 `label.txt` 中的 `difficult` 变量保存为 `True` 。 -*注意：识别结果中的复选框状态仍需用户手动点击确认后才能保留* +> *注意：识别结果中的复选框状态仍需用户手动点击确认后才能保留* -### 错误提示 +### 3.5 错误提示 - 如果同时使用whl包安装了paddleocr，其优先级大于通过paddleocr.py调用PaddleOCR类，whl包未更新时会导致程序异常。 - PPOCRLabel**不支持对中文文件名**的图片进行自动标注。 @@ -194,6 +194,6 @@ PPOCRLabel支持三种导出方式： pip install opencv-contrib-python-headless==4.2.0.32 ``` -### 参考资料 +### 4. 参考资料 1.[Tzutalin. LabelImg. Git code (2015)](https://github.com/tzutalin/labelImg) diff --git a/README.md b/README.md index c19493b07b0e615876404689f4eaac0802dbda60..f6a73a7e15739443b5af7d4a73893f63ae1c0a20 100644 --- a/README.md +++ b/README.md @@ -119,7 +119,7 @@ For a new language request, please refer to [Guideline for new language_requests - [Table Recognition](./ppstructure/table/README.md) - Academic Circles - [Two-stage Algorithm](./doc/doc_en/algorithm_overview_en.md) - - [PGNet Algorithm](./doc/doc_en/algorithm_overview_en.md) + - [PGNet Algorithm](./doc/doc_en/pgnet_en.md) - [Python Inference](./doc/doc_en/inference_en.md) - Data Annotation and Synthesis - [Semi-automatic Annotation Tool: PPOCRLabel](./PPOCRLabel/README.md) diff --git a/README_ch.md b/README_ch.md index 7e088e30116a4dd636b044fcc55169972ef04eb6..7091523d2f6e24dd4256aad9e6a978a6929f9443 100755 --- a/README_ch.md +++ b/README_ch.md @@ -109,15 +109,16 @@ PaddleOCR旨在打造一套丰富、领先、且实用的OCR工具库，助力 - [PP-Structure信息提取](./ppstructure/README_ch.md) - [版面分析](./ppstructure/layout/README_ch.md) - [表格识别](./ppstructure/table/README_ch.md) +- OCR学术圈 + - [两阶段模型介绍与下载](./doc/doc_ch/algorithm_overview.md) + - [端到端PGNet算法](./doc/doc_ch/pgnet.md) + - [基于Python脚本预测引擎推理](./doc/doc_ch/inference.md) + - [使用PaddleOCR架构添加新算法](./doc/doc_ch/add_new_algorithm.md) - 数据标注与合成 - [半自动标注工具PPOCRLabel](./PPOCRLabel/README_ch.md) - [数据合成工具Style-Text](./StyleText/README_ch.md) - [其它数据标注工具](./doc/doc_ch/data_annotation.md) - [其它数据合成工具](./doc/doc_ch/data_synthesis.md) -- OCR学术圈 - - [两阶段模型介绍与下载](./doc/doc_ch/algorithm_overview.md) - - [端到端PGNet算法](./doc/doc_ch/pgnet.md) - - [基于Python脚本预测引擎推理](./doc/doc_ch/inference.md) - 数据集 - [通用中英文OCR数据集](./doc/doc_ch/datasets.md) - [手写中文OCR数据集](./doc/doc_ch/handwritten_datasets.md) diff --git a/doc/doc_ch/training.md b/doc/doc_ch/training.md index c6c7b87d9925197b36a246c651ab7179ff9d2e81..d2deea6f205e0402e8c9c0010d5d8dd3e325fa3b 100644 --- a/doc/doc_ch/training.md +++ b/doc/doc_ch/training.md @@ -4,15 +4,16 @@ 同时会简单介绍PaddleOCR模型训练数据的组成部分，以及如何在垂类场景中准备数据finetune模型。 -- [1. 基本概念](#基本概念) - * [1.1 学习率](#学习率) - * [1.2 正则化](#正则化) - * [1.3 评估指标](#评估指标) -- [2. 数据与垂类场景](#数据与垂类场景) - * [2.1 训练数据](#训练数据) - * [2.2 垂类场景](#垂类场景) - * [2.3 自己构建数据集](#自己构建数据集) -* [3. 常见问题](#常见问题) +- [1.配置文件说明](#配置文件) +- [2. 基本概念](#基本概念) + * [2.1 学习率](#学习率) + * [2.2 正则化](#正则化) + * [2.3 评估指标](#评估指标) +- [3. 数据与垂类场景](#数据与垂类场景) + * [3.1 训练数据](#训练数据) + * [3.2 垂类场景](#垂类场景) + * [3.3 自己构建数据集](#自己构建数据集) +* [4. 常见问题](#常见问题) ## 1. 基本概念 @@ -23,7 +24,7 @@ OCR(Optical Character Recognition,光学字符识别)是指对图像进行分析 模型调优时需要关注以下参数： -### 1.1 学习率 +### 2.1 学习率 学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向损失函数最优解移动的步长。 在PaddleOCR中提供了多种学习率更新策略,可以通过配置文件修改，例如： @@ -42,7 +43,7 @@ Piecewise 代表分段常数衰减，在不同的学习阶段指定不同的学 warmup_epoch 代表在前5个epoch中，学习率将逐渐从0增加到base_lr。全部策略可以参考代码[learning_rate.py](../../ppocr/optimizer/learning_rate.py) 。 -### 1.2 正则化 +### 2.2 正则化 正则化可以有效的避免算法过拟合，PaddleOCR中提供了L1、L2正则方法，L1 和 L2 正则化是最常用的正则化方法。L1 正则化向目标函数添加正则化项，以减少参数的绝对值总和；而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。配置方法如下： @@ -55,7 +56,7 @@ Optimizer: ``` -### 1.3 评估指标 +### 2.3 评估指标 （1）检测阶段：先按照检测框和标注框的IOU评估，IOU大于某个阈值判断为检测准确。这里检测框和标注框不同于一般的通用目标检测框，是采用多边形进行表示。检测准确率：正确的检测框个数在全部检测框的占比，主要是判断检测指标。检测召回率：正确的检测框个数在全部标注框的占比，主要是判断漏检的指标。 @@ -65,10 +66,10 @@ Optimizer: -## 2. 数据与垂类场景 +## 3. 数据与垂类场景 -### 2.1 训练数据 +### 3.1 训练数据 目前开源的模型，数据集和量级如下： - 检测： @@ -83,13 +84,14 @@ Optimizer: 其中，公开数据集都是开源的，用户可自行搜索下载，也可参考[中文数据集](./datasets.md)，合成数据暂不开源，用户可使用开源合成工具自行合成，可参考的合成工具包括[text_renderer](https://github.com/Sanster/text_renderer) 、[SynthText](https://github.com/ankush-me/SynthText) 、[TextRecognitionDataGenerator](https://github.com/Belval/TextRecognitionDataGenerator) 等。 -### 2.2 垂类场景 +### 3.2 垂类场景 PaddleOCR主要聚焦通用OCR，如果有垂类需求，您可以用PaddleOCR+垂类数据自己训练； 如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。 -### 2.3 自己构建数据集 + +### 3.3 自己构建数据集 在构建数据集时有几个经验可供参考： @@ -107,7 +109,7 @@ PaddleOCR主要聚焦通用OCR，如果有垂类需求，您可以用PaddleOCR+ -## 3. 常见问题 +## 4. 常见问题 **Q**：训练CRNN识别时，如何选择合适的网络输入shape？ diff --git a/doc/joinus.PNG b/doc/joinus.PNG index 202ad0a5c6edf2190b71d5a7a544f1df94f866c4..078762a9f241eaf515d65363a99a7d48a98e8c06 100644 Binary files a/doc/joinus.PNG and b/doc/joinus.PNG differ diff --git a/ppocr/modeling/heads/rec_sar_head.py b/ppocr/modeling/heads/rec_sar_head.py index 7107788d9ef3b49ac6d4dcd4a8133a9603ada19b..2f15801b7057001a8af92ec676ef49f5ac7a9f78 100644 --- a/ppocr/modeling/heads/rec_sar_head.py +++ b/ppocr/modeling/heads/rec_sar_head.py @@ -275,7 +275,6 @@ class ParallelSARDecoder(BaseDecoder): if img_metas is not None and self.mask: valid_ratios = img_metas[-1] - label = label.cuda() lab_embedding = self.embedding(label) # bsz * seq_len * emb_dim out_enc = out_enc.unsqueeze(1) diff --git a/test_tipc/prepare.sh b/test_tipc/prepare.sh index 0420d5501f642f841d2e88e7c5c64b8283a538d1..5dc29cb5ed6f42fd691e1f345429460f1672dcd2 100644 --- a/test_tipc/prepare.sh +++ b/test_tipc/prepare.sh @@ -179,7 +179,7 @@ if [ ${MODE} = "lite_infer" ];then export https_proxy=http://172.19.57.45:3128 paddlelite_url=https://github.com/PaddlePaddle/Paddle-Lite/releases/download/v2.9/inference_lite_lib.android.armv8.gcc.c++_shared.with_extra.with_cv.tar.gz paddlelite_zipfile=$(echo $paddlelite_url | awk -F "/" '{print $NF}') - paddlelite_file=inference_lite_lib.android.armv8.gcc.c++_shared.with_extra.with_cv + paddlelite_file=${paddlelite_zipfile:0:66} wget ${paddlelite_url} tar -xf ${paddlelite_zipfile} mkdir -p ${paddlelite_file}/demo/cxx/ocr/test_lite @@ -187,7 +187,7 @@ if [ ${MODE} = "lite_infer" ];then cp ppocr/utils/ppocr_keys_v1.txt deploy/lite/config.txt ${paddlelite_file}/demo/cxx/ocr/test_lite cp ./deploy/lite/* ${paddlelite_file}/demo/cxx/ocr/ cp ${paddlelite_file}/cxx/lib/libpaddle_light_api_shared.so ${paddlelite_file}/demo/cxx/ocr/test_lite - cp PTDN/configs/ppocr_det_mobile_params.txt PTDN/test_lite.sh PTDN/common_func.sh ${paddlelite_file}/demo/cxx/ocr/test_lite + cp test_tipc/configs/ppocr_det_mobile_params.txt test_tipc/test_lite.sh test_tipc/common_func.sh ${paddlelite_file}/demo/cxx/ocr/test_lite cd ${paddlelite_file}/demo/cxx/ocr/ git clone https://github.com/LDOUBLEV/AutoLog.git unset http_proxy