Merge pull request #2264 from dyning/release/2.0

add faq 20210316

README_ch.md

@@ -8,7 +8,7 @@ PaddleOCR同时支持动态图与静态图两种编程范式
 - 静态图版本：develop分支
 
 **近期更新**
-- 2021.3.8 [FAQ](./doc/doc_ch/FAQ.md)新增6个高频问题，总数183个，每周一都会更新，欢迎大家持续关注。
+- 2021.3.16 [FAQ](./doc/doc_ch/FAQ.md)新增5个高频问题，总数188个，每周一都会更新，欢迎大家持续关注。
 - 2021.2.8 正式发布PaddleOCRv2.0(branch release/2.0)并设置为推荐用户使用的默认分支. 发布的详细内容，请参考: https://github.com/PaddlePaddle/PaddleOCR/releases/tag/v2.0.0
 - 2021.1.26,28,29 PaddleOCR官方研发团队带来技术深入解读三日直播课，1月26日、28日、29日晚上19:30，[直播地址](https://live.bilibili.com/21689802)
 - 2021.1.21 更新多语言识别模型，目前支持语种超过27种，[多语言模型下载](./doc/doc_ch/models_list.md)，包括中文简体、中文繁体、英文、法文、德文、韩文、日文、意大利文、西班牙文、葡萄牙文、俄罗斯文、阿拉伯文等，后续计划可以参考[多语言研发计划](https://github.com/PaddlePaddle/PaddleOCR/issues/1048)
@@ -104,8 +104,8 @@ PaddleOCR同时支持动态图与静态图两种编程范式
 - [效果展示](#效果展示)
 - FAQ
     - [【精选】OCR精选10个问题](./doc/doc_ch/FAQ.md)
-    - [【理论篇】OCR通用32个问题](./doc/doc_ch/FAQ.md)
-    - [【实战篇】PaddleOCR实战130个问题](./doc/doc_ch/FAQ.md)
+    - [【理论篇】OCR通用37个问题](./doc/doc_ch/FAQ.md)
+    - [【实战篇】PaddleOCR实战141个问题](./doc/doc_ch/FAQ.md)
 - [技术交流群](#欢迎加入PaddleOCR技术交流群)
 - [参考文献](./doc/doc_ch/reference.md)
 - [许可证书](#许可证书)

doc/doc_ch/FAQ.md

@@ -9,13 +9,13 @@
 
 ## PaddleOCR常见问题汇总(持续更新)
 
-* [近期更新（2021.3.8）](#近期更新)
+* [近期更新（2021.3.16）](#近期更新)
 * [【精选】OCR精选10个问题](#OCR精选10个问题)
-* [【理论篇】OCR通用32个问题](#OCR通用问题)
-  * [基础知识7题](#基础知识)
+* [【理论篇】OCR通用37个问题](#OCR通用问题)
+  * [基础知识12题](#基础知识)
   * [数据集7题](#数据集2)
   * [模型训练调优18题](#模型训练调优2)
-* [【实战篇】PaddleOCR实战130个问题](#PaddleOCR实战问题)
+* [【实战篇】PaddleOCR实战141个问题](#PaddleOCR实战问题)
   * [使用咨询52题](#使用咨询)
   * [数据集18题](#数据集3)
   * [模型训练调优32题](#模型训练调优3)
@@ -23,41 +23,27 @@
 
 
 <a name="近期更新"></a>
-## 近期更新（2021.3.8）
+## 近期更新（2021.3.16）
  
-#### Q3.1.49: 只想要识别票据中的部分片段，重新训练它的话，只需要训练文本检测模型就可以了吗？问文本识别，方向分类还是用原来的模型这样可以吗？
+#### Q2.1.8: 端到端的场景文本识别方法大概分为几种？
 
-**A**：可以的。PaddleOCR的检测、识别、方向分类器三个模型是独立的，在实际使用中可以优化和替换其中任何一个模型。
+**A**：端到端的场景文本识别方法大概分为2种：基于二阶段的方法和基于字符级别的方法。基于两阶段的方法一般先检测文本块，然后提取文本块中的特征用于识别，例如ABCNet；基于字符级别方法直接进行字符检测与识别，直接输出单词的文本框，字符框以及对应的字符类别，例如CharNet。
 
-#### Q3.1.50: 为什么在checkpoints中load下载的预训练模型会报错？
+#### Q2.1.9: 二阶段的端到端的场景文本识别方法的不足有哪些？
 
-**A**: 这里有两个不同的概念：
-- pretrained_model：指预训练模型，是已经训练完成的模型。这时会load预训练模型的参数，但并不会load学习率、优化器以及训练状态等。如果需要finetune，应该使用pretrained。
-- checkpoints：指之前训练的中间结果，例如前一次训练到了100个epoch，想接着训练。这时会load尝试所有信息，包括模型的参数，之前的状态等。
+**A**: 这类方法一般需要设计针对ROI提取特征的方法，而ROI操作一般比较耗时。
 
-这里应该使用pretrained_model而不是checkpoints
+#### Q2.1.10: 基于字符级别的端到端的场景文本识别方法的不足有哪些？
 
-#### Q3.1.51: 如何用PaddleOCR识别视频中的文字？
+**A**: 这类方法一方面训练时需要加入字符级别的数据，一般使用合成数据，但是合成数据和真实数据有分布Gap。另一方面，现有工作大多数假设文本阅读方向，从上到下，从左到右，没有解决文本方向预测问题。
 
-**A**: 目前PaddleOCR主要针对图像做处理，如果需要视频识别，可以先对视频抽帧，然后用PPOCR识别。
+#### Q2.1.11: AAAI 2021最新的端到端场景文本识别PGNet算法有什么特点？
 
-#### Q3.1.52: 相机采集的图像为四通道，应该如何处理？
-
-**A**: 有两种方式处理：
-- 如果没有其他需要，可以在解码数据的时候指定模式为三通道，例如如果使用opencv，可以使用cv::imread(img_path, cv::IMREAD_COLOR)。
-- 如果其他模块需要处理四通道的图像，那也可以在输入PaddleOCR模块之前进行转换，例如使用cvCvtColor(&img,img3chan,CV_RGBA2RGB)。
+**A**: PGNet不需要字符级别的标注，NMS操作以及ROI操作。同时提出预测文本行内的阅读顺序模块和基于图的修正模块来提升文本识别效果。该算法是百度自研，近期会在PaddleOCR开源。
 
-#### Q3.3.31: Cosine学习率的更新策略是怎样的？训练过程中为什么会在一个值上停很久？
-
-**A**: Cosine学习率的说明可以参考https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/optimizer/lr/CosineAnnealingDecay_cn.html#cosineannealingdecay
-
-在PaddleOCR中，为了让学习率更加平缓，我们将其中的epoch调整成了iter。
-学习率的更新会和总的iter数量有关。当iter比较大时，会经过较多iter才能看出学习率的值有变化。
-
-#### Q3.3.32: 之前的CosineWarmup方法为什么不见了？
-
-**A**: 我们对代码结构进行了调整，目前的Cosine可以覆盖原有的CosineWarmup的功能，只需要在配置文件中增加相应配置即可。
+#### Q2.1.12: PubTabNet 数据集关注的是什么问题？
 
+**A**: PubTabNet是IBM提出的基于图片格式的表格识别数据集，包含 56.8 万张表格数据的图像，以及图像对应的 html 格式的注释。该数据集的发布推动了表格结构化算法的研发和落地应用。
 
 <a name="OCR精选10个问题"></a>
 ## 【精选】OCR精选10个问题
@@ -178,6 +164,26 @@
 
 **A**：处理字符的时候，把多字符的当作一个字就行，字典中每行是一个字。
 
+#### Q2.1.8: 端到端的场景文本识别方法大概分为几种？
+
+**A**：端到端的场景文本识别方法大概分为2种：基于二阶段的方法和基于字符级别的方法。基于两阶段的方法一般先检测文本块，然后提取文本块中的特征用于识别，例如ABCNet；基于字符级别方法直接进行字符检测与识别，直接输出单词的文本框，字符框以及对应的字符类别，例如CharNet。
+
+#### Q2.1.9: 二阶段的端到端的场景文本识别方法的不足有哪些？
+
+**A**: 这类方法一般需要设计针对ROI提取特征的方法，而ROI操作一般比较耗时。
+
+#### Q2.1.10: 基于字符级别的端到端的场景文本识别方法的不足有哪些？
+
+**A**: 这类方法一方面训练时需要加入字符级别的数据，一般使用合成数据，但是合成数据和真实数据有分布Gap。另一方面，现有工作大多数假设文本阅读方向，从上到下，从左到右，没有解决文本方向预测问题。
+
+#### Q2.1.11: AAAI 2021最新的端到端场景文本识别PGNet算法有什么特点？
+
+**A**: PGNet不需要字符级别的标注，NMS操作以及ROI操作。同时提出预测文本行内的阅读顺序模块和基于图的修正模块来提升文本识别效果。该算法是百度自研，近期会在PaddleOCR开源。
+
+#### Q2.1.12: PubTabNet 数据集关注的是什么问题？
+
+**A**: PubTabNet是IBM提出的基于图片格式的表格识别数据集，包含 56.8 万张表格数据的图像，以及图像对应的 html 格式的注释。该数据集的发布推动了表格结构化算法的研发和落地应用。
+
 <a name="数据集2"></a>
 ### 数据集