From c386f0125443fff9bc96cdf20ffd7f2d07fe15c0 Mon Sep 17 00:00:00 2001 From: Bin Lu Date: Mon, 22 Mar 2021 11:21:48 +0800 Subject: [PATCH] Update FAQ.md --- doc/doc_ch/FAQ.md | 43 +++++++++++++++++++------------------------ 1 file changed, 19 insertions(+), 24 deletions(-) diff --git a/doc/doc_ch/FAQ.md b/doc/doc_ch/FAQ.md index 3f394c2e..4b19b259 100755 --- a/doc/doc_ch/FAQ.md +++ b/doc/doc_ch/FAQ.md @@ -9,7 +9,7 @@ ## PaddleOCR常见问题汇总(持续更新) -* [近期更新（2021.3.16）](#近期更新) +* [近期更新（2021.3.22）](#近期更新) * [【精选】OCR精选10个问题](#OCR精选10个问题) * [【理论篇】OCR通用37个问题](#OCR通用问题) * [基础知识12题](#基础知识) @@ -23,27 +23,7 @@ -## 近期更新（2021.3.16） - -#### Q2.1.8: 端到端的场景文本识别方法大概分为几种？ - -**A**：端到端的场景文本识别方法大概分为2种：基于二阶段的方法和基于字符级别的方法。基于两阶段的方法一般先检测文本块，然后提取文本块中的特征用于识别，例如ABCNet；基于字符级别方法直接进行字符检测与识别，直接输出单词的文本框，字符框以及对应的字符类别，例如CharNet。 - -#### Q2.1.9: 二阶段的端到端的场景文本识别方法的不足有哪些？ - -**A**: 这类方法一般需要设计针对ROI提取特征的方法，而ROI操作一般比较耗时。 - -#### Q2.1.10: 基于字符级别的端到端的场景文本识别方法的不足有哪些？ - -**A**: 这类方法一方面训练时需要加入字符级别的数据，一般使用合成数据，但是合成数据和真实数据有分布Gap。另一方面，现有工作大多数假设文本阅读方向，从上到下，从左到右，没有解决文本方向预测问题。 - -#### Q2.1.11: AAAI 2021最新的端到端场景文本识别PGNet算法有什么特点？ - -**A**: PGNet不需要字符级别的标注，NMS操作以及ROI操作。同时提出预测文本行内的阅读顺序模块和基于图的修正模块来提升文本识别效果。该算法是百度自研，近期会在PaddleOCR开源。 - -#### Q2.1.12: PubTabNet 数据集关注的是什么问题？ - -**A**: PubTabNet是IBM提出的基于图片格式的表格识别数据集，包含 56.8 万张表格数据的图像，以及图像对应的 html 格式的注释。该数据集的发布推动了表格结构化算法的研发和落地应用。 +## 近期更新（2021.3.22） ## 【精选】OCR精选10个问题 @@ -79,8 +59,7 @@ **A**：（1）在人眼确认可识别的条件下，对于背景有干扰的文字，首先要保证检测框足够准确，如果检测框不准确，需要考虑是否可以通过过滤颜色等方式对图像预处理并且增加更多相关的训练数据；在识别的部分，注意在训练数据中加入背景干扰类的扩增图像。 -（2）如果MobileNet模型不能满足需求，可以尝试ResNet系列大模型来获得更好的效果 -。 +（2）如果MobileNet模型不能满足需求，可以尝试ResNet系列大模型来获得更好的效果。 #### Q1.1.6：OCR领域常用的评估指标是什么？ @@ -184,6 +163,9 @@ **A**: PubTabNet是IBM提出的基于图片格式的表格识别数据集，包含 56.8 万张表格数据的图像，以及图像对应的 html 格式的注释。该数据集的发布推动了表格结构化算法的研发和落地应用。 +#### Q2.1.13: PaddleOCR提供的文本识别是包括哪些算法？ +**A**: PaddleOCR主要提供五种文本识别算法，包括CRNN\StarNet\RARAE\Rosetta和SRN, 其中CRNN\StarNet和Rosetta是基于ctc的文字识别算法，RARE是基于attention的文字识别算法；SRN为百度自研的文本识别算法，引入了语义信息，显著提升了准确率。 详情可参照如下页面：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.0/doc/doc_ch/algorithm_overview.md#%E6%96%87%E6%9C%AC%E8%AF%86%E5%88%AB%E7%AE%97%E6%B3%95 + ### 数据集 @@ -215,6 +197,9 @@ **A**：SRNet是借鉴GAN中图像到图像转换、风格迁移的想法合成文本数据。不同于通用GAN的方法只选择一个分支，SRNet将文本合成任务分解为三个简单的子模块，提升合成数据的效果。这三个子模块为不带背景的文本风格迁移模块、背景抽取模块和融合模块。PaddleOCR计划将在2020年12月中旬开源基于SRNet的实用模型。 +#### Q2.2.8: DBNet如果想使用多边形作为输入，数据标签格式应该如何设定？ +**A**：如果想使用多边形作为DBNet的输入，数据标签也应该用多边形来表示，这样子可以更好得拟合弯曲文本。PPOCRLabel暂时只支持矩形标注和四边形框标注。 + ### 模型训练调优 @@ -309,6 +294,9 @@ **A**：SE模块是MobileNetV3网络一个重要模块，目的是估计特征图每个特征通道重要性，给特征图每个特征分配权重，提高网络的表达能力。但是，对于文本检测，输入网络的分辨率比较大，一般是640\*640，利用SE模块估计特征图每个特征通道重要性比较困难，网络提升能力有限，但是该模块又比较耗时，因此在PP-OCR系统中，文本检测的骨干网络没有使用SE模块。实验也表明，当去掉SE模块，超轻量模型大小可以减小40%，文本检测效果基本不受影响。详细可以参考PP-OCR技术文章，https://arxiv.org/abs/2009.09941. +#### Q2.3.19: 参照文档做实际项目时，是重新训练还是在官方训练的基础上进行训练？具体如何操作？ +**A**： 基于官方提供的模型，进行finetune的话，收敛会更快一些。 具体操作上，以识别模型训练为例：如果修改了字符文件，可以设置pretraind_model为官方提供的预训练模型 + ## 【实战篇】PaddleOCR实战问题 @@ -589,6 +577,13 @@ repo中config.yml文件的前后处理参数和inference预测默认的超参数 - 如果其他模块需要处理四通道的图像，那也可以在输入PaddleOCR模块之前进行转换，例如使用cvCvtColor(&img,img3chan,CV_RGBA2RGB)。 + +#### Q3.1.53: 预测时提示图像过大，显存、内存溢出了，应该如何处理？ +**A**: 可以按照这个PR的修改来缓解显存、内存占用 https://github.com/PaddlePaddle/PaddleOCR/pull/2230 + +#### Q3.1.54: 用c++来部署，目前支持Paddle2.0的模型吗？ +**A**: PPOCR 2.0的模型在arm上运行可以参照该PR， https://github.com/PaddlePaddle/PaddleOCR/pull/1877 + ### 数据集 #### Q3.2.1：如何制作PaddleOCR支持的数据格式 -- GitLab