diff --git a/deploy/pdserving/config.yml b/deploy/pdserving/config.yml
index 19cd9325ee8b241fd591678b9ba6452de9bec025..8014cbd362461ead5d065f96a50eb3031a60fa67 100644
--- a/deploy/pdserving/config.yml
+++ b/deploy/pdserving/config.yml
@@ -36,8 +36,8 @@ op:
#det模型路径
model_config: ./ppocr_det_v3_serving
- #Fetch结果列表，以client_config中fetch_var的alias_name为准
- fetch_list: ["sigmoid_0.tmp_0"]
+ #Fetch结果列表，以client_config中fetch_var的alias_name为准，不设置默认取全部输出变量
+ #fetch_list: ["sigmoid_0.tmp_0"]
#计算硬件ID，当devices为""或不写时为CPU预测；当devices为"0", "0,1,2"时为GPU预测，表示使用的GPU卡
devices: "0"
@@ -62,8 +62,8 @@ op:
#rec模型路径
model_config: ./ppocr_rec_v3_serving
- #Fetch结果列表，以client_config中fetch_var的alias_name为准
- fetch_list: ["softmax_5.tmp_0"]
+ #Fetch结果列表，以client_config中fetch_var的alias_name为准, 不设置默认取全部输出变量
+ #fetch_list:
#计算硬件ID，当devices为""或不写时为CPU预测；当devices为"0", "0,1,2"时为GPU预测，表示使用的GPU卡
devices: "0"
diff --git a/deploy/pdserving/ocr_reader.py b/deploy/pdserving/ocr_reader.py
index 6a2d57b679d69ab11ac6f0fd74c47a342b391545..75f0f3d5c3aea488f82ec01a72e20310663d565b 100644
--- a/deploy/pdserving/ocr_reader.py
+++ b/deploy/pdserving/ocr_reader.py
@@ -393,7 +393,7 @@ class OCRReader(object):
return norm_img_batch[0]
def postprocess(self, outputs, with_score=False):
- preds = outputs["softmax_5.tmp_0"]
+ preds = list(outputs.values())[0]
try:
preds = preds.numpy()
except:
@@ -404,8 +404,11 @@ class OCRReader(object):
preds_idx, preds_prob, is_remove_duplicate=True)
return text
-from argparse import ArgumentParser,RawDescriptionHelpFormatter
+
+from argparse import ArgumentParser, RawDescriptionHelpFormatter
import yaml
+
+
class ArgsParser(ArgumentParser):
def __init__(self):
super(ArgsParser, self).__init__(
@@ -441,16 +444,16 @@ class ArgsParser(ArgumentParser):
s = s.strip()
k, v = s.split('=')
v = self._parse_helper(v)
- print(k,v, type(v))
+ print(k, v, type(v))
cur = config
parent = cur
for kk in k.split("."):
if kk not in cur:
- cur[kk] = {}
- parent = cur
- cur = cur[kk]
+ cur[kk] = {}
+ parent = cur
+ cur = cur[kk]
else:
- parent = cur
- cur = cur[kk]
+ parent = cur
+ cur = cur[kk]
parent[k.split(".")[-1]] = v
- return config
\ No newline at end of file
+ return config
diff --git a/deploy/pdserving/web_service.py b/deploy/pdserving/web_service.py
index 98e2dfba2f5abd3fc36bf3743b23f7eb7be3b9c4..f05806ce030238144568a3ca137798a9132027e4 100644
--- a/deploy/pdserving/web_service.py
+++ b/deploy/pdserving/web_service.py
@@ -56,7 +56,7 @@ class DetOp(Op):
return {"x": det_img[np.newaxis, :].copy()}, False, None, ""
def postprocess(self, input_dicts, fetch_dict, data_id, log_id):
- det_out = fetch_dict["sigmoid_0.tmp_0"]
+ det_out = list(fetch_dict.values())[0]
ratio_list = [
float(self.new_h) / self.ori_h, float(self.new_w) / self.ori_w
]
diff --git a/deploy/pdserving/web_service_det.py b/deploy/pdserving/web_service_det.py
index 7584608a9fed4bea93caa5c814c0450566696d56..4a62ab861d8338194da826cdcea2d42de189c994 100644
--- a/deploy/pdserving/web_service_det.py
+++ b/deploy/pdserving/web_service_det.py
@@ -55,7 +55,7 @@ class DetOp(Op):
return {"x": det_img[np.newaxis, :].copy()}, False, None, ""
def postprocess(self, input_dicts, fetch_dict, data_id, log_id):
- det_out = fetch_dict["sigmoid_0.tmp_0"]
+ det_out = list(fetch_dict.values())[0]
ratio_list = [
float(self.new_h) / self.ori_h, float(self.new_w) / self.ori_w
]
diff --git a/doc/doc_ch/PP-OCRv3_introduction.md b/doc/doc_ch/PP-OCRv3_introduction.md
index dc0271f294cf43a26477dbc974b77297e04122ac..c7ef4f01569437959e310f2301d250c1660113a7 100644
--- a/doc/doc_ch/PP-OCRv3_introduction.md
+++ b/doc/doc_ch/PP-OCRv3_introduction.md
@@ -8,123 +8,214 @@
- [4. 端到端评估](#4)
-
## 1. 简介
-PP-OCRv3在PP-OCRv2的基础上进一步升级。检测模型仍然基于DB算法，优化策略采用了带残差注意力机制的FPN结构RSEFPN、增大感受野的PAN结构LKPAN、基于DML训练的更优的教师模型；识别模型将base模型从CRNN替换成了IJCAI 2022论文[SVTR]()，并采用SVTR轻量化、带指导训练CTC、数据增广策略RecConAug、自监督训练的更好的预训练模型、无标签数据的使用进行模型加速和效果提升。更多细节请参考PP-OCRv3[技术报告](./PP-OCRv3_introduction.md)。
-
-PP-OCRv3系统pipeline如下：
+PP-OCRv3在PP-OCRv2的基础上进一步升级。整体的框架图保持了与PP-OCRv2相同的pipeline，针对检测模型和识别模型进行了优化。其中，检测模型仍基于DB模型优化，而识别模型不再采用CRNN，换成了会议IJCAI 2022中的最新方法[SVTR](https://arxiv.org/abs/2205.00159)，PP-OCRv3系统框图如下所示（粉色框中为PP-OCRv3新增策略）：
+
+从算法改进思路上看，分别针对检测和识别模型，进行了共八个方面的改进：
+
+
+- 检测模型优化：
+ - LK-PAN：增大感受野的PAN模块；
+ - DML：教师模型互学习策略；
+ - RSE-FPN：带残差注意力机制的FPN模块；
+
+
+- 识别模型优化：
+ - SVTR_LCNet：轻量级文本识别网络；
+ - GTC：Attention指导CTC训练策略；
+ - TextConAug：丰富图像上下文信息的数据增广策略；
+ - TextRotNet：自监督的预训练模型；
+ - UIM：无标签数据挖掘方案。
+
+从效果上看，速度可比情况下，多种场景精度均有大幅提升：
+- 中文场景，相对于PP-OCRv2中文模型提升超5%；
+- 英文数字场景，相比于PP-OCRv2英文模型提升11%；
+- 多语言场景，优化80+语种识别效果，平均准确率提升超5%。
+
+
## 2. 检测优化
-PP-OCRv3采用PP-OCRv2的[CML](https://arxiv.org/pdf/2109.03144.pdf)蒸馏策略，在蒸馏的student模型、teacher模型精度提升，CML蒸馏策略上分别做了优化。
+PP-OCRv3检测模型整体训练方案仍采用PP-OCRv2的[CML](https://arxiv.org/pdf/2109.03144.pdf)蒸馏策略，CML蒸馏包含一个教师模型和两个学生模型，在训练过程中，教师模型不参与训练，学生模型受到来自标签和教师模型的监督，同时两个学生模型互相学习。PP-OCRv3分别针对教师模型、学生模型进一步优化。其中，在对教师模型优化时，采用了增大感受野的PAN模块LK-PAN和DML蒸馏策略；在对学生模型优化时，采用了带残差注意力机制的FPN模块RSE-FPN。
-- 在蒸馏student模型精度提升方面，提出了基于残差结构的通道注意力模块RSEFPN（Residual Squeeze-and-Excitation FPN），用于提升student模型精度和召回。
-
-RSEFPN的网络结构如下图所示，RSEFPN在PP-OCRv2的FPN基础上，将FPN中的卷积层更换为了通道注意力结构的RSEConv层。
+PP-OCRv3 CML蒸馏训练框架图如下：
-
+
-
+
+
+
+
+
+
+
+
-2. 将4个 Global Attenntion Block 减小到2个，精度为72.9%，加速69%，网络结构如下所示：
-
-3. 实验发现 Global Attention 的预测速度与输入其特征的shape有关，因此后移Global Mixing Block的位置到池化层之后，精度下降为71.9%，速度超越 CNN-base 的PP-OCRv2 22%，网络结构如下所示：
-
+基于上述策略，PP-OCRv3识别模型相比PP-OCRv2，在速度可比的情况下，精度进一步提升4.6%。 具体消融实验如下所示：
-为了提升模型精度同时不引入额外推理成本，PP-OCRv3参考GTC策略，使用Attention监督CTC训练，预测时完全去除Attention模块，在推理阶段不增加任何耗时, 精度提升3.8%，训练流程如下所示：
-
+| ID | 策略 | 模型大小 | 精度 | 预测耗时（CPU + MKLDNN)|
+|-----|-----|--------|----| --- |
+| 01 | PP-OCRv2 | 8M | 74.8% | 8.54ms |
+| 02 | SVTR_Tiny | 21M | 80.1% | 97ms |
+| 03 | SVTR_LCNet | 12M | 71.9% | 6.6ms |
+| 04 | + GTC | 12M | 75.8% | 7.6ms |
+| 05 | + TextConAug | 12M | 76.3% | 7.6ms |
+| 06 | + TextRotNet | 12M | 76.9% | 7.6ms |
+| 07 | + UDML | 12M | 78.4% | 7.6ms |
+| 08 | + UIM | 12M | 79.4% | 7.6ms |
-在训练策略方面，PP-OCRv3参考 [SSL](https://github.com/ku21fan/STR-Fewer-Labels) 设计了文本方向任务，训练了适用于文本识别的预训练模型，加速模型收敛过程，精度提升了0.6%; 使用UDML蒸馏策略，进一步提升精度1.5%，训练流程所示：
+注： 测试速度时，实验01-03输入图片尺寸均为(3,32,320)，04-08输入图片尺寸均为(3,48,320)。在实际预测时，图像为变长输入，速度会有所变化。
-
+**（1）轻量级文本识别网络SVTR_LCNet。**
-数据增强方面：
+PP-OCRv3将base模型从CRNN替换成了[SVTR](https://arxiv.org/abs/2205.00159)，SVTR证明了强大的单视觉模型（无需序列模型）即可高效准确完成文本识别任务，在中英文数据上均有优秀的表现。经过实验验证，SVTR_Tiny 在自建的[中文数据集](https://arxiv.org/abs/2109.03144)上 ，识别精度可以提升至80.1%，SVTR_Tiny 网络结构如下所示：
-1. 基于 [ConCLR](https://www.cse.cuhk.edu.hk/~byu/papers/C139-AAAI2022-ConCLR.pdf) 中的ConAug方法，设计了 RecConAug 数据增强方法，增强数据多样性，精度提升0.5%，增强可视化效果如下所示：
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
