update benchmark doc

3627b8aa · tink2123 · 7c0df412 · 3627b8aa · 3627b8aa
隐藏空白更改
内联并排

Showing with 23 addition and 51 deletion

doc/doc_ch/benchmark.md doc/doc_ch/benchmark.md +13 -26

doc/doc_en/benchmark_en.md doc/doc_en/benchmark_en.md +10 -25

未找到文件。
--- a/doc/doc_ch/benchmark.md
+++ b/doc/doc_ch/benchmark.md
@@ -12,40 +12,27 @@
 ## 评估指标  

 说明：
- v1.0是未添加优化策略的DB+CRNN模型，v1.1是添加多种优化策略和方向分类器的PP-OCR模型。slim_v1.1是使用裁剪或量化的模型。
+
 - 检测输入图像的的长边尺寸是960。
- 评估耗时阶段为图像输入到结果输出的完整阶段，包括了图像的预处理和后处理。  
+- 评估耗时阶段为图像预测耗时，不包括图像的预处理和后处理。  
 - `Intel至强6148`为服务器端CPU型号，测试中使用Intel MKL-DNN 加速。
 - `骁龙855`为移动端处理平台型号。  

-不同预测模型大小和整体识别精度对比
+预测模型大小和整体识别精度对比

 | 模型名称                     | 整体模型<br>大小\(M\) | 检测模型<br>大小\(M\) | 方向分类器<br>模型大小\(M\) | 识别模型<br>大小\(M\) | 整体识别<br>F\-score |
 |:-:|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 8\.1        | 2\.6        | 0\.9           | 4\.6        | 0\.5193      |
-| ch\_ppocr\_server\_v1\.1 | 155\.1      | 47\.2       | 0\.9           | 107         | 0\.5414      |
-| ch\_ppocr\_mobile\_v1\.0 | 8\.6        | 4\.1        | \-             | 4\.5        | 0\.393       |
-| ch\_ppocr\_server\_v1\.0 | 203\.8      | 98\.5       | \-             | 105\.3      | 0\.4436      |
-
-不同预测模型在T4 GPU上预测速度对比，单位ms
-
-| 模型名称                     | 整体  | 检测 | 方向分类器 | 识别  |
-|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 137 | 35 | 24    | 78  |
-| ch\_ppocr\_server\_v1\.1 | 204 | 39 | 25    | 140 |
-| ch\_ppocr\_mobile\_v1\.0 | 117 | 41 | \-    | 76  |
-| ch\_ppocr\_server\_v1\.0 | 199 | 52 | \-    | 147 |
+| PP-OCRv2 | 11\.6        | 3\.0        | 0\.9           | 8\.6        | 0\.5224      |
+| PP-OCR mobile |   8\.1  | 2\.6        | 0\.9           | 4\.6        | 0\.503       |
+| PP-OCR server | 155\.1  | 47\.2       | 0\.9           | 107         | 0\.570       |

-不同预测模型在CPU上预测速度对比，单位ms

-| 模型名称                     | 整体   | 检测  | 方向分类器 | 识别  |
-|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 421  | 164 | 51    | 206 |
-| ch\_ppocr\_mobile\_v1\.0 | 398  | 219 | \-    | 179 |
+预测模型在CPU和GPU上的速度对比，单位ms

-裁剪量化模型和原始模型模型大小，整体识别精度和在SD 855上预测速度对比
+| 模型名称                     | CPU   | T4 GPU  |
+|:-:|:-:|:-:|
+| PP-OCRv2 | 330  | 111 |
+| PP-OCR mobile | 356  | 11 6|
+| PP-OCR server | 1056  | 200 |

-| 模型名称                           | 整体模型<br>大小\(M\) | 检测模型<br>大小\(M\) | 方向分类器<br>模型大小\(M\) | 识别模型<br>大小\(M\) | 整体识别<br>F\-score | SD 855<br>\(ms\) |
-|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1       | 8\.1        | 2\.6        | 0\.9           | 4\.6        | 0\.5193      | 306          |
-| ch\_ppocr\_mobile\_slim\_v1\.1 | 3\.5        | 1\.4        | 0\.5           | 1\.6        | 0\.521       | 268          |
+更多 PP-OCR 系列模型的预测指标可以参考[PP-OCR Benchamrk](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_ch/benchmark.md)
--- a/doc/doc_en/benchmark_en.md
+++ b/doc/doc_en/benchmark_en.md
@@ -13,7 +13,6 @@ We collected 300 images for different real application scenarios to evaluate the
 ## MEASUREMENT

 Explanation:
- v1.0 indicates DB+CRNN models without the strategies. v1.1 indicates the PP-OCR models with the strategies and the direction classify. slim_v1.1 indicates the PP-OCR models with prunner or quantization.

 - The long size of the input for the text detector is 960.

@@ -27,30 +26,16 @@ Compares the model size and F-score:

 | Model Name                    | Model Size <br> of the <br> Whole System\(M\) | Model Size <br>of the Text <br> Detector\(M\) | Model Size <br> of the Direction <br> Classifier\(M\) | Model Size<br>of the Text <br> Recognizer \(M\) | F\-score |
 |:-:|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 8\.1        | 2\.6        | 0\.9           | 4\.6        | 0\.5193      |
-| ch\_ppocr\_server\_v1\.1 | 155\.1      | 47\.2       | 0\.9           | 107         | 0\.5414      |
-| ch\_ppocr\_mobile\_v1\.0 | 8\.6        | 4\.1        | \-             | 4\.5        | 0\.393       |
-| ch\_ppocr\_server\_v1\.0 | 203\.8      | 98\.5       | \-             | 105\.3      | 0\.4436      |
+| PP-OCRv2                 | 11\.6        | 3\.0        | 0\.9           | 8\.6        | 0\.5224      |
+| PP-OCR mobile            |   8\.1       | 2\.6        | 0\.9           | 4\.6        | 0\.503       |
+| PP-OCR server            | 155\.1       | 47\.2       | 0\.9           | 107         | 0\.570       |

-Compares the time-consuming on T4 GPU (ms):
+Compares the time-consuming on CPU and T4 GPU (ms):

-| Model Name                     | Overall  | Text Detector  | Direction Classifier  | Text Recognizer |
-|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 137 | 35 | 24    | 78  |
-| ch\_ppocr\_server\_v1\.1 | 204 | 39 | 25    | 140 |
-| ch\_ppocr\_mobile\_v1\.0 | 117 | 41 | \-    | 76  |
-| ch\_ppocr\_server\_v1\.0 | 199 | 52 | \-    | 147 |
+| Model Name    | CPU  | T4 GPU |
+|:-:|:-:|:-:|
+| PP-OCRv2      | 330  | 111 |
+| PP-OCR mobile | 356  | 116|
+| PP-OCR server | 1056 | 200 |

-Compares the time-consuming on CPU (ms):
-
-| Model Name                     | Overall  | Text Detector  | Direction Classifier  | Text Recognizer |
-|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1 | 421  | 164 | 51    | 206 |
-| ch\_ppocr\_mobile\_v1\.0 | 398  | 219 | \-    | 179 |
-
-Compares the model size, F-score, the time-consuming on SD 855 of between the slim models and the original models:
-
-| Model Name                          | Model Size <br> of the <br> Whole System\(M\) | Model Size <br>of the Text <br> Detector\(M\) | Model Size <br> of the Direction <br> Classifier\(M\) | Model Size<br>of the Text <br> Recognizer \(M\) | F\-score | SD 855<br>\(ms\) |
-|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
-| ch\_ppocr\_mobile\_v1\.1       | 8\.1        | 2\.6        | 0\.9           | 4\.6        | 0\.5193      | 306          |
-| ch\_ppocr\_mobile\_slim\_v1\.1 | 3\.5        | 1\.4        | 0\.5           | 1\.6        | 0\.521       | 268          |
+More indicators of PP-OCR series models can be referred to [PP-OCR Benchamrk](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/benchmark_en.md)