Merge branch 'develop' into develop

README_ch.md

@@ -72,6 +72,7 @@ PP-ShiTu图像识别快速体验：[点击这里](./docs/zh_CN/quick_start/quick
     - [服务化部署](docs/zh_CN/inference_deployment/recognition_serving_deploy.md)
     - [端侧部署](docs/zh_CN/inference_deployment/lite_shitu.md)
     - [库管理工具](docs/zh_CN/inference_deployment/shitu_gallery_manager.md)
+ - [场景库应用](/docs/zh_CN/introduction/ppshitu_application_scenarios.md)
 - [PULC超轻量图像分类实用方案](docs/zh_CN/PULC/PULC_train.md)
   - [超轻量图像分类快速体验](docs/zh_CN/PULC/PULC_quickstart.md)
   - [超轻量图像分类模型库](docs/zh_CN/PULC/PULC_model_list.md)

deploy/configs/inference_cls.yaml

@@ -22,7 +22,7 @@ PreProcess:
         scale: 0.00392157
         mean: [0.485, 0.456, 0.406]
         std: [0.229, 0.224, 0.225]
-        order: ''
+        order: ""
         channel_num: 3
     - ToCHWImage:
 

deploy/configs/inference_det.yaml

@@ -6,7 +6,7 @@ Global:
   threshold: 0.2
   max_det_results: 1
   label_list:
-  - foreground
+    - foreground
 
   # inference engine config
   use_gpu: True
@@ -30,5 +30,5 @@ DetPreProcess:
         mean: [0.485, 0.456, 0.406]
         std: [0.229, 0.224, 0.225]
     - DetPermute: {}
-    
-DetPostProcess: {}
+
+DetPostProcess: {}
\ No newline at end of file

deploy/configs/inference_drink.yaml

 Global:
-  infer_imgs: "./drink_dataset_v1.0/test_images/hongniu_1.jpg"
+  infer_imgs: "./drink_dataset_v2.0/test_images/100.jpeg"
   det_inference_model_dir: "./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer"
-  rec_inference_model_dir: "./models/general_PPLCNet_x2_5_lite_v1.0_infer"
+  rec_inference_model_dir: "./models/general_PPLCNetV2_base_pretrained_v1.0_infer"
   rec_nms_thresold: 0.05
 
   batch_size: 1
@@ -9,7 +9,7 @@ Global:
   threshold: 0.2
   max_det_results: 5
   label_list:
-  - foreground
+    - foreground
 
   use_gpu: True
   enable_mkldnn: False
@@ -43,7 +43,7 @@ RecPreProcess:
         scale: 0.00392157
         mean: [0.485, 0.456, 0.406]
         std: [0.229, 0.224, 0.225]
-        order: ''
+        order: ""
     - ToCHWImage:
 
 RecPostProcess: null
@@ -51,13 +51,13 @@ RecPostProcess: null
 # indexing engine config
 IndexProcess:
   index_method: "HNSW32" # supported: HNSW32, IVF, Flat
-  image_root: "./drink_dataset_v1.0/gallery"
-  index_dir:  "./drink_dataset_v1.0/index"
-  data_file:  "./drink_dataset_v1.0/gallery/drink_label.txt"
+  image_root: "./drink_dataset_v2.0/gallery"
+  index_dir: "./drink_dataset_v2.0/index"
+  data_file: "./drink_dataset_v2.0/gallery/drink_label.txt"
   index_operation: "new" # suported: "append", "remove", "new"
   delimiter: "\t"
   dist_type: "IP"
   embedding_size: 512
   batch_size: 32
   return_k: 5
-  score_thres: 0.4
+  score_thres: 0.4
\ No newline at end of file

deploy/configs/inference_general.yaml

 Global:
-  infer_imgs: "./drink_dataset_v1.0/test_images/nongfu_spring.jpeg"
+  infer_imgs: "./drink_dataset_v2.0/test_images/100.jpeg"
   det_inference_model_dir: "./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer"
-  rec_inference_model_dir: "./models/general_PPLCNet_x2_5_lite_v1.0_infer"
+  rec_inference_model_dir: "./models/general_PPLCNetV2_base_pretrained_v1.0_infer"
   rec_nms_thresold: 0.05
 
   batch_size: 1
@@ -9,7 +9,7 @@ Global:
   threshold: 0.2
   max_det_results: 5
   label_list:
-  - foreground
+    - foreground
 
   use_gpu: True
   enable_mkldnn: True
@@ -38,12 +38,15 @@ DetPostProcess: {}
 RecPreProcess:
   transform_ops:
     - ResizeImage:
-        size: 224
+        size: [224, 224]
+        return_numpy: False
+        interpolation: bilinear
+        backend: cv2
     - NormalizeImage:
-        scale: 0.00392157
+        scale: 1.0/255.0
         mean: [0.485, 0.456, 0.406]
         std: [0.229, 0.224, 0.225]
-        order: ''
+        order: hwc
     - ToCHWImage:
 
 RecPostProcess: null
@@ -51,13 +54,13 @@ RecPostProcess: null
 # indexing engine config
 IndexProcess:
   index_method: "HNSW32" # supported: HNSW32, IVF, Flat
-  image_root: "./drink_dataset_v1.0/gallery/"
-  index_dir: "./drink_dataset_v1.0/index"
-  data_file:  "./drink_dataset_v1.0/gallery/drink_label.txt"
+  image_root: "./drink_dataset_v2.0/gallery/"
+  index_dir: "./drink_dataset_v2.0/index"
+  data_file: "./drink_dataset_v2.0/gallery/drink_label.txt"
   index_operation: "new" # suported: "append", "remove", "new"
   delimiter: "\t"
   dist_type: "IP"
   embedding_size: 512
   batch_size: 32
   return_k: 5
-  score_thres: 0.5
+  score_thres: 0.5
\ No newline at end of file

deploy/configs/inference_rec.yaml

 Global:
   infer_imgs: "./images/wangzai.jpg"
-  rec_inference_model_dir: "./models/product_ResNet50_vd_aliproduct_v1.0_infer"
+  rec_inference_model_dir: "./models/general_PPLCNetV2_base_pretrained_v1.0_infer"
   batch_size: 1
   use_gpu: False
   enable_mkldnn: True
@@ -22,7 +22,7 @@ RecPreProcess:
         scale: 0.00392157
         mean: [0.485, 0.456, 0.406]
         std: [0.229, 0.224, 0.225]
-        order: ''
+        order: ""
     - ToCHWImage:
 
-RecPostProcess: null
+RecPostProcess: null
\ No newline at end of file

deploy/cpp_shitu/readme.md

 # 服务器端C++预测
 
-本教程将介绍在服务器端部署PP-ShiTU的详细步骤。
+本教程将介绍在服务器端部署PP-ShiTu的详细步骤。
 
 ## 目录
 
@@ -30,39 +30,39 @@
 
 - 下载最新版本cmake
 
-```shell
-# 当前版本最新为3.22.0，根据实际情况自行下载，建议最新版本
-wget https://github.com/Kitware/CMake/releases/download/v3.22.0/cmake-3.22.0.tar.gz
-tar xf cmake-3.22.0.tar.gz
-```
+  ```shell
+  # 当前版本最新为3.22.0，根据实际情况自行下载，建议最新版本
+  wget https://github.com/Kitware/CMake/releases/download/v3.22.0/cmake-3.22.0.tar.gz
+  tar -xf cmake-3.22.0.tar.gz
+  ```
 
-最终可以在当前目录下看到`cmake-3.22.0/`的文件夹。
+  最终可以在当前目录下看到`cmake-3.22.0/`的文件夹。
 
-- 编译cmake，首先设置came源码路径(`root_path`)以及安装路径(`install_path`)，`root_path`为下载的came源码路径，`install_path`为came的安装路径。在本例中，源码路径即为当前目录下的`cmake-3.22.0/`。
+- 编译cmake，首先设置cmake源码路径(`root_path`)以及安装路径(`install_path`)，`root_path`为下载的cmake源码路径，`install_path`为cmake的安装路径。在本例中，源码路径即为当前目录下的`cmake-3.22.0/`。
 
-```shell
-cd ./cmake-3.22.0
-export root_path=$PWD
-export install_path=${root_path}/cmake
-```
+  ```shell
+  cd ./cmake-3.22.0
+  export root_path=$PWD
+  export install_path=${root_path}/cmake
+  ```
 
-- 然后在cmake源码路径下，按照下面的方式进行编译
+- 然后在cmake源码路径下，执行以下命令进行编译
 
-```shell
-./bootstrap --prefix=${install_path}
-make -j
-make install
-```
+  ```shell
+  ./bootstrap --prefix=${install_path}
+  make -j
+  make install
+  ```
 
-- 设置环境变量
+- 编译安装cmake完成后，设置cmake的环境变量供后续程序使用
 
-```shell
-export PATH=${install_path}/bin:$PATH
-#检查是否正常使用
-cmake --version
-```
+  ```shell
+  export PATH=${install_path}/bin:$PATH
+  #检查是否正常使用
+  cmake --version
+  ```
 
-此时，cmake就可以使用了
+此时cmake就可以正常使用了
 
 <a name="1.2"></a>
 
@@ -70,61 +70,66 @@ cmake --version
 
 * 首先需要从opencv官网上下载在Linux环境下源码编译的包，以3.4.7版本为例，下载及解压缩命令如下：
 
-```
-wget https://github.com/opencv/opencv/archive/3.4.7.tar.gz
-tar -xvf 3.4.7.tar.gz
-```
+  ```shell
+  wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/test/opencv-3.4.7.tar.gz
+  tar -xvf 3.4.7.tar.gz
+  ```
 
-最终可以在当前目录下看到`opencv-3.4.7/`的文件夹。
+  最终可以在当前目录下看到`opencv-3.4.7/`的文件夹。
 
 * 编译opencv，首先设置opencv源码路径(`root_path`)以及安装路径(`install_path`)，`root_path`为下载的opencv源码路径，`install_path`为opencv的安装路径。在本例中，源码路径即为当前目录下的`opencv-3.4.7/`。
 
-```shell
-cd ./opencv-3.4.7
-export root_path=$PWD
-export install_path=${root_path}/opencv3
-```
-
-* 然后在opencv源码路径下，按照下面的方式进行编译。
+  ```shell
+  # 进入deploy/cpp_shitu目录
+  cd deploy/cpp_shitu
 
-```shell
-rm -rf build
-mkdir build
-cd build
+  # 安装opencv
+  cd ./opencv-3.4.7
+  export root_path=$PWD
+  export install_path=${root_path}/opencv3
+  ```
 
-cmake .. \
-    -DCMAKE_INSTALL_PREFIX=${install_path} \
-    -DCMAKE_BUILD_TYPE=Release \
-    -DBUILD_SHARED_LIBS=OFF \
-    -DWITH_IPP=OFF \
-    -DBUILD_IPP_IW=OFF \
-    -DWITH_LAPACK=OFF \
-    -DWITH_EIGEN=OFF \
-    -DCMAKE_INSTALL_LIBDIR=lib64 \
-    -DWITH_ZLIB=ON \
-    -DBUILD_ZLIB=ON \
-    -DWITH_JPEG=ON \
-    -DBUILD_JPEG=ON \
-    -DWITH_PNG=ON \
-    -DBUILD_PNG=ON \
-    -DWITH_TIFF=ON \
-    -DBUILD_TIFF=ON
+* 然后在opencv源码路径下，按照下面的方式进行编译。
 
-make -j
-make install
-```
+  ```shell
+  rm -rf build
+  mkdir build
+  cd build
+
+  cmake .. \
+      -DCMAKE_INSTALL_PREFIX=${install_path} \
+      -DCMAKE_BUILD_TYPE=Release \
+      -DBUILD_SHARED_LIBS=OFF \
+      -DWITH_IPP=OFF \
+      -DBUILD_IPP_IW=OFF \
+      -DWITH_LAPACK=OFF \
+      -DWITH_EIGEN=OFF \
+      -DCMAKE_INSTALL_LIBDIR=lib64 \
+      -DWITH_ZLIB=ON \
+      -DBUILD_ZLIB=ON \
+      -DWITH_JPEG=ON \
+      -DBUILD_JPEG=ON \
+      -DWITH_PNG=ON \
+      -DBUILD_PNG=ON \
+      -DWITH_TIFF=ON \
+      -DBUILD_TIFF=ON
+
+  make -j
+  make install
+  ```
 
 * `make install`完成之后，会在该文件夹下生成opencv头文件和库文件，用于后面的PaddleClas代码编译。
 
-以opencv3.4.7版本为例，最终在安装路径下的文件结构如下所示。**注意**：不同的opencv版本，下述的文件结构可能不同。
+  以opencv3.4.7版本为例，最终在安装路径下的文件结构如下所示。**注意**：不同的opencv版本，下述的文件结构可能不同。
 
-```
-opencv3/
-|-- bin
-|-- include
-|-- lib64
-|-- share
-```
+  ```log
+  opencv3/
+  ├── bin
+  ├── include
+  ├── lib
+  ├── lib64
+  └── share
+  ```
 
 <a name="1.3"></a>
 
@@ -139,44 +144,48 @@ opencv3/
 * 如果希望获取最新预测库特性，可以从Paddle github上克隆最新代码，源码编译预测库。
 * 可以参考[Paddle预测库官网](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16)的说明，从github上获取Paddle代码，然后进行编译，生成最新的预测库。使用git获取代码方法如下。
 
-```shell
-git clone https://github.com/PaddlePaddle/Paddle.git
-```
+  ```shell
+  # 进入deploy/cpp_shitu目录
+  cd deploy/cpp_shitu
 
-* 进入Paddle目录后，使用如下方法编译。
+  git clone https://github.com/PaddlePaddle/Paddle.git
+  ```
 
-```shell
-rm -rf build
-mkdir build
-cd build
+* 进入Paddle目录后，使用如下方法编译。
 
-cmake  .. \
-    -DWITH_CONTRIB=OFF \
-    -DWITH_MKL=ON \
-    -DWITH_MKLDNN=ON  \
-    -DWITH_TESTING=OFF \
-    -DCMAKE_BUILD_TYPE=Release \
-    -DWITH_INFERENCE_API_TEST=OFF \
-    -DON_INFER=ON \
-    -DWITH_PYTHON=ON
-make -j
-make inference_lib_dist
-```
+  ```shell
+  rm -rf build
+  mkdir build
+  cd build
+
+  cmake  .. \
+      -DWITH_CONTRIB=OFF \
+      -DWITH_MKL=ON \
+      -DWITH_MKLDNN=ON  \
+      -DWITH_TESTING=OFF \
+      -DCMAKE_BUILD_TYPE=Release \
+      -DWITH_INFERENCE_API_TEST=OFF \
+      -DON_INFER=ON \
+      -DWITH_PYTHON=ON
+
+  make -j
+  make inference_lib_dist
+  ```
 
-更多编译参数选项可以参考[Paddle C++预测库官网](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16)。
+  更多编译参数选项可以参考[Paddle C++预测库官网](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16)。
 
 
 * 编译完成之后，可以在`build/paddle_inference_install_dir/`文件下看到生成了以下文件及文件夹。
 
-```
-build/paddle_inference_install_dir/
-|-- CMakeCache.txt
-|-- paddle
-|-- third_party
-|-- version.txt
-```
+  ```log
+  build/paddle_inference_install_dir/
+  ├── CMakeCache.txt
+  ├── paddle
+  ├── third_party
+  └── version.txt
+  ```
 
-其中`paddle`就是之后进行C++预测时所需的Paddle库，`version.txt`中包含当前预测库的版本信息。
+  其中`paddle`就是之后进行C++预测时所需的Paddle库，`version.txt`中包含当前预测库的版本信息。
 
 <a name="1.3.2"></a>
 
@@ -187,33 +196,41 @@ build/paddle_inference_install_dir/
   以`https://paddle-inference-lib.bj.bcebos.com/2.1.1-gpu-cuda10.2-cudnn8.1-mkl-gcc8.2/paddle_inference.tgz`的`develop`版本为例，使用下述命令下载并解压：
 
 
-```shell
-wget https://paddle-inference-lib.bj.bcebos.com/2.1.1-gpu-cuda10.2-cudnn8.1-mkl-gcc8.2/paddle_inference.tgz
+  ```shell
+  # 进入deploy/cpp_shitu目录
+  cd deploy/cpp_shitu
 
-tar -xvf paddle_inference.tgz
-```
+  wget https://paddle-inference-lib.bj.bcebos.com/2.1.1-gpu-cuda10.2-cudnn8.1-mkl-gcc8.2/paddle_inference.tgz
+
+  tar -xvf paddle_inference.tgz
+  ```
 
 
-最终会在当前的文件夹中生成`paddle_inference/`的子文件夹。
+  最终会在当前的文件夹中生成`paddle_inference/`的子文件夹。
 
 <a name="1.4"></a>
 
 ### 1.4 安装faiss库
 
+在安装`faiss`前，请安装`openblas`，`ubuntu`系统中安装命令如下：
+
 ```shell
- # 下载 faiss
- git clone https://github.com/facebookresearch/faiss.git
- cd faiss
- export faiss_install_path=$PWD/faiss_install
- cmake -B build . -DFAISS_ENABLE_PYTHON=OFF  -DCMAKE_INSTALL_PREFIX=${faiss_install_path}
- make -C build -j faiss
- make -C build install
+apt-get install libopenblas-dev
 ```
 
-在安装`faiss`前，请安装`openblas`，`ubuntu`系统中安装命令如下：
+然后按照以下命令编译并安装faiss
 
 ```shell
-apt-get install libopenblas-dev
+# 进入deploy/cpp_shitu目录
+cd deploy/cpp_shitu
+
+# 下载 faiss
+git clone https://github.com/facebookresearch/faiss.git
+cd faiss
+export faiss_install_path=$PWD/faiss_install
+cmake -B build . -DFAISS_ENABLE_PYTHON=OFF  -DCMAKE_INSTALL_PREFIX=${faiss_install_path}
+make -C build -j faiss
+make -C build install
 ```
 
 注意本教程以安装faiss cpu版本为例，安装时请参考[faiss](https://github.com/facebookresearch/faiss)官网文档，根据需求自行安装。
@@ -224,12 +241,14 @@ apt-get install libopenblas-dev
 
 编译命令如下，其中Paddle C++预测库、opencv等其他依赖库的地址需要换成自己机器上的实际地址。同时，编译过程中需要下载编译`yaml-cpp`等C++库，请保持联网环境。
 
-
 ```shell
+# 进入deploy/cpp_shitu目录
+cd deploy/cpp_shitu
+
 sh tools/build.sh
 ```
 
-具体地，`tools/build.sh`中内容如下，请根据具体路径修改。
+具体地，`tools/build.sh`中内容如下，请根据具体路径和配置情况进行修改。
 
 ```shell
 OPENCV_DIR=${opencv_install_dir}
@@ -261,14 +280,13 @@ cd ..
 
 上述命令中，
 
-* `OPENCV_DIR`为opencv编译安装的地址（本例中为`opencv-3.4.7/opencv3`文件夹的路径）；
-* `LIB_DIR`为下载的Paddle预测库（`paddle_inference`文件夹），或编译生成的Paddle预测库（`build/paddle_inference_install_dir`文件夹）的路径；
-* `CUDA_LIB_DIR`为cuda库文件地址，在docker中为`/usr/local/cuda/lib64`；
-* `CUDNN_LIB_DIR`为cudnn库文件地址，在docker中为`/usr/lib/x86_64-linux-gnu/`。
-* `TENSORRT_DIR`是tensorrt库文件地址，在dokcer中为`/usr/local/TensorRT6-cuda10.0-cudnn7/`，TensorRT需要结合GPU使用。
-* `FAISS_DIR`是faiss的安装地址
-* `FAISS_WITH_MKL`是指在编译faiss的过程中，是否使用了mkldnn，本文档中编译faiss，没有使用，而使用了openblas，故设置为`OFF`，若使用了mkldnn，则为`ON`.
-
+* `OPENCV_DIR`：opencv编译安装的地址（本例中为`opencv-3.4.7/opencv3`文件夹的路径）；
+* `LIB_DIR`：下载的Paddle预测库（`paddle_inference`文件夹），或编译生成的Paddle预测库（`build/paddle_inference_install_dir`文件夹）的路径；
+* `CUDA_LIB_DIR`：cuda库文件地址，在docker中为`/usr/local/cuda/lib64`；
+* `CUDNN_LIB_DIR`：cudnn库文件地址，在docker中为`/usr/lib/x86_64-linux-gnu/`。
+* `TENSORRT_DIR`：tensorrt库文件地址，在dokcer中为`/usr/local/TensorRT6-cuda10.0-cudnn7/`，TensorRT需要结合GPU使用。
+* `FAISS_DIR`：faiss的安装地址
+* `FAISS_WITH_MKL`：指在编译faiss的过程中是否使用mkldnn，本文档中编译faiss没有使用，而使用了openblas，故设置为`OFF`，若使用了mkldnn则为`ON`.
 
 在执行上述命令，编译完成之后，会在当前路径下生成`build`文件夹，其中生成一个名为`pp_shitu`的可执行文件。
 
@@ -276,60 +294,68 @@ cd ..
 
 ## 3. 运行demo
 
-- 请参考[识别快速开始文档](../../docs/zh_CN/quick_start/quick_start_recognition.md)，下载好相应的 轻量级通用主体检测模型、轻量级通用识别模型及瓶装饮料测试数据并解压。
+- 按照如下命令下载好相应的轻量级通用主体检测模型、轻量级通用识别模型及瓶装饮料测试数据并解压。
 
   ```shell
+  # 进入deploy目录
+  cd deploy/
+
   mkdir models
   cd models
+
+  # 下载并解压主体检测模型
   wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
   tar -xf picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
-  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/general_PPLCNet_x2_5_lite_v1.0_infer.tar
-  tar -xf general_PPLCNet_x2_5_lite_v1.0_infer.tar
+
+  # 下载并解压特征提取模型
+  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar
+  tar -xf general_PPLCNetV2_base_pretrained_v1.0_infer.tar
   cd ..
 
   mkdir data
   cd data
-  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_dataset_v1.0.tar
-  tar -xf drink_dataset_v1.0.tar
+  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_dataset_v2.0.tar
+  tar -xf drink_dataset_v2.0.tar
   cd ..
   ```
 
 - 将相应的yaml文件拷到当前文件夹下
 
   ```shell
-  cp ../configs/inference_drink.yaml .
+  cp ../configs/inference_drink.yaml ./
   ```
 
-- 将`inference_drink.yaml`中的相对路径，改成基于本目录的路径或者绝对路径。涉及到的参数有
+- 将`inference_drink.yaml`中的相对路径，改成基于 `deploy/cpp_shitu` 目录的相对路径或者绝对路径。涉及到的参数有
 
-  - Global.infer_imgs ：此参数可以是具体的图像地址，也可以是图像集所在的目录
-  - Global.det_inference_model_dir ： 检测模型存储目录
-  - Global.rec_inference_model_dir ： 识别模型存储目录
-  - IndexProcess.index_dir ： 检索库的存储目录，在示例中，检索库在下载的demo数据中。
+  - `Global.infer_imgs` ：此参数可以是具体的图像地址，也可以是图像集所在的目录
+  - `Global.det_inference_model_dir` ： 检测模型存储目录
+  - `Global.rec_inference_model_dir` ： 识别模型存储目录
+  - `IndexProcess.index_dir` ： 检索库的存储目录，在示例中，检索库在下载的demo数据中。
 
-- 字典转换
+- 标签文件转换
 
-  由于python的检索库的字典，使用`pickle`进行的序列化存储，导致C++不方便读取，因此进行转换
+  由于python的检索库的字典是使用`pickle`转换得到的序列化存储结果，导致C++不方便读取，因此需要先转换成普通的文本文件。
 
   ```shell
-  python tools/transform_id_map.py -c inference_drink.yaml
+  python3.7 tools/transform_id_map.py -c inference_drink.yaml
   ```
 
-  转换成功后，在`IndexProcess.index_dir`目录下生成`id_map.txt`，方便c++ 读取。
+  转换成功后，在`IndexProcess.index_dir`目录下生成`id_map.txt`，以便在C++推理时读取。
 
 - 执行程序
 
   ```shell
   ./build/pp_shitu -c inference_drink.yaml
-  # or
-  ./build/pp_shitu -config inference_drink.yaml
   ```
 
-  若对图像集进行检索，则可能得到，如下结果。注意，此结果只做展示，具体以实际运行结果为准。
+  以 `drink_dataset_v2.0/test_images/nongfu_spring.jpeg` 作为输入图像，则执行上述推理命令可以得到如下结果
 
-  同时，需注意的是，由于opencv 版本问题，会导致图像在预处理的过程中，resize产生细微差别，导致python 和c++结果，轻微不同，如bbox相差几个像素，检索结果小数点后3位diff等。但不会改变最终检索label。
+  ```log
+  ../../deploy/drink_dataset_v2.0/test_images/nongfu_spring.jpeg:
+        result0: bbox[0, 0, 729, 1094], score: 0.688691, label: 农夫山泉-饮用天然水
+  ```
 
-  ![](../../docs/images/quick_start/shitu_c++_result.png)
+  由于python和C++的opencv实现存在部分不同，可能导致python推理和C++推理结果有微小差异。但基本不影响最终的检索结果。
 
 <a name="4"></a>
 

deploy/paddleserving/recognition/config.yml

@@ -16,9 +16,8 @@ op:
 
         #当op配置没有server_endpoints时，从local_service_conf读取本地服务配置
         local_service_conf:
-
             #uci模型路径
-            model_config: ../../models/general_PPLCNet_x2_5_lite_v1.0_serving
+            model_config: ../../models/general_PPLCNetV2_base_pretrained_v1.0_serving
 
             #计算硬件类型: 空缺时由devices决定(CPU/GPU)，0=cpu, 1=gpu, 2=tensorRT, 3=arm cpu, 4=kunlun xpu
             device_type: 1
@@ -37,7 +36,7 @@ op:
         local_service_conf:
             client_type: local_predictor
             device_type: 1
-            devices: '0'
+            devices: "0"
             fetch_list:
-            - save_infer_model/scale_0.tmp_1
+                - save_infer_model/scale_0.tmp_1
             model_config: ../../models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/

deploy/paddleserving/recognition/pipeline_http_client.py

-import requests
-import json
 import base64
+import json
 import os
 
-imgpath = "../../drink_dataset_v1.0/test_images/001.jpeg"
+import requests
+
+imgpath = "../../drink_dataset_v2.0/test_images/001.jpeg"
+
 
 def cv2_to_base64(image):
     return base64.b64encode(image).decode('utf8')
 
+
 if __name__ == "__main__":
     url = "http://127.0.0.1:18081/recognition/prediction"
 
-    with open(os.path.join(".",  imgpath), 'rb') as file:
+    with open(os.path.join(".", imgpath), 'rb') as file:
         image_data1 = file.read()
     image = cv2_to_base64(image_data1)
     data = {"key": ["image"], "value": [image]}

deploy/paddleserving/recognition/recognition_web_service.py

@@ -11,17 +11,24 @@
 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 # See the License for the specific language governing permissions and
 # limitations under the License.
-from paddle_serving_server.web_service import WebService, Op
+import base64
+import json
 import logging
-import numpy as np
+import os
+import pickle
 import sys
+
 import cv2
-from paddle_serving_app.reader import *
-import base64
-import os
 import faiss
-import pickle
-import json
+import numpy as np
+from paddle_serving_app.reader import BGR2RGB
+from paddle_serving_app.reader import Div
+from paddle_serving_app.reader import Normalize
+from paddle_serving_app.reader import RCNNPostprocess
+from paddle_serving_app.reader import Resize
+from paddle_serving_app.reader import Sequential
+from paddle_serving_app.reader import Transpose
+from paddle_serving_server.web_service import Op, WebService
 
 
 class DetOp(Op):
@@ -101,8 +108,8 @@ class RecOp(Op):
     def init_op(self):
         self.seq = Sequential([
             BGR2RGB(), Resize((224, 224)), Div(255),
-            Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225],
-                      False), Transpose((2, 0, 1))
+            Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225], False),
+            Transpose((2, 0, 1))
         ])
 
         index_dir = "../../drink_dataset_v1.0/index"
@@ -136,7 +143,7 @@ class RecOp(Op):
         })
         self.det_boxes = boxes
 
-        #construct batch images for rec
+        # construct batch images for rec
         imgs = []
         for box in boxes:
             box = [int(x) for x in box["bbox"]]
@@ -192,7 +199,7 @@ class RecOp(Op):
                 pred["rec_scores"] = scores[i][0]
                 results.append(pred)
 
-        #do nms
+        # do NMS
         results = self.nms_to_rec_results(results, self.rec_nms_thresold)
         return {"result": str(results)}, None, ""
 

docs/zh_CN/PPShiTu/PPShiTuV2_introduction.md

+## PP-ShiTuV2图像识别系统
+
+## 目录
+
+- [PP-ShiTuV2简介](#pp-shituv2简介)
+  - [数据集介绍](#数据集介绍)
+  - [模型训练](#模型训练)
+  - [模型评估](#模型评估)
+  - [模型推理](#模型推理)
+- [模块介绍](#模块介绍)
+  - [主体检测模型](#主体检测模型)
+  - [特征提取模型](#特征提取模型)
+    - [训练数据集优化与扩充](#训练数据集优化与扩充)
+    - [骨干网络优化](#骨干网络优化)
+    - [网络结构优化](#网络结构优化)
+    - [数据增强优化](#数据增强优化)
+- [参考文献](#参考文献)
+
+## PP-ShiTuV2简介
+
+PP-ShiTuV2 是基于 PP-ShiTuV1 改进的一个实用轻量级通用图像识别系统，相比 PP-ShiTuV1 具有更高的识别精度、更强的泛化能力以及相近的推理速度<sup>*</sup>。该系统主要针对**训练数据集**、特征提取两个部分进行优化，使用了更优的骨干网络、损失函数与训练策略。使得 PP-ShiTuV2 在多个实际应用场景上的检索性能有显著提升。
+
+<div align="center">
+<img src="../../images/structure.png" />
+</div>
+
+### 数据集介绍
+
+我们将训练数据进行了合理扩充与优化，更多细节请参考 [PP-ShiTuV2 数据集](../image_recognition_pipeline/feature_extraction.md#42-pp-shituv2)。
+
+下面以 [PP-ShiTuV2](../image_recognition_pipeline/feature_extraction.md#42-pp-shituv2) 的数据集为例，介绍 PP-ShiTuV2 模型的训练、评估、推理流程。
+
+### 模型训练
+
+首先下载好 [PP-ShiTuV2 数据集](../image_recognition_pipeline/feature_extraction.md#42-pp-shituv2) 中的16个数据集并手动进行合并、生成标注文本文件 `train_reg_all_data_v2.txt`，最后放置到 `dataset` 目录下。
+
+合并后的文件夹结构如下所示：
+
+```python
+dataset/
+├── Aliproduct/ # Aliproduct数据集文件夹
+├── SOP/ # SOPt数据集文件夹
+├── ...
+├── Products-10k/ # Products-10k数据集文件夹
+├── ...
+└── train_reg_all_data_v2.txt # 标注文本文件
+```
+生成的 `train_reg_all_data_v2.txt` 内容如下所示：
+
+```log
+...
+Aliproduct/train/50029/1766228.jpg 50029
+Aliproduct/train/50029/1764348.jpg 50029
+...
+Products-10k/train/88823.jpg 186440
+Products-10k/train/88824.jpg 186440
+...
+```
+
+然后在终端运行以下命令进行训练：
+
+```shell
+# 使用0号GPU进行单卡训练
+export CUDA_VISIBLE_DEVICES=0
+python3.7 tools/train.py \
+-c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml
+
+# 使用0,1,2,3,4,5,6,7号GPU进行8卡分布式训练
+export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
+python3.7 -m paddle.distributed.launch tools/train.py \
+-c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml
+```
+**注：** 在训练时默认会开启`eval_during_train`，每训练完 `eval_interval` 个epoch就会在配置文件中 `Eval` 指定的数据集上（默认为 Aliproduct ）进行模型评估并计算得到参考指标。
+
+### 模型评估
+
+参考 [模型评估](../image_recognition_pipeline/feature_extraction.md#53-模型评估)
+
+### 模型推理
+
+参考 [模型推理](../image_recognition_pipeline/feature_extraction.md#54-模型推理)
+
+## 模块介绍
+
+### 主体检测模型
+
+主体检测模型使用 `PicoDet-LCNet_x2_5`，详细信息参考：[picodet_lcnet_x2_5_640_mainbody](../image_recognition_pipeline/mainbody_detection.md)。
+
+### 特征提取模型
+
+#### 训练数据集优化与扩充
+
+在 PP-ShiTuV1 所用训练数据集的基础上，我们去掉了使用范围较小的 iCartoonFace 数据集，同时加入了更多常见、使用范围更广的数据集，如 bird400、Cars、Products-10k、fruits-262。
+
+#### 骨干网络优化
+
+我们将骨干网络从 `PPLCNet_x2_5` 替换成了 [`PPLCNetV2_base`](../models/PP-LCNetV2.md)，相比 `PPLCNet_x2_5`， `PPLCNetV2_base` 基本保持了较高的分类精度，并减少了40%的推理时间<sup>*</sup>。
+
+**注：** <sup>*</sup>推理环境基于 Intel(R) Xeon(R) Gold 6271C CPU @ 2.60GHz 硬件平台，OpenVINO 推理平台。
+
+#### 网络结构优化
+
+我们对 `PPLCNetV2_base` 结构做了微调，并加入了在行人重检测、地标检索、人脸识别等任务上较为通用有效的优化调整。主要包括以下几点：
+
+1. `PPLCNetV2_base` 结构微调：实验发现网络末尾的 [`ReLU`](../../../ppcls/arch/backbone/legendary_models/pp_lcnet_v2.py#L322) 对检索性能有较大影响， [`FC`](../../../ppcls/arch/backbone/legendary_models/pp_lcnet_v2.py#L325) 也会导致检索性能轻微掉点，因此我们去掉了 BackBone 末尾的 `ReLU` 和 `FC`。
+
+2. `last stride=1`：只将最后一个 stage 的 stride 改为1，即不进行下采样，以此增加最后输出的特征图的语义信息，同时不对推理速度产生太大影响。
+
+3. `BN Neck`：在全局池化层后加入一个 `BatchNorm1D` 结构，对特征向量的每个维度进行标准化，让 `CELoss` 与 `TripletAngularMarginLoss` 在不同的分布下进行优化，使得模型更快地收敛。
+
+    | 模型                                                               | training data     | recall@1%(mAP%) |
+    | :----------------------------------------------------------------- | :---------------- | :-------------- |
+    | PP-ShiTuV1                                                         | PP-ShiTuV1 数据集 | 63.0(51.5)      |
+    | PP-ShiTuV1+`PPLCNetV2_base`+`last_stride=1`+`BNNeck`+`TripletLoss` | PP-ShiTuV1 数据集 | 72.3(60.5)      |
+
+4. `TripletAngularMarginLoss`：我们基于原始的 `TripletLoss` (困难三元组损失)进行了改进，将优化目标从 L2 欧几里得空间更换成余弦空间，并额外加入了 anchor 与 positive/negtive 之间的硬性距离约束，让训练与测试的目标更加接近，提升模型的泛化能力。
+
+    | 模型                                                                            | training data     | recall@1%(mAP%) |
+    | :------------------------------------------------------------------------------ | :---------------- | :-------------- |
+    | PP-ShiTuV1+`PPLCNetV2_base`+`last_stride=1`+`BNNeck`+`TripletLoss`              | PP-ShiTuV2 数据集 | 71.9(60.2)      |
+    | PP-ShiTuV1+`PPLCNetV2_base`+`last_stride=1`+`BNNeck`+`TripletAngularMarginLoss` | PP-ShiTuV2 数据集 | 73.7(61.0)      |
+
+#### 数据增强优化
+
+我们考虑到实际相机拍摄时目标主体可能出现一定的旋转而不一定能保持正立状态，因此我们在数据增强中加入了适当的 [随机旋转增强](../../../ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L117)，以提升模型在真实场景中的检索能力。
+
+结合以上3个优化点，最终在多个数据集的实验结果如下：
+
+  | 模型       | product<sup>*</sup> |
+  | :--------- | :------------------ |
+  | -          | recall@1%(mAP%)     |
+  | PP-ShiTuV1 | 63.0(51.5)          |
+  | PP-ShiTuV2 | 73.7(61.0)          |
+
+  | 模型       | Aliproduct      | VeRI-Wild       | LogoDet-3k      | iCartoonFace    | SOP             | Inshop          |
+  | :--------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- |
+  | -          | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) |
+  | PP-ShiTuV1 | 83.9(83.2)      | 88.7(60.1)      | 86.1(73.6)      | 84.1(72.3)      | 79.7(58.6)      | 89.1(69.4)      |
+  | PP-ShiTuV2 | 84.2(83.3)      | 87.8(68.8)      | 88.0(63.2)      | 53.6(27.5)      | 77.6(55.3)      | 90.8(74.3)      |
+
+  | 模型       | gldv2           | imdb_face       | iNat            | instre          | sketch          | sop<sup>*</sup> |
+  | :--------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- |
+  | -          | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) |
+  | PP-ShiTuV1 | 98.2(91.6)      | 28.8(8.42)      | 12.6(6.1)       | 72.0(50.4)      | 27.9(9.5)       | 97.6(90.3)      |
+  | PP-ShiTuV2 | 98.1(90.5)      | 35.9(11.2)      | 38.6(23.9)      | 87.7(71.4)      | 39.3(15.6)      | 98.3(90.9)      |
+
+**注：** product数据集是为了验证PP-ShiTu的泛化性能而制作的数据集，所有的数据都没有在训练和测试集中出现。该数据包含8个大类（人脸、化妆品、地标、红酒、手表、车、运动鞋、饮料），299个小类。测试时，使用299个小类的标签进行测试；sop数据集来自[GPR1200: A Benchmark for General-Purpose Content-Based Image Retrieval](https://arxiv.org/abs/2111.13122)，可视为“SOP”数据集的子集。
+
+## 参考文献
+1. Schall, Konstantin, et al. "GPR1200: A Benchmark for General-Purpose Content-Based Image Retrieval." International Conference on Multimedia Modeling. Springer, Cham, 2022.
+2. Luo, Hao, et al. "A strong baseline and batch normalization neck for deep person re-identification." IEEE Transactions on Multimedia 22.10 (2019): 2597-2609.

docs/zh_CN/PPShiTu/PPShiTu_introduction.md

+TODO

docs/zh_CN/algorithm_introduction/reid.md

@@ -344,7 +344,7 @@ PaddleClas 提供了基于 Paddle2ONNX 来完成 inference 模型转换 ONNX 模
 
 #### 5.1 方法总结与对比
 
-上述算法能快速地迁移至多数的ReID模型中，能进一步提升ReID模型的性能。
+上述算法能快速地迁移至多数的ReID模型中（参考 [PP-ShiTuV2](../PPShiTu/PPShiTuV2_introduction.md) ），能进一步提升ReID模型的性能，
 
 #### 5.2 使用建议/FAQ
 

docs/zh_CN/image_recognition_pipeline/feature_extraction.md

@@ -6,10 +6,10 @@
 - [1. 摘要](#1-摘要)
 - [2. 介绍](#2-介绍)
 - [3. 方法](#3-方法)
-  - [3.1 Backbone](#31-backbone)
-  - [3.2 Neck](#32-neck)
-  - [3.3 Head](#33-head)
-  - [3.4 Loss](#34-loss)
+    - [3.1 Backbone](#31-backbone)
+    - [3.2 Neck](#32-neck)
+    - [3.3 Head](#33-head)
+    - [3.4 Loss](#34-loss)
 - [4. 实验部分](#4-实验部分)
 - [5. 自定义特征提取](#5-自定义特征提取)
   - [5.1 数据准备](#51-数据准备)
@@ -35,56 +35,72 @@
 ![](../../images/feature_extraction_framework.png)
 图中各个模块的功能为:
 
-- **Backbone**: 用于提取输入图像初步特征的骨干网络，一般由配置文件中的 [`Backbone`](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml#L26-L29) 以及 [`BackboneStopLayer`](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml#L30-L31) 字段共同指定。
-- **Neck**: 用以特征增强及特征维度变换。可以是一个简单的 FC Layer，用来做特征维度变换；也可以是较复杂的 FPN 结构，用以做特征增强，一般由配置文件中的 [`Neck`](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml#L32-L35)字段指定。
-- **Head**: 用来将 feature 转化为 logits，让模型在训练阶段能以分类任务的形式进行训练。除了常用的 FC Layer 外，还可以替换为 cosmargin, arcmargin, circlemargin 等模块，一般由配置文件中的 [`Head`](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml#L36-L41)字段指定。
-- **Loss**: 指定所使用的 Loss 函数。我们将 Loss 设计为组合 loss 的形式，可以方便地将 Classification Loss 和 Metric learning Loss 组合在一起，一般由配置文件中的 [`Loss`](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml#L44-L50)字段指定。
+- **Backbone**: 用于提取输入图像初步特征的骨干网络，一般由配置文件中的 [`B.//ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L26-L29) 以及 [`B.//ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L30-L31) 字段共同指定。
+- **Neck**: 用以特征增强及特征维度变换。可以是一个简单的 FC Layer，用来做特征维度变换；也可以是较复杂的 FPN 结构，用以做特征增强，一般由配置文件中的 [`N.//ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L32-L35)字段指定。
+- **Head**: 用来将 `Neck` 的输出 feature 转化为 logits，让模型在训练阶段能以分类任务的形式进行训练。除了常用的 FC Layer 外，还可以替换为 [CosMargin](../../../ppcls/arch/gears/cosmargin.py), [ArcMargin](../../../ppcls/arch/gears/arcmargin.py), [CircleMargin](../../../ppcls/arch/gears/circlemargin.py) 等模块，一般由配置文件中的 [`H.//ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L36-L41) 字段指定。
+- **Loss**: 指定所使用的 Loss 函数。我们将 Loss 设计为组合 loss 的形式，可以方便地将 Classification Loss 和 Metric learning Loss 组合在一起，一般由配置文件中的 [`L.//ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L44-L50) 字段指定。
 
 <a name="3"></a>
 
 ## 3. 方法
 
-### 3.1 Backbone
+#### 3.1 Backbone
 
-Backbone 部分采用了 [PP_LCNet_x2_5](../models/PP-LCNet.md)，其针对Intel CPU端的性能优化探索了多个有效的结构设计方案，最终实现了在不增加推理时间的情况下，进一步提升模型的性能，最终大幅度超越现有的 SOTA 模型。
+Backbone 部分采用了 [PP-LCNetV2_base](../models/PP-LCNetV2.md)，其针对Intel CPU端的性能优化探索了多个有效的结构设计方案，最终实现了在不增加推理时间的情况下，进一步提升模型的性能，最终大幅度超越现有的 SOTA 模型。
 
-### 3.2 Neck
+#### 3.2 Neck
 
-Neck 部分采用了 [FC Layer](../../../ppcls/arch/gears/fc.py)，对 Backbone 抽取得到的特征进行降维，减少了特征存储的成本与计算量。
+Neck 部分采用了 [BN Neck](../../../ppcls/arch/gears/bnneck.py)，对 Backbone 抽取得到的特征的每个维度进行标准化操作，减少了同时优化度量学习损失和分类损失的难度。
 
-### 3.3 Head
+#### 3.3 Head
 
-Head 部分选用 [ArcMargin](../../../ppcls/arch/gears/arcmargin.py)，在训练时通过指定margin，增大同类特征之间的角度差异再进行分类，进一步提升抽取特征的表征能力。
+Head 部分选用 [FC Layer](../../../ppcls/arch/gears/fc.py)，使用分类头将 feature 转换成 logits 供后续计算分类损失。
 
-### 3.4 Loss
+#### 3.4 Loss
 
-Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训练时以分类任务的损失函数来指导网络进行优化。详细的配置文件见[通用识别配置文件](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml)。
+Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py) 和 [TripletAngularMarginLoss](../../../ppcls/loss/tripletangularmarginloss.py)，在训练时以分类损失和基于角度的三元组损失来指导网络进行优化。详细的配置文件见[GeneralRecognitionV2_PPLCNetV2_base.yaml](../../../ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml#L63-77)。
 
 <a name="4"></a>
 
 ## 4. 实验部分
 
-训练数据为如下 7 个公开数据集的汇总：
-
-|    数据集    | 数据量  |  类别数  |   场景   |                                  数据集地址                                  |
-| :----------: | :-----: | :------: | :------: | :--------------------------------------------------------------------------: |
-|  Aliproduct  | 2498771 |  50030   |   商品   |  [地址](https://retailvisionworkshop.github.io/recognition_challenge_2020/)  |
-|    GLDv2     | 1580470 |  81313   |   地标   |           [地址](https://github.com/cvdfoundation/google-landmark)           |
-|  VeRI-Wild   | 277797  |  30671   |   车辆   |                [地址](https://github.com/PKU-IMRE/VERI-Wild)                 |
-|  LogoDet-3K  | 155427  |   3000   |   Logo   |          [地址](https://github.com/Wangjing1551/LogoDet-3K-Dataset)          |
-| iCartoonFace | 389678  |   5013   | 动漫人物 | [地址](http://challenge.ai.iqiyi.com/detail?raceId=5def69ace9fcf68aef76a75d) |
-|     SOP      |  59551  |  11318   |   商品   |          [地址](https://cvgl.stanford.edu/projects/lifted_struct/)           |
-|    Inshop    |  25882  |   3997   |   商品   |        [地址](http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html)         |
-|  **Total**   | **5M**  | **185K** |   ----   |                                     ----                                     |
-
-最终的模型效果如下表所示:
-
-|              模型               | Aliproduct | VeRI-Wild | LogoDet-3K | iCartoonFace |  SOP  | Inshop | Latency(ms) |
-| :-----------------------------: | :--------: | :-------: | :--------: | :----------: | :---: | :----: | :---------: |
-| GeneralRecognition_PPLCNet_x2_5 |   0.839    |   0.888   |   0.861    |    0.841     | 0.793 | 0.892  |     5.0     |
-
-* 预训练模型地址：[通用识别预训练模型](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/pretrain/general_PPLCNet_x2_5_pretrained_v1.0.pdparams)
-* 采用的评测指标为：`Recall@1`
+我们对原有的训练数据进行了合理扩充与优化，最终使用如下 16 个公开数据集的汇总：
+
+| 数据集                 | 数据量  |  类别数  | 场景  |                                      数据集地址                                      |
+| :--------------------- | :-----: | :------: | :---: | :----------------------------------------------------------------------------------: |
+| Aliproduct             | 2498771 |  50030   | 商品  |      [地址](https://retailvisionworkshop.github.io/recognition_challenge_2020/)      |
+| GLDv2                  | 1580470 |  81313   | 地标  |               [地址](https://github.com/cvdfoundation/google-landmark)               |
+| VeRI-Wild              | 277797  |  30671   | 车辆  |                    [地址](https://github.com/PKU-IMRE/VERI-Wild)                     |
+| LogoDet-3K             | 155427  |   3000   | Logo  |              [地址](https://github.com/Wangjing1551/LogoDet-3K-Dataset)              |
+| SOP                    |  59551  |  11318   | 商品  |              [地址](https://cvgl.stanford.edu/projects/lifted_struct/)               |
+| Inshop                 |  25882  |   3997   | 商品  |            [地址](http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html)             |
+| bird400                |  58388  |   400    | 鸟类  |          [地址](https://www.kaggle.com/datasets/gpiosenka/100-bird-species)          |
+| 104flows               |  12753  |   104    | 花类  |              [地址](https://www.robots.ox.ac.uk/~vgg/data/flowers/102/)              |
+| Cars                   |  58315  |   112    | 车辆  |            [地址](https://ai.stanford.edu/~jkrause/cars/car_dataset.html)            |
+| Fashion Product Images |  44441  |    47    | 商品  | [地址](https://www.kaggle.com/datasets/paramaggarwal/fashion-product-images-dataset) |
+| flowerrecognition      |  24123  |    59    | 花类  |         [地址](https://www.kaggle.com/datasets/aymenktari/flowerrecognition)         |
+| food-101               | 101000  |   101    | 食物  |         [地址](https://data.vision.ee.ethz.ch/cvl/datasets_extra/food-101/)          |
+| fruits-262             | 225639  |   262    | 水果  |            [地址](https://www.kaggle.com/datasets/aelchimminut/fruits262)            |
+| inaturalist            | 265213  |   1010   | 自然  |           [地址](https://github.com/visipedia/inat_comp/tree/master/2017)            |
+| indoor-scenes          |  15588  |    67    | 室内  |       [地址](https://www.kaggle.com/datasets/itsahmad/indoor-scenes-cvpr-2019)       |
+| Products-10k           | 141931  |   9691   | 商品  |                       [地址](https://products-10k.github.io/)                        |
+| CompCars               |  16016  |   431    | 车辆  |     [地址](http://​​​​​​http://ai.stanford.edu/~jkrause/cars/car_dataset.html​)      |
+| **Total**              | **6M**  | **192K** |   -   |                                          -                                           |
+
+最终的模型精度指标如下表所示:
+
+  | 模型       | Aliproduct      | VeRI-Wild       | LogoDet-3k      | iCartoonFace    | SOP             | Inshop          |
+  | :--------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- |
+  | -          | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) |
+  | PP-ShiTuV2 | 84.2(83.3)      | 87.8(68.8)      | 88.0(63.2)      | 53.6(27.5)      | 77.6(55.3)      | 90.8(74.3)      |
+
+  | 模型       | gldv2           | imdb_face       | iNat            | instre          | sketch          | sop<sup>*</sup> |
+  | :--------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- | :-------------- |
+  | -          | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) | recall@1%(mAP%) |
+  | PP-ShiTuV2 | 98.1(90.5)      | 35.9(11.2)      | 38.6(23.9)      | 87.7(71.4)      | 39.3(15.6)      | 98.3(90.9)      |
+
+* 预训练模型地址：[general_PPLCNetV2_base_pretrained_v1.0.pdparams](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/pretrain/PPShiTuV2/general_PPLCNetV2_base_pretrained_v1.0.pdparams)
+* 采用的评测指标为：`Recall@1` 与 `mAP`
 * 速度评测机器的 CPU 具体信息为：`Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz`
 * 速度指标的评测条件为： 开启 MKLDNN, 线程数设置为 10
 
@@ -94,8 +110,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
 
 自定义特征提取，是指依据自己的任务，重新训练特征提取模型。
 
-下面基于`GeneralRecognition_PPLCNet_x2_5.yaml`配置文件，介绍主要的四个步骤：1）数据准备；2）模型训练；3）模型评估；4）模型推理
-
+下面基于 `GeneralRecognitionV2_PPLCNetV2_base.yaml` 配置文件，介绍主要的四个步骤：1）数据准备；2）模型训练；3）模型评估；4）模型推理
 
 <a name="5.1"></a>
 
@@ -107,34 +122,40 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
 
 - 修改类别数：
   ```yaml
-    Head:
-      name: ArcMargin
-      embedding_size: 512
-      class_num: 185341    # 此处表示类别数
+  Head:
+    name: FC
+    embedding_size: *feat_dim
+    class_num: 192612  # 此处表示类别数
+    weight_attr:
+      initializer:
+        name: Normal
+        std: 0.001
+    bias_attr: False
   ```
 - 修改训练数据集配置：
   ```yaml
-    Train:
-      dataset:
-        name: ImageNetDataset
-        image_root: ./dataset/     # 此处表示train数据所在的目录
-        cls_label_path: ./dataset/train_reg_all_data.txt  # 此处表示train数据集label文件的地址
+  Train:
+    dataset:
+      name: ImageNetDataset
+      image_root: ./dataset/     # 此处表示train数据所在的目录
+      cls_label_path: ./dataset/train_reg_all_data.txt  # 此处表示train数据集label文件的地址
+      relabel: True
   ```
 - 修改评估数据集中query数据配置：
   ```yaml
-      Query:
-        dataset:
-          name: VeriWild
-          image_root: ./dataset/Aliproduct/    # 此处表示query数据集所在的目录
-          cls_label_path: ./dataset/Aliproduct/val_list.txt    # 此处表示query数据集label文件的地址
+  Query:
+    dataset:
+      name: VeriWild
+      image_root: ./dataset/Aliproduct/    # 此处表示query数据集所在的目录
+      cls_label_path: ./dataset/Aliproduct/val_list.txt    # 此处表示query数据集label文件的地址
   ```
 - 修改评估数据集中gallery数据配置：
   ```yaml
-      Gallery:
-        dataset:
-          name: VeriWild
-          image_root: ./dataset/Aliproduct/    # 此处表示gallery数据集所在的目录
-          cls_label_path: ./dataset/Aliproduct/val_list.txt   # 此处表示gallery数据集label文件的地址
+  Gallery:
+    dataset:
+      name: VeriWild
+      image_root: ./dataset/Aliproduct/    # 此处表示gallery数据集所在的目录
+      cls_label_path: ./dataset/Aliproduct/val_list.txt   # 此处表示gallery数据集label文件的地址
   ```
 
 <a name="5.2"></a>
@@ -147,14 +168,14 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
   ```shell
   export CUDA_VISIBLE_DEVICES=0
   python3.7 tools/train.py \
-  -c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml
   ```
 - 单机多卡训练
   ```shell
   export CUDA_VISIBLE_DEVICES=0,1,2,3
   python3.7 -m paddle.distributed.launch \
   --gpus="0,1,2,3" tools/train.py \
-  -c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml
   ```
 **注意：**
 配置文件中默认采用`在线评估`的方式，如果你想加快训练速度，可以关闭`在线评估`功能，只需要在上述命令的后面，增加 `-o Global.eval_during_train=False`。
@@ -165,7 +186,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
   ```shell
   export CUDA_VISIBLE_DEVICES=0
   python3.7 tools/train.py \
-  -c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml \
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml \
   -o Global.checkpoint="output/RecModel/latest"
   ```
 - 单机多卡断点恢复训练
@@ -173,7 +194,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
   export CUDA_VISIBLE_DEVICES=0,1,2,3
   python3.7 -m paddle.distributed.launch \
   --gpus="0,1,2,3" tools/train.py \
-  -c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml \
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml \
   -o Global.checkpoint="output/RecModel/latest"
   ```
 
@@ -187,7 +208,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
   ```shell
   export CUDA_VISIBLE_DEVICES=0
   python3.7 tools/eval.py \
-  -c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml \
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml \
   -o Global.pretrained_model="output/RecModel/best_model"
   ```
 
@@ -196,7 +217,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
   export CUDA_VISIBLE_DEVICES=0,1,2,3
   python3.7 -m paddle.distributed.launch \
   --gpus="0,1,2,3" tools/eval.py \
-  -c  ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml \
+  -c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml \
   -o  Global.pretrained_model="output/RecModel/best_model"
   ```
 **注：** 建议使用多卡评估。该方式可以利用多卡并行计算快速得到全部数据的特征，能够加速评估的过程。
@@ -212,7 +233,7 @@ Loss 部分选用 [Cross entropy loss](../../../ppcls/loss/celoss.py)，在训
 首先需要将 `*.pdparams` 模型文件转换成 inference 格式，转换命令如下。
 ```shell
 python3.7 tools/export_model.py \
--c ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml \
+-c ./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml \
 -o Global.pretrained_model="output/RecModel/best_model"
 ```
 生成的推理模型默认位于 `PaddleClas/inference` 目录，里面包含三个文件，分别为 `inference.pdmodel`、`inference.pdiparams`、`inference.pdiparams.info`。
@@ -244,4 +265,4 @@ python3.7 python/predict_rec.py \
 ## 7. 参考文献
 
 1. [PP-LCNet: A Lightweight CPU Convolutional Neural Network](https://arxiv.org/pdf/2109.15099.pdf)
-2. [ArcFace: Additive Angular Margin Loss for Deep Face Recognition](https://arxiv.org/abs/1801.07698)
+2. [Bag of Tricks and A Strong Baseline for Deep Person Re-identification](https://openaccess.thecvf.com/content_CVPRW_2019/papers/TRMTMCT/Luo_Bag_of_Tricks_and_a_Strong_Baseline_for_Deep_Person_CVPRW_2019_paper.pdf)

docs/zh_CN/inference_deployment/python_deploy.md

 # Python 预测推理
 
----
-
 首先请参考文档[环境准备](../installation/install_paddleclas.md)配置运行环境。
 
 ## 目录
@@ -13,47 +11,50 @@
     - [2.3 PP-ShiTu PipeLine推理](#2.3)
 
 <a name="1"></a>
+
 ## 1. 图像分类推理
 
 首先请参考文档[模型导出](./export_model.md)准备 inference 模型，然后进入 PaddleClas 的 `deploy` 目录下：
 
 ```shell
-cd /path/to/PaddleClas/deploy
+cd PaddleClas/deploy
 ```
 
 使用以下命令进行预测：
 
 ```shell
-python python/predict_cls.py -c configs/inference_cls.yaml
+python3.7 python/predict_cls.py -c configs/inference_cls.yaml
 ```
 
 在配置文件 `configs/inference_cls.yaml` 中有以下字段用于配置预测参数：
-* `Global.infer_imgs`：待预测的图片文件路径；
-* `Global.inference_model_dir`：inference 模型文件所在目录，该目录下需要有文件 `inference.pdmodel` 和 `inference.pdiparams` 两个文件；
-* `Global.use_tensorrt`：是否使用 TesorRT 预测引擎，默认为 `False`；
+* `Global.infer_imgs`：待预测的图片文件（夹）路径；
+* `Global.inference_model_dir`：inference 模型文件所在文件夹的路径，该文件夹下需要有文件 `inference.pdmodel` 和 `inference.pdiparams` 两个文件；
 * `Global.use_gpu`：是否使用 GPU 预测，默认为 `True`；
 * `Global.enable_mkldnn`：是否启用 `MKL-DNN` 加速库，默认为 `False`。注意 `enable_mkldnn` 与 `use_gpu` 同时为 `True` 时，将忽略 `enable_mkldnn`，而使用 GPU 预测；
 * `Global.use_fp16`：是否启用 `FP16`，默认为 `False`；
+* `Global.use_tensorrt`：是否使用 TesorRT 预测引擎，默认为 `False`；
 * `PreProcess`：用于数据预处理配置；
 * `PostProcess`：由于后处理配置；
-* `PostProcess.Topk.class_id_map_file`：数据集 label 的映射文件，默认为 `./utils/imagenet1k_label_list.txt`，该文件为 PaddleClas 所使用的 ImageNet 数据集 label 映射文件。
+* `PostProcess.Topk.class_id_map_file`：数据集 label 的映射文件，默认为 `../ppcls/utils/imagenet1k_label_list.txt`，该文件为 PaddleClas 所使用的 ImageNet 数据集 label 映射文件。
 
 **注意**:
-* 如果使用 VisionTransformer 系列模型，如 `DeiT_***_384`, `ViT_***_384` 等，请注意模型的输入数据尺寸，部分模型需要修改参数： `PreProcess.resize_short=384`, `PreProcess.resize=384`。
+* 如果使用 VisionTransformer 系列模型，如 `DeiT_***_384`, `ViT_***_384` 等，请注意模型的输入数据尺寸，该类模型需要修改参数： `PreProcess.resize_short=384`, `PreProcess.resize=384`。
 * 如果你希望提升评测模型速度，使用 GPU 评测时，建议开启 TensorRT 加速预测，使用 CPU 评测时，建议开启 MKL-DNN 加速预测。
 
 <a name="2"></a>
+
 ## 2. PP-ShiTu模型推理
 
-PP-ShiTu整个Pipeline包含三部分：主体检测、特提取模型、特征检索。其中主体检测、特征模型可以单独推理使用。单独主体检测详见[2.1](#2.1)，特征提取模型单独推理详见[2.2](#2.2)， PP-ShiTu整体推理详见[2.3](#2.3)。
+PP-ShiTu整个Pipeline包含三部分：主体检测、特征提取模型、特征检索。其中主体检测模型、特征提取模型可以单独推理使用。单独使用主体检测详见[主体检测模型推理](#2.1)，特征提取模型单独推理详见[特征提取模型推理](#2.2)， PP-ShiTu整体推理详见[PP-ShiTu PipeLine推理](#2.3)。
 
 <a name="2.1"></a>
+
 ### 2.1 主体检测模型推理
 
 进入 PaddleClas 的 `deploy` 目录下：
 
 ```shell
-cd /path/to/PaddleClas/deploy
+cd PaddleClas/deploy
 ```
 
 准备 PaddleClas 提供的主体检测 inference 模型：
@@ -61,28 +62,28 @@ cd /path/to/PaddleClas/deploy
 ```shell
 mkdir -p models
 # 下载通用检测 inference 模型并解压
-wget -P ./models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/ppyolov2_r50vd_dcn_mainbody_v1.0_infer.tar
-tar -xf ./models/ppyolov2_r50vd_dcn_mainbody_v1.0_infer.tar -C ./models/
+wget -nc -P ./models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
+tar -xf ./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar -C ./models/
 ```
 
 使用以下命令进行预测：
 
 ```shell
-python python/predict_det.py -c configs/inference_det.yaml
+python3.7 python/predict_det.py -c configs/inference_det.yaml
 ```
 
 在配置文件 `configs/inference_det.yaml` 中有以下字段用于配置预测参数：
 * `Global.infer_imgs`：待预测的图片文件路径；
 * `Global.use_gpu`： 是否使用 GPU 预测，默认为 `True`。
 
-
 <a name="2.2"></a>
+
 ### 2.2 特征提取模型推理
 
-下面以商品特征提取为例，介绍特征提取模型推理。首先进入 PaddleClas 的 `deploy` 目录下：
+下面以商品图片的特征提取为例，介绍特征提取模型推理。首先进入 PaddleClas 的 `deploy` 目录下：
 
 ```shell
-cd /path/to/PaddleClas/deploy
+cd PaddleClas/deploy
 ```
 
 准备 PaddleClas 提供的商品特征提取 inference 模型：
@@ -90,13 +91,24 @@ cd /path/to/PaddleClas/deploy
 ```shell
 mkdir -p models
 # 下载商品特征提取 inference 模型并解压
-wget -P ./models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/product_ResNet50_vd_aliproduct_v1.0_infer.tar
-tar -xf ./models/product_ResNet50_vd_aliproduct_v1.0_infer.tar -C ./models/
+wget -nc -P ./models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar
+tar -xf ./models/general_PPLCNetV2_base_pretrained_v1.0_infer.tar -C ./models/
+```
+
+使用以下命令进行预测：
+
+```shell
+python3.7 python/predict_rec.py -c configs/inference_rec.yaml
 ```
 
 上述预测命令可以得到一个 512 维的特征向量，直接输出在在命令行中。
 
+在配置文件 `configs/inference_det.yaml` 中有以下字段用于配置预测参数：
+* `Global.infer_imgs`：待预测的图片文件路径；
+* `Global.use_gpu`： 是否使用 GPU 预测，默认为 `True`。
+
 <a name="2.3"></a>
+
 ### 2.3. PP-ShiTu PipeLine推理
 
-主体检测、特征提取和向量检索的串联预测，可以参考图像识别[快速体验](../quick_start/quick_start_recognition.md)。
+主体检测、特征提取和向量检索的串联预测，可以参考[图像识别快速开始](../quick_start/quick_start_recognition.md)。

docs/zh_CN/inference_deployment/recognition_serving_deploy.md

@@ -79,8 +79,8 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   mkdir models
   cd models
   # 下载并解压通用识别模型
-  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/general_PPLCNet_x2_5_lite_v1.0_infer.tar
-  tar -xf general_PPLCNet_x2_5_lite_v1.0_infer.tar
+  wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar
+  tar -xf general_PPLCNetV2_base_pretrained_v1.0_infer.tar
   # 下载并解压通用检测模型
   wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
   tar -xf picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
@@ -89,22 +89,22 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   ```shell
   # 转换通用识别模型
   python3.7 -m paddle_serving_client.convert \
-  --dirname ./general_PPLCNet_x2_5_lite_v1.0_infer/ \
+  --dirname ./general_PPLCNetV2_base_pretrained_v1.0_infer/ \
   --model_filename inference.pdmodel  \
   --params_filename inference.pdiparams \
-  --serving_server ./general_PPLCNet_x2_5_lite_v1.0_serving/ \
-  --serving_client ./general_PPLCNet_x2_5_lite_v1.0_client/
+  --serving_server ./general_PPLCNetV2_base_pretrained_v1.0_serving/ \
+  --serving_client ./general_PPLCNetV2_base_pretrained_v1.0_client/
   ```
   上述命令的参数含义与[#3.1 模型转换](#3.1)相同
-  通用识别 inference 模型转换完成后，会在当前文件夹多出 `general_PPLCNet_x2_5_lite_v1.0_serving/` 和 `general_PPLCNet_x2_5_lite_v1.0_client/` 的文件夹，具备如下结构：
+  通用识别 inference 模型转换完成后，会在当前文件夹多出 `general_PPLCNetV2_base_pretrained_v1.0_serving/` 和 `general_PPLCNetV2_base_pretrained_v1.0_client/` 的文件夹，具备如下结构：
     ```shell
-    ├── general_PPLCNet_x2_5_lite_v1.0_serving/
+    ├── general_PPLCNetV2_base_pretrained_v1.0_serving/
     │   ├── inference.pdiparams
     │   ├── inference.pdmodel
     │   ├── serving_server_conf.prototxt
     │   └── serving_server_conf.stream.prototxt
     │
-    └── general_PPLCNet_x2_5_lite_v1.0_client/
+    └── general_PPLCNetV2_base_pretrained_v1.0_client/
           ├── serving_client_conf.prototxt
           └── serving_client_conf.stream.prototxt
     ```
@@ -119,7 +119,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   ```
   上述命令的参数含义与[#3.1 模型转换](#3.1)相同
 
-  识别推理模型转换完成后，会在当前文件夹多出 `general_PPLCNet_x2_5_lite_v1.0_serving/` 和 `general_PPLCNet_x2_5_lite_v1.0_client/` 的文件夹。分别修改 `general_PPLCNet_x2_5_lite_v1.0_serving/` 和 `general_PPLCNet_x2_5_lite_v1.0_client/` 目录下的 `serving_server_conf.prototxt` 中的 `alias` 名字： 将 `fetch_var` 中的 `alias_name` 改为 `features`。 修改后的 `serving_server_conf.prototxt` 内容如下
+  识别推理模型转换完成后，会在当前文件夹多出 `general_PPLCNetV2_base_pretrained_v1.0_serving/` 和 `general_PPLCNetV2_base_pretrained_v1.0_client/` 的文件夹。分别修改 `general_PPLCNetV2_base_pretrained_v1.0_serving/` 和 `general_PPLCNetV2_base_pretrained_v1.0_client/` 目录下的 `serving_server_conf.prototxt` 中的 `alias` 名字： 将 `fetch_var` 中的 `alias_name` 改为 `features`。 修改后的 `serving_server_conf.prototxt` 内容如下
 
   ```log
   feed_var {
@@ -132,7 +132,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   shape: 224
   }
   fetch_var {
-    name: "save_infer_model/scale_0.tmp_1"
+    name: "batch_norm_25.tmp_2"
     alias_name: "features"
     is_lod_tensor: false
     fetch_type: 1
@@ -165,7 +165,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
     # 回到deploy目录
     cd ../
     # 下载构建完成的检索库 index
-    wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_dataset_v1.0.tar
+    wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_dataset_v2.0.tar
     # 解压构建完成的检索库 index
     tar -xf drink_dataset_v1.0.tar
     ```
@@ -175,7 +175,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
 **注意：** 识别服务涉及到多个模型，出于性能考虑采用 PipeLine 部署方式。Pipeline 部署方式当前不支持 windows 平台。
 - 进入到工作目录
   ```shell
-  cd ./deploy/paddleserving/recognition
+  cd ./paddleserving/recognition
   ```
   paddleserving 目录包含启动 Python Pipeline 服务、C++ Serving 服务和发送预测请求的代码，包括：
   ```shell
@@ -204,7 +204,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   ```
   成功运行后，模型预测的结果会打印在客户端中，如下所示：
   ```log
-  {'err_no': 0, 'err_msg': '', 'key': ['result'], 'value': ["[{'bbox': [345, 95, 524, 576], 'rec_docs': '红牛-强化型', 'rec_scores': 0.79903316}]"], 'tensors': []}
+  {'err_no': 0, 'err_msg': '', 'key': ['result'], 'value': ["[{'bbox': [0, 0, 600, 600], 'rec_docs': '红牛-强化型', 'rec_scores': 0.7408101}]"], 'tensors': []}
   ```
 
 <a name="3.2.2"></a>
@@ -218,7 +218,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   # 一键编译安装Serving server、设置 SERVING_BIN
   source ./build_server.sh python3.7
   ```
-  **注：**[build_server.sh](../build_server.sh#L55-L62)所设定的路径可能需要根据实际机器上的环境如CUDA、python版本等作一定修改，然后再编译；如果执行`build_server.sh`过程中遇到非网络原因的报错，则可以手动将脚本中的命令逐条复制到终端执行。
+  **注：** [build_server.sh](../build_server.sh#L55-L62) 所设定的路径可能需要根据实际机器上的环境如CUDA、python版本等作一定修改，然后再编译；如果执行 `build_server.sh` 过程中遇到非网络原因的报错，则可以手动将脚本中的命令逐条复制到终端执行。
 
 - C++ Serving使用的输入输出格式与Python不同，因此需要执行以下命令，将4个文件复制到下的文件覆盖掉[3.1](#31-模型转换)得到文件夹中的对应4个prototxt文件。
   ```shell
@@ -226,8 +226,8 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   cd PaddleClas/deploy/
 
   # 覆盖prototxt文件
-  \cp ./paddleserving/recognition/preprocess/general_PPLCNet_x2_5_lite_v1.0_serving/*.prototxt ./models/general_PPLCNet_x2_5_lite_v1.0_serving/
-  \cp ./paddleserving/recognition/preprocess/general_PPLCNet_x2_5_lite_v1.0_client/*.prototxt ./models/general_PPLCNet_x2_5_lite_v1.0_client/
+  \cp ./paddleserving/recognition/preprocess/general_PPLCNetV2_base_pretrained_v1.0_serving/*.prototxt ./models/general_PPLCNetV2_base_pretrained_v1.0_serving/
+  \cp ./paddleserving/recognition/preprocess/general_PPLCNetV2_base_pretrained_v1.0_client/*.prototxt ./models/general_PPLCNetV2_base_pretrained_v1.0_client/
   \cp ./paddleserving/recognition/preprocess/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_client/*.prototxt ./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_client/
   \cp ./paddleserving/recognition/preprocess/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/*.prototxt ./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/
   ```
@@ -235,7 +235,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
 - 启动服务：
   ```shell
   # 进入工作目录
-  cd PaddleClas/deploy/paddleserving/recognition
+  cd ./paddleserving/recognition
 
   # 端口号默认为9400；运行日志默认保存在 log_PPShiTu.txt 中
   # CPU部署
@@ -254,7 +254,7 @@ python3.7 -m pip install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUD
   WARNING: Logging before InitGoogleLogging() is written to STDERR
   I0614 03:01:36.273097  6084 naming_service_thread.cpp:202] brpc::policy::ListNamingService("127.0.0.1:9400"): added 1
   I0614 03:01:37.393564  6084 general_model.cpp:490] [client]logid=0,client_cost=1107.82ms,server_cost=1101.75ms.
-  [{'bbox': [345, 95, 524, 585], 'rec_docs': '红牛-强化型', 'rec_scores': 0.8073724}]
+  [{'bbox': [0, 0, 600, 600], 'rec_docs': '红牛-强化型', 'rec_scores': 0.7508101}]
   ```
 
 - 关闭服务

docs/zh_CN/introduction/ppshitu_application_scenarios.md

+# PP-ShiTu应用场景介绍
+
+该文档介绍了PP-ShiTu提供的各种应用场景库简介、下载链接以及使用简介。
+
+------
+
+## 目录
+
+- [1. 应用场景介绍](#1-应用场景介绍)
+- [2. 使用说明](#2-使用说明)
+  - [2.1 环境配置](#21-环境配置)
+  - [2.2 下载、解压场景库数据](#22-下载解压场景库数据)
+  - [2.3 准备模型](#23-准备模型)
+  - [2.4 场景库识别与检索](#24-场景库识别与检索)
+    - [2.4.1 识别单张图像](#241-识别单张图像)
+    - [2.4.2 基于文件夹的批量识别](#242-基于文件夹的批量识别)
+
+
+<a name="1. 应用场景介绍"></a>
+
+## 1. 应用场景介绍
+
+PP-ShiTu对原数据集进行了`Gallery`库和`Query`库划分，并生成了对应的`Index`索引库，具体应用场景介绍和下载地址如下表所示。
+
+| 场景 |示例图|场景简介|Recall@1|场景库下载地址|原数据集下载地址|
+|:---:|:---:|:---:|:---:|:---:|:---:|
+| 球类 | <img src="../../images/ppshitu_application_scenarios/Ball.jpg" height = "100"> |各种球类识别 | 0.9769 | [Balls](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Balls.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/balls-image-classification) |
+| 狗识别 | <img src="../../images/ppshitu_application_scenarios/DogBreeds.jpg" height = "100"> | 狗细分类识别，包括69种狗的图像 | 0.9606 | [DogBreeds](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/DogBreeds.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/70-dog-breedsimage-data-set) |
+| 宝石 | <img src="../../images/ppshitu_application_scenarios/Gemstones.jpg" height = "100"> | 宝石种类识别 | 0.9653 | [Gemstones](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Gemstones.tar) | [原数据下载地址](https://www.kaggle.com/datasets/lsind18/gemstones-images) |
+| 动物 | <img src="../../images/ppshitu_application_scenarios/AnimalImageDataset.jpg" height = "100"> |各种动物识别 | 0.9078 | [AnimalImageDataset](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/AnimalImageDataset.tar) | [原数据下载地址](https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals) |
+| 鸟类 | <img src="../../images/ppshitu_application_scenarios/Bird400.jpg" height = "100"> |鸟细分类识别，包括400种各种姿态的鸟类图像 | 0.9673 | [Bird400](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Bird400.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/100-bird-species) |
+| 交通工具 | <img src="../../images/ppshitu_application_scenarios/Vechicles.jpg" height = "100"> |车、船等交通工具粗分类识别 | 0.9307 | [Vechicles](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Vechicles.tar) | [原数据下载地址](https://www.kaggle.com/datasets/rishabkoul1/vechicle-dataset) |
+| 花 | <img src="../../images/ppshitu_application_scenarios/104flowers.jpeg" height = "100"> |104种花细分类识别 | 0.9788 | [104flowers](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/104flowrs.tar) | [原数据下载地址](https://www.kaggle.com/datasets/msheriey/104-flowers-garden-of-eden) |
+| 运动种类 | <img src="../../images/ppshitu_application_scenarios/100sports.jpg" height = "100"> |100种运动图像识别 | 0.9413 | [100sports](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/100sports.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/sports-classification) |
+| 乐器 | <img src="../../images/ppshitu_application_scenarios/MusicInstruments.jpg" height = "100"> |30种不同乐器种类识别 | 0.9467 | [MusicInstruments](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/MusicInstruments.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/musical-instruments-image-classification) |
+| 宝可梦 | <img src="../../images/ppshitu_application_scenarios/Pokemon.png" height = "100"> |宝可梦神奇宝贝识别 | 0.9236 | [Pokemon](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Pokemon.tar) | [原数据下载地址](https://www.kaggle.com/datasets/lantian773030/pokemonclassification) |
+| 船 | <img src="../../images/ppshitu_application_scenarios/Boat.jpg" height = "100"> |船种类识别 |0.9242 | [Boat](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Boat.tar) | [原数据下载地址](https://www.kaggle.com/datasets/imsparsh/dockship-boat-type-classification) |
+| 鞋子 | <img src="../../images/ppshitu_application_scenarios/Shoes.jpeg" height = "100"> |鞋子种类识别，包括靴子、拖鞋等 | 0.9000 | [Shoes](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Shoes.tar) | [原数据下载地址](https://www.kaggle.com/datasets/noobyogi0100/shoe-dataset) |
+| 巴黎建筑 | <img src="../../images/ppshitu_application_scenarios/Paris.jpg" height = "100"> |巴黎著名建筑景点识别，如：巴黎铁塔、圣母院等 | 1.000 | [Paris](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Paris.tar) | [原数据下载地址](https://www.kaggle.com/datasets/skylord/oxbuildings) |
+| 蝴蝶 | <img src="../../images/ppshitu_application_scenarios/Butterfly.jpg" height = "100"> |75种蝴蝶细分类识别 | 0.9360 | [Butterfly](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Butterfly.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/butterfly-images40-species) |
+| 野外植物 | <img src="../../images/ppshitu_application_scenarios/WildEdiblePlants.jpg" height = "100"> |野外植物识别 | 0.9758 | [WildEdiblePlants](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/WildEdiblePlants.tar) | [原数据下载地址](https://www.kaggle.com/datasets/ryanpartridge01/wild-edible-plants) |
+| 天气 | <img src="../../images/ppshitu_application_scenarios/WeatherImageRecognition.jpg" height = "100"> |各种天气场景识别，如：雨天、打雷、下雪等 | 0.9924 | [WeatherImageRecognition](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/WeatherImageRecognition.tar) | [原数据下载地址](https://www.kaggle.com/datasets/jehanbhathena/weather-dataset) |
+| 坚果 | <img src="../../images/ppshitu_application_scenarios/TreeNuts.jpg" height = "100"> |各种坚果种类识别 | 0.9412 | [TreeNuts](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/TreeNuts.tar) | [原数据下载地址](https://www.kaggle.com/datasets/gpiosenka/tree-nuts-image-classification) |
+| 时装 | <img src="../../images/ppshitu_application_scenarios/FashionProductsImage.jpg" height = "100"> |首饰、挎包、化妆品等时尚商品识别 | 0.9555 | [FashionProductImageSmall](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/FashionProductImageSmall.tar) | [原数据下载地址](https://www.kaggle.com/datasets/paramaggarwal/fashion-product-images-small) |
+| 垃圾 | <img src="../../images/ppshitu_application_scenarios/Garbage12.jpg" height = "100"> |12种垃圾分类识别 | 0.9845 | [Garbage12](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Garbage12.tar) | [原数据下载地址](https://www.kaggle.com/datasets/mostafaabla/garbage-classification) |
+| 航拍场景 | <img src="../../images/ppshitu_application_scenarios/AID.jpg" height = "100"> |各种航拍场景识别，如机场、火车站等 | 0.9797 | [AID](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/AID.tar) | [原数据下载地址](https://www.kaggle.com/datasets/jiayuanchengala/aid-scene-classification-datasets) |
+| 蔬菜 | <img src="../../images/ppshitu_application_scenarios/Veg200.jpg" height = "100"> |各种蔬菜识别 | 0.8929 | [Veg200](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Veg200.tar) | [原数据下载地址](https://www.kaggle.com/datasets/zhaoyj688/vegfru) |
+| 商标 | <img src="../../images/ppshitu_application_scenarios/Logo3K.jpg" height = "100"> |两千多种logo识别 | 0.9313 | [Logo3k](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/PP-ShiTuV2_application_dataset/Logo3k.tar) | [原数据下载地址](https://github.com/Wangjing1551/LogoDet-3K-Dataset) |
+
+
+
+<a name="2. 使用说明"></a>
+
+## 2. 使用说明
+
+<a name="2.1 环境配置"></a>
+
+### 2.1 环境配置
+- 安装：请先参考文档[环境准备](../installation/install_paddleclas.md)配置PaddleClas运行环境
+- 进入`deploy`运行目录，本部分所有内容与命令均需要在`deploy`目录下运行，可以通过下面命令进入`deploy`目录。
+```shell
+cd deploy
+```
+
+
+<a name="2.2 下载、解压场景库数据"></a>
+
+### 2.2 下载、解压场景库数据
+首先创建存放场景库的地址`deploy/datasets`:
+
+```shell
+mkdir datasets
+```
+下载并解压对应场景库到`deploy/datasets`中。
+```shell
+cd datasets
+
+# 下载并解压场景库数据
+wget {场景库下载链接} && tar -xf {压缩包的名称}
+```
+以`dataset_name`为例，解压完毕后，`datasets/dataset_name`文件夹下应有如下文件结构：
+```shel
+├── dataset_name/
+│   ├── Gallery/
+│   ├── Index/
+│   ├── Query/
+│   ├── gallery_list.txt/
+│   ├── query_list.txt/
+│   ├── label_list.txt/
+├── ...
+```
+其中，`Gallery`文件夹中存放的是用于构建索引库的原始图像，`Index`表示基于原始图像构建得到的索引库信息，`Query`文件夹存放的是用于检索的图像列表，`gallery_list.txt`和`query_list.txt`分别为索引库和检索图像的标签文件，`label_list.txt`是标签的中英文对照文件（注意：商标场景库文件不包含中英文对照文件）。
+
+<a name="2.3 准备识别模型"></a>
+
+### 2.3 准备模型
+创建存放模型的文件夹`deploy/models`，并下载轻量级主体检测、识别模型，命令如下：
+```shell
+cd ..
+mkdir models
+cd models
+
+# 下载检测模型并解压
+# wget {检测模型下载链接} && tar -xf {检测模型压缩包名称}
+wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar && tar -xf general_PPLCNetV2_base_pretrained_v1.0_infer.tar
+
+# 下载识别 inference 模型并解压
+#wget {识别模型下载链接} && tar -xf {识别模型压缩包名称}
+wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar && tar -xf picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
+```
+
+解压完成后，`models`文件夹下有如下文件结构：
+```
+├── inference_model_name
+│   ├── inference.pdiparams
+│   ├── inference.pdiparams.info
+│   └── inference.pdmodel
+└── det_model_name
+    ├── inference.pdiparams
+    ├── inference.pdiparams.info
+    └── inference.pdmodel
+```
+
+<a name="2.4 场景库识别与检索"></a>
+
+### 2.4 场景库识别与检索
+
+以`动物识别`场景为例，展示识别和检索过程（如果希望尝试其他场景库的识别与检索效果，在下载解压好对应的场景库数据和模型后，替换对应的配置文件即可完成预测）。
+
+注意，此部分使用了`faiss`作为检索库，安装方法如下：
+```shell
+pip install faiss-cpu==1.7.1post2
+```
+
+若使用时，不能正常引用，则`uninstall`之后，重新`install`，尤其是在windows下。
+
+<a name="2.4.1 识别单张图像"></a>
+
+#### 2.4.1 识别单张图像
+
+假设需要测试`./datasets/AnimalImageDataset/Query/羚羊/0a37838e99.jpg`这张图像识别和检索效果。
+
+首先分别修改配置文件`./configs/inference_general.yaml`中的`Global.det_inference_model_dir`和`Global.rec_inference_model_dir`字段为对应的检测和识别模型文件夹，以及修改测试图像地址字段`Global.infer_imgs`示例如下：
+
+```shell
+Global:
+  infer_imgs: './datasets/AnimalImageDataset/Query/羚羊/0a37838e99.jpg'
+  det_inference_model_dir: './models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar'
+  rec_inference_model_dir: './models/general_PPLCNetV2_base_pretrained_v1.0_infer.tar'
+```
+
+并修改配置文件`./configs/inference_general.yaml`中的`IndexProcess.index_dir`字段为对应场景index库地址：
+
+```shell
+IndexProcess:
+  index_dir:'./datasets/AnimalImageDataset/Index/'
+```
+
+
+运行下面的命令，对图像`./datasets/AnimalImageDataset/Query/羚羊/0a37838e99.jpg`进行识别与检索
+
+```shell
+# 使用下面的命令使用 GPU 进行预测
+python3.7 python/predict_system.py -c configs/inference_general.yaml
+
+# 使用下面的命令使用 CPU 进行预测
+python3.7 python/predict_system.py -c configs/inference_general.yaml -o Global.use_gpu=False
+```
+
+最终输出结果如下：
+```
+[{'bbox': [609, 70, 1079, 629], 'rec_docs': '羚羊', 'rec_scores': 0.6571544}]
+```
+其中`bbox`表示检测出的主体所在位置，`rec_docs`表示索引库中与检测框最为相似的类别，`rec_scores`表示对应的置信度。
+检测的可视化结果也保存在`output`文件夹下，对于本张图像，识别结果可视化如下所示。
+
+![](../../images/ppshitu_application_scenarios/systerm_result.jpg)
+
+<a name="2.4.2 基于文件夹的批量识别"></a>
+
+#### 2.4.2 基于文件夹的批量识别
+
+如果希望预测文件夹内的图像，可以直接修改配置文件中`Global.infer_imgs`字段，也可以通过下面的`-o`参数修改对应的配置。
+
+```shell
+# 使用下面的命令使用 GPU 进行预测，如果希望使用 CPU 预测，可以在命令后面添加 -o Global.use_gpu=False
+python3.7 python/predict_system.py -c configs/inference_general.yaml -o Global.infer_imgs="./datasets/AnimalImageDataset/Query/羚羊"
+```
+终端中会输出该文件夹内所有图像的识别结果，如下所示。
+```
+...
+[{'bbox': [0, 0, 1200, 675], 'rec_docs': '羚羊', 'rec_scores': 0.6153812}]
+[{'bbox': [0, 0, 275, 183], 'rec_docs': '羚羊', 'rec_scores': 0.77218026}]
+[{'bbox': [264, 79, 1088, 850], 'rec_docs': '羚羊', 'rec_scores': 0.81452656}]
+[{'bbox': [0, 0, 188, 268], 'rec_docs': '羚羊', 'rec_scores': 0.637074}]
+[{'bbox': [118, 41, 235, 161], 'rec_docs': '羚羊', 'rec_scores': 0.67315465}]
+[{'bbox': [0, 0, 175, 287], 'rec_docs': '羚羊', 'rec_scores': 0.68271667}]
+[{'bbox': [0, 0, 310, 163], 'rec_docs': '羚羊', 'rec_scores': 0.6706451}]
+...
+```
+所有图像的识别结果可视化图像也保存在`output`文件夹内。

docs/zh_CN/models/LeViT.md

@@ -18,7 +18,7 @@ LeViT 是一种快速推理的、用于图像分类任务的混合神经网络
 | Models           | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPS<br>(M) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
 | LeViT-128S | 0.7598 | 0.9269 | 0.766 | 0.929 | 305  | 7.8 |
-| LeViT-128  | 0.7810 | 0.9371 | 0.786 | 0.940 | 406  | 9.2 |
+| LeViT-128  | 0.7810 | 0.9372 | 0.786 | 0.940 | 406  | 9.2 |
 | LeViT-192  | 0.7934 | 0.9446 | 0.800 | 0.947 | 658  | 11 |
 | LeViT-256  | 0.8085 | 0.9497 | 0.816 | 0.954 | 1120 | 19 |
 | LeViT-384  | 0.8191 | 0.9551 | 0.826 | 0.960 | 2353 | 39 |

docs/zh_CN/models/PP-LCNetV2.md

@@ -57,7 +57,7 @@ PP-LCNetV2 模型的网络整体结构如上图所示。PP-LCNetV2 模型是在
 
 ### 1.2.1 Rep 策略
 
-卷积核的大小决定了卷积层感受野的大小，通过组合使用不同大小的卷积核，能够获取不同尺度的特征，因此 PPLCNetV2 在 Stage3、Stage4 中，在同一层组合使用 kernel size 分别为 5、3、1 的 DW 卷积，同时为了避免对模型效率的影响，使用重参数化（Re parameterization，Rep）策略对同层的 DW 卷积进行融合，如下图所示。
+卷积核的大小决定了卷积层感受野的大小，通过组合使用不同大小的卷积核，能够获取不同尺度的特征，因此 PPLCNetV2 在 Stage4、Stage5 中，在同一层组合使用 kernel size 分别为 5、3、1 的 DW 卷积，同时为了避免对模型效率的影响，使用重参数化（Re parameterization，Rep）策略对同层的 DW 卷积进行融合，如下图所示。
 
 ![](../../images/PP-LCNetV2/rep.png)
 
@@ -65,7 +65,7 @@ PP-LCNetV2 模型的网络整体结构如上图所示。PP-LCNetV2 模型是在
 
 ### 1.2.2 PW 卷积
 
-深度可分离卷积通常由一层 DW 卷积和一层 PW 卷积组成，用以替换标准卷积，为了使深度可分离卷积具有更强的拟合能力，我们尝试使用两层 PW 卷积，同时为了控制模型效率不受影响，两层 PW 卷积设置为：第一个在通道维度对特征图压缩，第二个再通过放大还原特征图通道，如下图所示。通过实验发现，该策略能够显著提高模型性能，同时为了平衡对模型效率带来的影响，PPLCNetV2 仅在 Stage4、Stage5 中使用了该策略。
+深度可分离卷积通常由一层 DW 卷积和一层 PW 卷积组成，用以替换标准卷积，为了使深度可分离卷积具有更强的拟合能力，我们尝试使用两层 PW 卷积，同时为了控制模型效率不受影响，两层 PW 卷积设置为：第一个在通道维度对特征图压缩，第二个再通过放大还原特征图通道，如下图所示。通过实验发现，该策略能够显著提高模型性能，同时为了平衡对模型效率带来的影响，PPLCNetV2 仅在 Stage4 中使用了该策略。
 
 ![](../../images/PP-LCNetV2/split_pw.png)
 
@@ -73,7 +73,7 @@ PP-LCNetV2 模型的网络整体结构如上图所示。PP-LCNetV2 模型是在
 
 ### 1.2.3 Shortcut
 
-残差结构（residual）自提出以来，被诸多模型广泛使用，但在轻量级卷积神经网络中，由于残差结构所带来的元素级（element-wise）加法操作，会对模型的速度造成影响，我们在 PP-LCNetV2 中，以 Stage 为单位实验了 残差结构对模型的影响，发现残差结构的使用并非一定会带来性能的提高，因此 PPLCNetV2 仅在最后一个 Stage 中的使用了残差结构：在 Block 中增加 Shortcut，如下图所示。
+残差结构（residual）自提出以来，被诸多模型广泛使用，但在轻量级卷积神经网络中，由于残差结构所带来的元素级（element-wise）加法操作，会对模型的速度造成影响，我们在 PP-LCNetV2 中，以 Stage 为单位实验了残差结构对模型的影响，发现残差结构的使用并非一定会带来性能的提高，因此 PPLCNetV2 仅在最后一个 Stage 中的使用了残差结构：在 Block 中增加 Shortcut，如下图所示。
 
 ![](../../images/PP-LCNetV2/shortcut.png)
 
@@ -87,7 +87,7 @@ PP-LCNetV2 模型的网络整体结构如上图所示。PP-LCNetV2 模型是在
 
 ### 1.2.5 SE 模块
 
-虽然 SE 模块能够显著提高模型性能，但其对模型速度的影响同样不可忽视，在 PP-LCNetV1 中，我们发现在模型中后部使用 SE 模块能够获得最大化的收益。在 PP-LCNetV2 的优化过程中，我们以 Stage 为单位对 SE 模块的位置做了进一步实验，并发现在 Stage3 中使用能够取得更好的平衡。
+虽然 SE 模块能够显著提高模型性能，但其对模型速度的影响同样不可忽视，在 PP-LCNetV1 中，我们发现在模型中后部使用 SE 模块能够获得最大化的收益。在 PP-LCNetV2 的优化过程中，我们以 Stage 为单位对 SE 模块的位置做了进一步实验，并发现在 Stage4 中使用能够取得更好的平衡。
 
 <a name="1.3"></a>
 

docs/zh_CN/models/PVTV2.md

@@ -18,10 +18,10 @@ PVTV2 是 VisionTransformer 系列模型，该模型基于 PVT（Pyramid Vision
 
 | Models           | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPS<br>(G) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
-| PVT_V2_B0 | 0.705 | 0.902 | 0.705 | - | 0.53 | 3.7 |
-| PVT_V2_B1 | 0.787 | 0.945 | 0.787 | - | 2.0 | 14.0 |
-| PVT_V2_B2 | 0.821 | 0.960 | 0.820 | - | 3.9 | 25.4 |
-| PVT_V2_B3 | 0.831 | 0.965 | 0.831 | - | 6.7 | 45.2 |
-| PVT_V2_B4 | 0.836 | 0.967 | 0.836 | - | 9.8 | 62.6 |
-| PVT_V2_B5 | 0.837 | 0.966 | 0.838 | - | 11.4 | 82.0 |
-| PVT_V2_B2_Linear | 0.821 | 0.961 | 0.821 | - | 3.8 | 22.6 |
+| PVT_V2_B0 | 0.7052 | 0.9016 | 0.705 | - | 0.53 | 3.7 |
+| PVT_V2_B1 | 0.7869 | 0.9450 | 0.787 | - | 2.0 | 14.0 |
+| PVT_V2_B2 | 0.8206 | 0.9599 | 0.820 | - | 3.9 | 25.4 |
+| PVT_V2_B3 | 0.8310 | 0.9648 | 0.831 | - | 6.7 | 45.2 |
+| PVT_V2_B4 | 0.8361 | 0.9666 | 0.836 | - | 9.8 | 62.6 |
+| PVT_V2_B5 | 0.8374 | 0.9662 | 0.838 | - | 11.4 | 82.0 |
+| PVT_V2_B2_Linear | 0.8205 | 0.9605 | 0.820 | - | 3.8 | 22.6 |

docs/zh_CN/models/SwinTransformer.md

@@ -33,19 +33,17 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算
 
 | Models           | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPs<br>(G) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
-| SwinTransformer_tiny_patch4_window7_224    | 0.8069 | 0.9534 | 0.812 | 0.955 | 4.5  | 28   |
-| SwinTransformer_small_patch4_window7_224   | 0.8275 | 0.9613 | 0.832 | 0.962 | 8.7  | 50   |
-| SwinTransformer_base_patch4_window7_224    | 0.8300 | 0.9626 | 0.835 | 0.965 | 15.4 | 88   |
-| SwinTransformer_base_patch4_window12_384   | 0.8439 | 0.9693 | 0.845 | 0.970 | 47.1 | 88   |
-| SwinTransformer_base_patch4_window7_224<sup>[1]</sup>    | 0.8487 | 0.9746 | 0.852 | 0.975 | 15.4 | 88   |
-| SwinTransformer_base_patch4_window12_384<sup>[1]</sup>   | 0.8642 | 0.9807 | 0.864 | 0.980 | 47.1 | 88   |
-| SwinTransformer_large_patch4_window7_224<sup>[1]</sup>   | 0.8596 | 0.9783 | 0.863 | 0.979 | 34.5 | 197 |
-| SwinTransformer_large_patch4_window12_384<sup>[1]</sup>  | 0.8719 | 0.9823 | 0.873 | 0.982 | 103.9 | 197 |
+| SwinTransformer_tiny_patch4_window7_224    | 0.8110 | 0.9549 | 0.812 | 0.955 | 4.5  | 28   |
+| SwinTransformer_small_patch4_window7_224   | 0.8321 | 0.9622 | 0.832 | 0.962 | 8.7  | 50   |
+| SwinTransformer_base_patch4_window7_224    | 0.8337 | 0.9643 | 0.835 | 0.965 | 15.4 | 88   |
+| SwinTransformer_base_patch4_window12_384   | 0.8417 | 0.9674 | 0.845 | 0.970 | 47.1 | 88   |
+| SwinTransformer_base_patch4_window7_224<sup>[1]</sup>    | 0.8516 | 0.9748 | 0.852 | 0.975 | 15.4 | 88   |
+| SwinTransformer_base_patch4_window12_384<sup>[1]</sup>   | 0.8634 | 0.9798 | 0.864 | 0.980 | 47.1 | 88   |
+| SwinTransformer_large_patch4_window7_224<sup>[1]</sup>   | 0.8619 | 0.9788 | 0.863 | 0.979 | 34.5 | 197 |
+| SwinTransformer_large_patch4_window12_384<sup>[1]</sup>  | 0.8706 | 0.9814 | 0.873 | 0.982 | 103.9 | 197 |
 
 [1]：基于 ImageNet22k 数据集预训练，然后在 ImageNet1k 数据集迁移学习得到。
 
-**注**：与 Reference 的精度差异源于数据预处理不同。
-
 <a name='3'></a>
 
 ### 1.3 Benchmark
@@ -68,14 +66,14 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算
 **备注：** 精度类型为 FP32，推理过程使用 TensorRT。
 
 
-<a name="2"></a>   
-    
+<a name="2"></a>  
+
 ## 2. 模型快速体验
 
 安装 paddlepaddle 和 paddleclas 即可快速对图片进行预测，体验方法可以参考[ResNet50 模型快速体验](./ResNet.md#2-模型快速体验)。
 
-<a name="3"></a> 
-    
+<a name="3"></a>
+
 ## 3. 模型训练、评估和预测
 
 
@@ -83,52 +81,51 @@ Swin Transformer 是一种新的视觉 Transformer 网络，可以用作计算
 
 **备注：** 由于 SwinTransformer 系列模型默认使用的 GPU 数量为 8 个，所以在训练时，需要指定8个GPU，如`python3 -m paddle.distributed.launch --gpus="0,1,2,3,4,5,6,7" tools/train.py -c xxx.yaml`, 如果使用 4 个 GPU 训练，默认学习率需要减小一半，精度可能有损。
 
-    
+
 <a name="4"></a>
 
 ## 4. 模型推理部署
 
-<a name="4.1"></a> 
+<a name="4.1"></a>
 
 ### 4.1 推理模型准备
 
 Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力。相比于直接基于预训练模型进行预测，Paddle Inference可使用 MKLDNN、CUDNN、TensorRT 进行预测加速，从而实现更优的推理性能。更多关于Paddle Inference推理引擎的介绍，可以参考[Paddle Inference官网教程](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/infer/inference/inference_cn.html)。
-    
+
 Inference 的获取可以参考 [ResNet50 推理模型准备](./ResNet.md#41-推理模型准备) 。
 
-<a name="4.2"></a> 
+<a name="4.2"></a>
 
 ### 4.2 基于 Python 预测引擎推理
 
 PaddleClas 提供了基于 python 预测引擎推理的示例。您可以参考[ResNet50 基于 Python 预测引擎推理](./ResNet.md#42-基于-python-预测引擎推理) 对 SwinTransformer 完成推理预测。
 
-<a name="4.3"></a> 
+<a name="4.3"></a>
 
 ### 4.3 基于 C++ 预测引擎推理
 
 PaddleClas 提供了基于 C++ 预测引擎推理的示例，您可以参考[服务器端 C++ 预测](../inference_deployment/cpp_deploy.md)来完成相应的推理部署。如果您使用的是 Windows 平台，可以参考[基于 Visual Studio 2019 Community CMake 编译指南](../inference_deployment/cpp_deploy_on_windows.md)完成相应的预测库编译和模型预测工作。
 
-<a name="4.4"></a> 
+<a name="4.4"></a>
 
 ### 4.4 服务化部署
 
 Paddle Serving 提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议，提供多种异构硬件和多种操作系统环境下推理解决方案。更多关于Paddle Serving 的介绍，可以参考[Paddle Serving 代码仓库](https://github.com/PaddlePaddle/Serving)。
-    
+
 PaddleClas 提供了基于 Paddle Serving 来完成模型服务化部署的示例，您可以参考[模型服务化部署](../inference_deployment/paddle_serving_deploy.md)来完成相应的部署工作。
 
-<a name="4.5"></a> 
+<a name="4.5"></a>
 
 ### 4.5 端侧部署
 
 Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位于支持包括移动端、嵌入式以及服务器端在内的多硬件平台。更多关于 Paddle Lite 的介绍，可以参考[Paddle Lite 代码仓库](https://github.com/PaddlePaddle/Paddle-Lite)。
-    
+
 PaddleClas 提供了基于 Paddle Lite 来完成模型端侧部署的示例，您可以参考[端侧部署](../inference_deployment/paddle_lite_deploy.md)来完成相应的部署工作。
 
-<a name="4.6"></a> 
+<a name="4.6"></a>
 
 ### 4.6 Paddle2ONNX 模型转换与预测
-    
+
 Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。更多关于 Paddle2ONNX 的介绍，可以参考[Paddle2ONNX 代码仓库](https://github.com/PaddlePaddle/Paddle2ONNX)。
 
 PaddleClas 提供了基于 Paddle2ONNX 来完成 inference 模型转换 ONNX 模型并作推理预测的示例，您可以参考[Paddle2ONNX 模型转换与预测](@shuilong)来完成相应的部署工作。
-

docs/zh_CN/models/Twins.md

@@ -17,14 +17,12 @@ Twins 网络包括 Twins-PCPVT 和 Twins-SVT，其重点对空间注意力机制
 
 | Models        | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPs<br>(G) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
-| pcpvt_small   | 0.8082 | 0.9552 | 0.812 | - | 3.7 | 24.1   |
-| pcpvt_base    | 0.8242 | 0.9619 | 0.827 | - | 6.4 | 43.8   |
-| pcpvt_large   | 0.8273 | 0.9650 | 0.831 | - | 9.5 | 60.9   |
-| alt_gvt_small | 0.8140 | 0.9546 | 0.817 | - | 2.8  | 24   |
-| alt_gvt_base  | 0.8294 | 0.9621 | 0.832 | - | 8.3  | 56   |
-| alt_gvt_large | 0.8331 | 0.9642 | 0.837 | - | 14.8 | 99.2   |
-
-**注**：与 Reference 的精度差异源于数据预处理不同。
+| pcpvt_small   | 0.8115 | 0.9567 | 0.812 | - | 3.7 | 24.1   |
+| pcpvt_base    | 0.8268 | 0.9627 | 0.827 | - | 6.4 | 43.8   |
+| pcpvt_large   | 0.8306 | 0.9659 | 0.831 | - | 9.5 | 60.9   |
+| alt_gvt_small | 0.8177 | 0.9557 | 0.817 | - | 2.8  | 24   |
+| alt_gvt_base  | 0.8315 | 0.9629 | 0.832 | - | 8.3  | 56   |
+| alt_gvt_large | 0.8364 | 0.9651 | 0.837 | - | 14.8 | 99.2   |
 
 <a name='3'></a>
 

docs/zh_CN/models/ViT_and_DeiT.md

@@ -21,27 +21,25 @@ DeiT（Data-efficient Image Transformers）系列模型是由 FaceBook 在 2020
 
 | Models           | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPS<br>(G) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
-| ViT_small_patch16_224 | 0.7769 | 0.9342 | 0.7785 | 0.9342 | 9.41 | 48.60 |
-| ViT_base_patch16_224  | 0.8195 | 0.9617 | 0.8178 | 0.9613 | 16.85 | 86.42 |
+| ViT_small_patch16_224 | 0.7553 | 0.9211 | 0.7785 | 0.9342 | 9.41 | 48.60 |
+| ViT_base_patch16_224  | 0.8187 | 0.9618 | 0.8178 | 0.9613 | 16.85 | 86.42 |
 | ViT_base_patch16_384  | 0.8414 | 0.9717 | 0.8420 | 0.9722 | 49.35 | 86.42 |
 | ViT_base_patch32_384  | 0.8176 | 0.9613 | 0.8166 | 0.9613 | 12.66 | 88.19 |
-| ViT_large_patch16_224 | 0.8323 | 0.9650 | 0.8306 | 0.9644 | 59.65 | 304.12 |
+| ViT_large_patch16_224 | 0.8303 | 0.9655 | 0.8306 | 0.9644 | 59.65 | 304.12 |
 | ViT_large_patch16_384 | 0.8513 | 0.9736 | 0.8517 | 0.9736 | 174.70 | 304.12 |
 | ViT_large_patch32_384 | 0.8153 | 0.9608 | 0.815  | -      | 44.24 | 306.48 |
 
 
 | Models           | Top1 | Top5 | Reference<br>top1 | Reference<br>top5 | FLOPS<br>(G) | Params<br>(M) |
 |:--:|:--:|:--:|:--:|:--:|:--:|:--:|
-| DeiT_tiny_patch16_224            | 0.718 | 0.910 | 0.722 | 0.911 | 1.07 | 5.68 |
-| DeiT_small_patch16_224           | 0.796 | 0.949 | 0.799 | 0.950 | 4.24 | 21.97 |
-| DeiT_base_patch16_224            | 0.817 | 0.957 | 0.818 | 0.956 | 16.85 | 86.42 |
-| DeiT_base_patch16_384            | 0.830 | 0.962 | 0.829 | 0.972 | 49.35 | 86.42 |
-| DeiT_tiny_distilled_patch16_224  | 0.741 | 0.918 | 0.745 | 0.919 | 1.08 | 5.87 |
-| DeiT_small_distilled_patch16_224 | 0.809 | 0.953 | 0.812 | 0.954 | 4.26 | 22.36 |
-| DeiT_base_distilled_patch16_224  | 0.831 | 0.964 | 0.834 | 0.965 | 16.93 | 87.18 |
-| DeiT_base_distilled_patch16_384  | 0.851 | 0.973 | 0.852 | 0.972 | 49.43 | 87.18 |
-
-关于 Params、FLOPs、Inference speed 等信息，敬请期待。
+| DeiT_tiny_patch16_224            | 0.7208 | 0.9112 | 0.722 | 0.911 | 1.07 | 5.68 |
+| DeiT_small_patch16_224           | 0.7982 | 0.9495 | 0.799 | 0.950 | 4.24 | 21.97 |
+| DeiT_base_patch16_224            | 0.8180 | 0.9558 | 0.818 | 0.956 | 16.85 | 86.42 |
+| DeiT_base_patch16_384            | 0.8289 | 0.9624 | 0.829 | 0.972 | 49.35 | 86.42 |
+| DeiT_tiny_distilled_patch16_224  | 0.7449 | 0.9192 | 0.745 | 0.919 | 1.08 | 5.87 |
+| DeiT_small_distilled_patch16_224 | 0.8117 | 0.9538 | 0.812 | 0.954 | 4.26 | 22.36 |
+| DeiT_base_distilled_patch16_224  | 0.8330 | 0.9647 | 0.834 | 0.965 | 16.93 | 87.18 |
+| DeiT_base_distilled_patch16_384  | 0.8520 | 0.9720 | 0.852 | 0.972 | 49.43 | 87.18 |
 
 <a name='3'></a>
 
@@ -67,4 +65,3 @@ DeiT（Data-efficient Image Transformers）系列模型是由 FaceBook 在 2020
 | DeiT_small_<br>distilled_patch16_224 | 256       | 224               | 3.70                           | 6.20                           | 10.53                          |
 | DeiT_base_<br>distilled_patch16_224  | 256       | 224               | 6.17                           | 14.94                          | 28.58                          |
 | DeiT_base_<br>distilled_patch16_384  | 384       | 384               | 14.12                          | 48.76                          | 97.09                          |
-

ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml

@@ -23,7 +23,7 @@ Arch:
   infer_output_key: features
   infer_add_softmax: False
 
-  Backbone: 
+  Backbone:
     name: PPLCNet_x2_5
     pretrained: True
     use_ssld: True
@@ -34,7 +34,7 @@ Arch:
     embedding_size: 1280
     class_num: 512
   Head:
-    name: ArcMargin 
+    name: ArcMargin
     embedding_size: 512
     class_num: 185341
     margin: 0.2
@@ -57,10 +57,9 @@ Optimizer:
     learning_rate: 0.04
     warmup_epoch: 5
   regularizer:
-    name: 'L2'
+    name: "L2"
     coeff: 0.00001
 
-
 # data loader for train and eval
 DataLoader:
   Train:
@@ -80,7 +79,7 @@ DataLoader:
             scale: 1.0/255.0
             mean: [0.485, 0.456, 0.406]
             std: [0.229, 0.224, 0.225]
-            order: ''
+            order: ""
 
     sampler:
       name: DistributedBatchSampler
@@ -93,7 +92,7 @@ DataLoader:
 
   Eval:
     Query:
-      dataset: 
+      dataset:
         name: VeriWild
         image_root: ./dataset/Aliproduct/
         cls_label_path: ./dataset/Aliproduct/val_list.txt
@@ -107,7 +106,7 @@ DataLoader:
               scale: 0.00392157
               mean: [0.485, 0.456, 0.406]
               std: [0.229, 0.224, 0.225]
-              order: ''
+              order: ""
       sampler:
         name: DistributedBatchSampler
         batch_size: 64
@@ -118,7 +117,7 @@ DataLoader:
         use_shared_memory: True
 
     Gallery:
-      dataset: 
+      dataset:
         name: VeriWild
         image_root: ./dataset/Aliproduct/
         cls_label_path: ./dataset/Aliproduct/val_list.txt
@@ -132,7 +131,7 @@ DataLoader:
               scale: 0.00392157
               mean: [0.485, 0.456, 0.406]
               std: [0.229, 0.224, 0.225]
-              order: ''
+              order: ""
       sampler:
         name: DistributedBatchSampler
         batch_size: 64
@@ -146,3 +145,4 @@ Metric:
   Eval:
     - Recallk:
         topk: [1, 5]
+    - mAP: {}

ppcls/configs/quick_start/MobileNetV1_retrieval.yaml

@@ -20,8 +20,8 @@ Arch:
   name: RecModel
   infer_output_key: features
   infer_add_softmax: False
-  
-  Backbone: 
+
+  Backbone:
     name: MobileNetV1
     pretrained: False
   BackboneStopLayer:
@@ -31,12 +31,12 @@ Arch:
     embedding_size: 1024
     class_num: 512
   Head:
-    name: ArcMargin  
+    name: ArcMargin
     embedding_size: 512
     class_num: 101
     margin: 0.15
     scale: 30
-   
+
 # loss function config for traing/eval process
 Loss:
   Train:
@@ -60,7 +60,7 @@ Optimizer:
     verbose: False
     last_epoch: -1
   regularizer:
-    name: 'L2'
+    name: "L2"
     coeff: 0.0005
 
 # data loader for train and eval
@@ -82,7 +82,7 @@ DataLoader:
             scale: 0.00392157
             mean: [0.485, 0.456, 0.406]
             std: [0.229, 0.224, 0.225]
-            order: ''
+            order: ""
         - RandomErasing:
             EPSILON: 0.5
             sl: 0.02
@@ -98,10 +98,10 @@ DataLoader:
     loader:
       num_workers: 4
       use_shared_memory: True
-      
+
   Eval:
     Query:
-      dataset: 
+      dataset:
         name: VeriWild
         image_root: ./dataset/CUB_200_2011/
         cls_label_path: ./dataset/CUB_200_2011/test_list.txt
@@ -115,7 +115,7 @@ DataLoader:
               scale: 0.00392157
               mean: [0.485, 0.456, 0.406]
               std: [0.229, 0.224, 0.225]
-              order: ''
+              order: ""
       sampler:
         name: DistributedBatchSampler
         batch_size: 64
@@ -126,7 +126,7 @@ DataLoader:
         use_shared_memory: True
 
     Gallery:
-      dataset: 
+      dataset:
         name: VeriWild
         image_root: ./dataset/CUB_200_2011/
         cls_label_path: ./dataset/CUB_200_2011/test_list.txt
@@ -140,7 +140,7 @@ DataLoader:
               scale: 1.0/255.0
               mean: [0.485, 0.456, 0.406]
               std: [0.229, 0.224, 0.225]
-              order: ''
+              order: ""
       sampler:
         name: DistributedBatchSampler
         batch_size: 64
@@ -155,4 +155,3 @@ Metric:
     - Recallk:
         topk: [1, 5]
     - mAP: {}
-

ppcls/data/__init__.py

@@ -72,7 +72,12 @@ def build_dataloader(config, mode, device, use_dali=False, seed=None):
     # build dataset
     if use_dali:
         from ppcls.data.dataloader.dali import dali_dataloader
-        return dali_dataloader(config, mode, paddle.device.get_device(), seed)
+        return dali_dataloader(
+            config,
+            mode,
+            paddle.device.get_device(),
+            num_threads=config[mode]['loader']["num_workers"],
+            seed=seed)
 
     class_num = config.get("class_num", None)
     config_dataset = config[mode]['dataset']

ppcls/data/dataloader/dali.py

@@ -143,7 +143,7 @@ class HybridValPipe(Pipeline):
         return self.epoch_size("Reader")
 
 
-def dali_dataloader(config, mode, device, seed=None):
+def dali_dataloader(config, mode, device, num_threads=4, seed=None):
     assert "gpu" in device, "gpu training is required for DALI"
     device_id = int(device.split(':')[1])
     config_dataloader = config[mode]
@@ -248,6 +248,7 @@ def dali_dataloader(config, mode, device, seed=None):
                 device_id,
                 shard_id,
                 num_shards,
+                num_threads=num_threads,
                 seed=seed + shard_id,
                 pad_output=pad_output,
                 output_dtype=output_dtype)
@@ -270,6 +271,7 @@ def dali_dataloader(config, mode, device, seed=None):
                 device_id=device_id,
                 shard_id=0,
                 num_shards=1,
+                num_threads=num_threads,
                 seed=seed,
                 pad_output=pad_output,
                 output_dtype=output_dtype)
@@ -298,6 +300,7 @@ def dali_dataloader(config, mode, device, seed=None):
                 device_id=device_id,
                 shard_id=shard_id,
                 num_shards=num_shards,
+                num_threads=num_threads,
                 pad_output=pad_output,
                 output_dtype=output_dtype)
         else:
@@ -311,6 +314,7 @@ def dali_dataloader(config, mode, device, seed=None):
                 mean,
                 std,
                 device_id=device_id,
+                num_threads=num_threads,
                 pad_output=pad_output,
                 output_dtype=output_dtype)
         pipe.build()