提交 fcdc94c6 编写于 作者: 悟、's avatar 悟、 提交者: zengshao0622

add shitu pipeline evaluation doc

上级 b61da414
# PP-ShiTu Pipeline评估
## 目录
- [1. 模型准备](#1-模型准备)
- [2. 数据集准备](#2-数据集准备)
- [3. 模型评估](#3-模型评估)
<a name="1. 模型准备"></a>
## 1. 模型准备
创建存放模型的文件夹`deploy/models`,并下载轻量级主体检测、识别模型,命令如下:
```shell
cd deploy
mkdir models
cd models
# 下载检测模型并解压
# wget {检测模型下载链接} && tar -xf {检测模型压缩包名称}
wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar && tar -xf general_PPLCNetV2_base_pretrained_v1.0_infer.tar
# 下载识别 inference 模型并解压
#wget {识别模型下载链接} && tar -xf {识别模型压缩包名称}
wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar && tar -xf picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar
```
解压完成后,`models`文件夹下有如下文件结构:
```
├── inference_model_name
│ ├── inference.pdiparams
│ ├── inference.pdiparams.info
│ └── inference.pdmodel
└── det_model_name
├── inference.pdiparams
├── inference.pdiparams.info
└── inference.pdmodel
```
<a name="2. 数据集准备"></a>
## 2. 数据集准备
### 2.1 使用官方场景库数据
官方场景库介绍以及数据集下载详见[场景库应用](./application_scenarios.md)。以交通工具场景库为例,下载并解压完成后,`datasets/Vechicles`文件夹下应有如下文件结构:
```shel
├── Vechicles/
│ ├── Gallery/
│ ├── Index/
│ ├── Query/
│ ├── gallery_list.txt/
│ ├── query_list.txt/
│ └── label_list.txt/
└── ...
```
其中,`Gallery`文件夹中存放的是用于构建索引库的原始图像,`Index`表示基于原始图像构建得到的索引库信息,`Query`文件夹存放的是用于检索的图像列表,`gallery_list.txt``query_list.txt`分别为索引库和检索图像的标签文件,`label_list.txt`是标签的中英文对照文件。
### 2.2 准备迁移应用的数据集
如果测试模型在迁移应用的具体数据上的识别精度,需要准备对应的数据。迁移应用的具体数据集数据量根据实际情况收集,尽量避免数据过少;将收集的数据分为两部分:建库图像(gallery)和测试图像(query)。其中,建库数据数据量无需过多,但需要保证每个类别图像包含该类别物体的各种外观情况(不同角度、形状等)。
收集并划分好建库图像和测试图像后,需要生成对应的真值文件(`gallery_list.txt``query_list.txt`),真值文件格式如下:
```
# 每一行采用“空格”分割图像路径与标签
image_path_1 label_1
image_path_2 label_1
image_path_3 label_1
image_path_4 label_2
...
```
<a name="3. 模型评估"></a>
## 3. 模型评估
模型评估配置文件详见:`./deploy/configs/evaluation_general.yaml`
配置文件部分字段说明如下:
```
Global.det_inference_model_dir 检测模型地址
Global.rec_inference_model_dir 识别模型地址
Eval.name 评测数据集名称
Eval.image_root 评测数据集query图像地址
Eval.cls_label_path 评测数据集query_list.txt地址
Eval.output_dir 评测结果保存地址
IndexProcess.image_root 评测数据集gallery图像地址
IndexProcess.index_dir 评测数据集index保存地址
IndexProcess.data_file 评测数据集gallery_list.txt地址
```
**注意**:如果使用官方场景库数据,评测数据集index保存地址`IndexProcess.index_dir`需要与官方提供的`datasets_name/Index`文件夹区分开。
以交通工具场景数据集`Vechicles`为例,运行以下命令进行模型评估:
```python
cd deploy
python python/eval_shitu_pipeline.py -c ./configs/evaluation_general.yaml \
-o Global.det_inference_model_dir=./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer \
-o Global.rec_inference_model_dir=./models/general_PPLCNetV2_base_pretrained_v1.0_infer \
-o Eval.image_root=./datasets/Vechicles \
-o Eval.cls_label_path=./datasets/Vechicles/query_list.txt \
-o Eval.output_dir=./datasets/Vechicles/eval_out \
-o IndexProcess.image_root=./datasets/Vechicles \
-o IndexProcess.index_dir=./datasets/Vechicles/test_index \
-o IndexProcess.data_file=./datasets/Vechicles/gallery_list.txt
```
输出结果如下:
```shell
...
recal_1: 0.9400
recal_2: 0.9800
recal_3: 0.9900
recal_4: 1.0000
recal_5: 1.0000
```
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册