Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
11ebb4d1
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
11ebb4d1
编写于
5月 31, 2022
作者:
C
cuicheng01
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update person_exits docs and configs
上级
e894fa86
变更
11
隐藏空白更改
内联
并排
Showing
11 changed file
with
171 addition
and
102 deletion
+171
-102
deploy/configs/PULC/person_exists/inference_person_cls.yaml
deploy/configs/PULC/person_exists/inference_person_cls.yaml
+2
-2
deploy/images/PULC/person_exists/objects365_01780782.jpg
deploy/images/PULC/person_exists/objects365_01780782.jpg
+0
-0
deploy/images/PULC/person_exists/objects365_02035329.jpg
deploy/images/PULC/person_exists/objects365_02035329.jpg
+0
-0
docs/images/PULC/docs/person_exists_data_demo.png
docs/images/PULC/docs/person_exists_data_demo.png
+0
-0
docs/zh_CN/PULC/PULC_person_cls.md
docs/zh_CN/PULC/PULC_person_cls.md
+124
-95
ppcls/configs/PULC/person_exists/MobileNetV3_large_x1_0.yaml
ppcls/configs/PULC/person_exists/MobileNetV3_large_x1_0.yaml
+1
-1
ppcls/configs/PULC/person_exists/PPLCNet_x1_0.yaml
ppcls/configs/PULC/person_exists/PPLCNet_x1_0.yaml
+1
-1
ppcls/configs/PULC/person_exists/PPLCNet_x1_0_distillation.yaml
...configs/PULC/person_exists/PPLCNet_x1_0_distillation.yaml
+1
-1
ppcls/configs/PULC/person_exists/PPLCNet_x1_0_search.yaml
ppcls/configs/PULC/person_exists/PPLCNet_x1_0_search.yaml
+1
-1
ppcls/configs/PULC/person_exists/SwinTransformer_tiny_patch4_window7_224.yaml
...erson_exists/SwinTransformer_tiny_patch4_window7_224.yaml
+1
-1
ppcls/configs/PULC/person_exists/search.yaml
ppcls/configs/PULC/person_exists/search.yaml
+40
-0
未找到文件。
deploy/configs/PULC/person/inference_person_cls.yaml
→
deploy/configs/PULC/person
_exists
/inference_person_cls.yaml
浏览文件 @
11ebb4d1
Global
:
infer_imgs
:
"
./images/PULC/person/objects365_02035329.jpg"
inference_model_dir
:
"
./models/person_
cl
s_infer"
infer_imgs
:
"
./images/PULC/person
_exists
/objects365_02035329.jpg"
inference_model_dir
:
"
./models/person_
exist
s_infer"
batch_size
:
1
use_gpu
:
True
enable_mkldnn
:
False
...
...
deploy/images/PULC/person/objects365_01780782.jpg
→
deploy/images/PULC/person
_exists
/objects365_01780782.jpg
浏览文件 @
11ebb4d1
文件已移动
deploy/images/PULC/person/objects365_02035329.jpg
→
deploy/images/PULC/person
_exists
/objects365_02035329.jpg
浏览文件 @
11ebb4d1
文件已移动
docs/images/PULC/docs/person_exists_data_demo.png
0 → 100644
浏览文件 @
11ebb4d1
1.1 MB
docs/zh_CN/PULC/PULC_person_cls.md
浏览文件 @
11ebb4d1
# P
addleClas构建有人/无人分类案例
# P
ULC 有人/无人分类模型
此处提供了用户使用 PaddleClas
快速构建轻量级、高精度、可落地的有人/无人的分类模型教程,主要基于有人/无人场景的数据,融合了轻量级骨干网络PPLCNet、SSLD预训练权重、EDA数据增强策略、SKL-UGI知识蒸馏策略、SHAS
超参数搜索策略,得到精度高、速度快、易于部署的二分类模型。
此处提供了用户使用 PaddleClas
的 PULC 方法快速构建轻量级、高精度、可落地的有人/无人的分类模型教程,主要基于有人/无人场景的数据,融合了轻量级骨干网络 PPLCNet、SSLD 预训练权重、EDA 数据增强策略、SKL-UGI 知识蒸馏策略、SHAS
超参数搜索策略,得到精度高、速度快、易于部署的二分类模型。
------
## 目录
-
[
1. 环境配置
](
#1
)
-
[
2. 有人/无人场景推理预测
](
#2
)
-
[
2.1 下载模型
](
#2.1
)
-
[
2.2 模型推理预测
](
#2.2
)
-
[
2.2.1 预测单张图像
](
#2.2.1
)
-
[
2.2.2 基于文件夹的批量预测
](
#2.2.2
)
-
[
3.有人/无人场景训练
](
#3
)
-
[
1. 应用场景介绍
](
#1
)
-
[
2. 模型快速体验
](
#2
)
-
[
2.1 PULC 有人/无人分类模型介绍
](
#2.1
)
-
[
2.2 环境配置
](
#2.2
)
-
[
2.3 模型推理预测
](
#2.3
)
-
[
2.3.1 下载模型
](
#2.3.1
)
-
[
2.3.2 模型推理预测
](
#2.3.2
)
-
[
2.3.2.1 预测单张图像
](
#2.3.2.1
)
-
[
2.3.2.2 基于文件夹的批量预测
](
#2.3.2.2
)
-
[
3.PULC 有人/无人分类模型训练
](
#3
)
-
[
3.1 数据准备
](
#3.1
)
-
[
3.1.1 数据集来源
](
#3.1.1
)
-
[
3.1.2 数据集获取
](
#3.1.2
)
-
[
3.2 模型训练
](
#3.2
)
-
[
3.2.1 基于默认超参数训练
](
#3.2.1
)
-
[
3.2.1.1 基于默认超参数训练轻量级模型
](
#3.2.1.1
)
-
[
3.2.1.2 基于默认超参数训练教师模型
](
#3.2.1.2
)
-
[
3.2.1.3 基于默认超参数进行蒸馏训练
](
#3.2.1.3
)
-
[
3.2.2 超参数搜索训练
](
#3.2
)
-
[
3.2.1 基于默认超参数训练轻量级模型
](
#3.2.1
)
-
[
3.2.2 基于默认超参数训练教师模型
](
#3.2.2
)
-
[
3.2.3 基于默认超参数进行蒸馏训练
](
#3.2.3
)
-
[
4. 模型评估与推理
](
#4
)
-
[
4.1 模型评估
](
#3.1
)
-
[
4.2 模型预测
](
#3.2
)
...
...
@@ -31,17 +34,42 @@
<a
name=
"1"
></a>
## 1.
环境配置
## 1.
应用场景介绍
*
安装:请先参考
[
Paddle 安装教程
](
../installation/install_paddle.md
)
以及
[
PaddleClas 安装教程
](
../installation/install_paddleclas.md
)
配置 PaddleClas 运行环境。
<a
name=
"2"
></a>
该案例提供了可以产出超轻量级二分类模型的方法。使用该方法训练得到的模型可以快速判断图片中是否有人,该模型可以广泛应用于如监控场景、人员进出管控场景、海量数据过滤场景等。
<a
name=
"2"
></a>
## 2. 模型快速体验
<a
name=
"2.1"
></a>
##
2. 有人/无人场景推理预测
##
# 2.1 PULC 有人/无人分类模型介绍
<a
name=
"2.1"
></a>
下表列出了判断图片中是否有人的二分类模型的相关指标,其中,最后一行是根据 PULC 策略训练得到的模型,该模型与其他较大的模型相比,相同推理速度下拥有更高的精度,相同推理速度下拥有更高的精度。比如,与 SwinTransformer-tiny 相比,PULC 得到的模型相同在精度下,速度快 70+ 倍。训练方法和推理部署方法将在下面详细介绍。
| 模型 | 精度(%) | 延时(ms) | 存储(M) | 策略 |
|-------|-----------|----------|---------------|---------------|
| SwinTranformer_tiny |
<b>
95.69
<b>
| 175.52 | 107 | 使用ImageNet预训练模型 |
| MobileNetV3_large_x1_0 |
<b>
91.97
<b>
| 4.70 | 17 | 使用ImageNet预训练模型 |
| PPLCNet_x1_0 |
<b>
89.57
<b>
| 2.36 | 6.5 | 使用ImageNet预训练模型 |
| PPLCNet_x1_0 |
<b>
92.10
<b>
| 2.36 | 6.5 | 使用SSLD预训练模型 |
| PPLCNet_x1_0 |
<b>
93.43
<b>
| 2.36 | 6.5 | 使用SSLD预训练模型+EDA策略|
|
<b>
PPLCNet_x1_0
<b>
|
<b>
95.60
<b>
| 2.36 | 6.5 | 使用SSLD预训练模型+EDA策略+SKL-UGI知识蒸馏策略|
<a
name=
"2.2"
></a>
### 2.2 环境配置
*
安装:请先参考
[
Paddle 安装教程
](
../installation/install_paddle.md
)
以及
[
PaddleClas 安装教程
](
../installation/install_paddleclas.md
)
配置 PaddleClas 运行环境。
<a
name=
"2.3"
></a>
### 2.1 下载模型
### 2.3 模型推理预测
<a
name=
"2.3.1"
></a>
#### 2.3.1 下载模型
*
进入
`deploy`
运行目录。
...
...
@@ -49,31 +77,31 @@
cd deploy
```
下载有人/无人分类的模型。
下载有人/无人分类的
推理
模型。
```
mkdir models
cd models
# 下载inference 模型并解压
wget https://paddleclas.bj.bcebos.com/models/PULC/person_
cls_infer.tar && tar -xf person_cl
s_infer.tar
# 下载
inference 模型并解压
wget https://paddleclas.bj.bcebos.com/models/PULC/person_
exists_infer.tar && tar -xf person_exist
s_infer.tar
```
解压完毕后,
`models`
文件夹下应有如下文件结构:
```
├── person_
cl
s_infer
├── person_
exist
s_infer
│ ├── inference.pdiparams
│ ├── inference.pdiparams.info
│ └── inference.pdmodel
```
<a
name=
"2.
2"
></a>
<a
name=
"2.
3.2"
></a>
###
2
.2 模型推理预测
###
# 2.3
.2 模型推理预测
<a
name=
"2.
2.1"
></a>
<a
name=
"2.
3.2.1"
></a>
####
2
.2.1 预测单张图像
####
# 2.3
.2.1 预测单张图像
返回
`deploy`
目录:
...
...
@@ -81,13 +109,13 @@ wget https://paddleclas.bj.bcebos.com/models/PULC/person_cls_infer.tar && tar -x
cd ../
```
运行下面的命令,对图像
`./images/PULC/person/objects365_02035329.jpg`
进行有人/无人分类。
运行下面的命令,对图像
`./images/PULC/person
_exists
/objects365_02035329.jpg`
进行有人/无人分类。
```
shell
# 使用下面的命令使用 GPU 进行预测
python3.7 python/predict_cls.py
-c
configs/PULC/person
/inference_person_cl
s.yaml
-o
PostProcess.ThreshOutput.threshold
=
0.9794
python3.7 python/predict_cls.py
-c
configs/PULC/person
_exists/inference_person_exist
s.yaml
-o
PostProcess.ThreshOutput.threshold
=
0.9794
# 使用下面的命令使用 CPU 进行预测
python3.7 python/predict_cls.py
-c
configs/PULC/person
/inference_person_cl
s.yaml
-o
PostProcess.ThreshOutput.threshold
=
0.9794
-o
Global.use_gpu
=
False
python3.7 python/predict_cls.py
-c
configs/PULC/person
_exists/inference_person_exist
s.yaml
-o
PostProcess.ThreshOutput.threshold
=
0.9794
-o
Global.use_gpu
=
False
```
输出结果如下。
...
...
@@ -97,17 +125,17 @@ objects365_02035329.jpg: class id(s): [1], score(s): [1.00], label_name(s): ['so
```
**备注:**
真实场景中往往需要在假正类率(Fpr)小于某一个指标下求真正类率(Tpr),该场景中的
`val`
数据集在千分之一Fpr下得到的最佳Tpr所得到的阈值为
`0.9794`
,故此处的
`threshold`
为
`0.9794`
。该阈值的确定方法可以参考
[
3.2节
](
#3.2
)
**备注:**
真实场景中往往需要在假正类率(Fpr)小于某一个指标下求真正类率(Tpr),该场景中的
`val`
数据集在千分之一 Fpr 下得到的最佳 Tpr 所得到的阈值为
`0.9794`
,故此处的
`threshold`
为
`0.9794`
。该阈值的确定方法可以参考
[
3.2.1节
](
#3.2.1
)
备注部分。
<a
name=
"2.
2.2"
></a>
<a
name=
"2.
3.2.2"
></a>
#### 2.2.2 基于文件夹的批量预测
#### 2.
3.
2.2 基于文件夹的批量预测
如果希望预测文件夹内的图像,可以直接修改配置文件中的
`Global.infer_imgs`
字段,也可以通过下面的
`-o`
参数修改对应的配置。
```
shell
# 使用下面的命令使用 GPU 进行预测,如果希望使用 CPU 预测,可以在命令后面添加 -o Global.use_gpu=False
python3.7 python/predict_cls.py
-c
configs/PULC/person
/inference_person_cls.yaml
-o
Global.infer_imgs
=
"./images/PULC/person
/"
python3.7 python/predict_cls.py
-c
configs/PULC/person
_exists/inference_person_exists.yaml
-o
Global.infer_imgs
=
"./images/PULC/person_exists
/"
```
终端中会输出该文件夹内所有图像的分类结果,如下所示。
...
...
@@ -121,12 +149,34 @@ objects365_02035329.jpg: class id(s): [1], score(s): [1.00], label_name(s): ['so
<a
name=
"3"
></a>
## 3.
有人/无人场景
训练
## 3.
PULC 有人/无人分类模型
训练
<a
name=
"3.1"
></a>
### 3.1 数据准备
<a
name=
"3.1.1"
></a>
#### 3.1.1 数据集来源
本案例中所使用的所有数据集均为开源数据,
`train`
集合为
[
MS-COCO 数据
](
https://cocodataset.org/#overview
)
的训练集的子集,
`val`
集合为
[
Object365 数据
](
https://www.objects365.org/overview.html
)
的训练集的子集,
`ImageNet_val`
为
[
ImageNet-1k 数据
](
https://www.image-net.org/
)
的验证集。
<a
name=
"3.1.2"
></a>
#### 3.1.2 数据集获取
在公开数据集的基础上经过后处理即可得到本案例需要的数据,具体处理方法如下:
-
训练集合,本案例处理了 MS-COCO 数据训练集的标注文件,如果某张图含有“人”的标签,且这个框的面积在整张图中的比例大于 10%,即认为该张图中含有人,如果某张图中没有“人”的标签,则认为该张图中不含有人。经过处理后,得到 92964 条可用数据,其中有人的数据有 39813 条,无人的数据 53151 条。
-
验证集合,从 Object365 数据中随机抽取一小部分数据,使用在 MS-COCO 上训练得到的较好的模型预测这些数据,将预测结果和数据的标注文件取交集,将交集的结果按照得到训练集的方法筛选出验证集合。经过处理后,得到 27820 条可用数据。其中有人的数据有 2255 条,无人的数据有 25565 条。
处理后的数据集部分数据可视化如下:
![](
../../images/PULC/docs/person_exists_data_demo.png
)
此处提供了经过上述方法处理好的数据,可以直接下载得到。
进入 PaddleClas 目录。
```
...
...
@@ -137,12 +187,12 @@ cd path_to_PaddleClas
```
shell
cd
dataset
wget https://paddleclas.bj.bcebos.com/data/
cls_demo/person
.tar
tar
-xf
person.tar
wget https://paddleclas.bj.bcebos.com/data/
PULC/person_exists
.tar
tar
-xf
person
_exists
.tar
cd
../
```
执行上述命令后,
`dataset/`
下存在
`person`
目录,该目录中具有以下数据:
执行上述命令后,
`dataset/`
下存在
`person_exists`
目录,该目录中具有以下数据:
```
...
...
@@ -165,97 +215,73 @@ cd ../
└── val_list.txt.debug
```
其中
`train/`
和
`val/`
分别为训练集和验证集。
`train_list.txt`
和
`val_list.txt`
分别为训练集和验证集的标签文件,
`train_list.txt.debug`
和
`val_list.txt.debug`
分别为训练集和验证集的
`debug`
标签文件,其分别是
`train_list.txt`
和
`val_list.txt`
的子集,用该文件可以快速体验本案例的流程。
`ImageNet_val/`
是ImageNet的验证集,该集合和
`train`
集合的混合数据用于本案例的
`SKL-UGI知识蒸馏策略`
,对应的训练标签文件为
`train_list_for_distill.txt`
。
*
**注意**
:
其中
`train/`
和
`val/`
分别为训练集和验证集。
`train_list.txt`
和
`val_list.txt`
分别为训练集和验证集的标签文件,
`train_list.txt.debug`
和
`val_list.txt.debug`
分别为训练集和验证集的
`debug`
标签文件,其分别是
`train_list.txt`
和
`val_list.txt`
的子集,用该文件可以快速体验本案例的流程。
`ImageNet_val/`
是 ImageNet-1k 的验证集,该集合和
`train`
集合的混合数据用于本案例的
`SKL-UGI知识蒸馏策略`
,对应的训练标签文件为
`train_list_for_distill.txt`
。关于如何得到蒸馏的标签可以参考
[
知识蒸馏标签获得
](
@ruoyu
)
。
*
本案例中所使用的所有数据集均为开源数据,
`train`
集合为
[
MS-COCO数据
](
https://cocodataset.org/#overview
)
的训练集的子集,
`val`
集合为
[
Object365数据
](
https://www.objects365.org/overview.html
)
的训练集的子集,
`ImageNet_val`
为
[
ImageNet数据
](
https://www.image-net.org/
)
的验证集。数据集的筛选流程可以参考
[
有人/无人场景数据集筛选方法
](
)。
<a
name=
"3.2"
></a>
### 3.2 模型训练
<a
name=
"3.2.1"
></a>
<a
name=
"3.2.1"
></a>
#### 3.2.1 基于默认超参数训练
#### 3.2.1 基于默认超参数训练
轻量级模型
<a
name=
"3.2.1.1"
></a>
##### 3.2.1.1 基于默认超参数训练轻量级模型
在
`ppcls/configs/PULC/person/PPLCNet/PPLCNet_x1_0.yaml`
中提供了基于该场景的训练配置,可以通过如下脚本启动训练:
在
`ppcls/configs/PULC/person_exists/PPLCNet_x1_0.yaml`
中提供了基于该场景的训练配置,可以通过如下脚本启动训练:
```
shell
export
CUDA_VISIBLE_DEVICES
=
0,1,2,3
python3
-m
paddle.distributed.launch
\
--gpus
=
"0,1,2,3"
\
tools/train.py
\
-c
./ppcls/configs/PULC/person
/PPLCNet
/PPLCNet_x1_0.yaml
-c
./ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0.yaml
```
验证集的最佳指标在
0.94-0.95
之间(数据集较小,容易造成波动)。
验证集的最佳指标在
`0.94-0.95`
之间(数据集较小,容易造成波动)。
**备注:**
*
此时使用的指标为Tpr,该指标描述了在假正类率(Fpr)小于某一个指标时的真正类率(Tpr),是产业中二分类问题常用的指标之一。在本案例中,Fpr
为千分之一。关于Fpr和Tpr
的更多介绍,可以参考
[
这里
](
https://baike.baidu.com/item/AUC/19282953
)
。
*
此时使用的指标为Tpr,该指标描述了在假正类率(Fpr)小于某一个指标时的真正类率(Tpr),是产业中二分类问题常用的指标之一。在本案例中,Fpr
为千分之一。关于 Fpr 和 Tpr
的更多介绍,可以参考
[
这里
](
https://baike.baidu.com/item/AUC/19282953
)
。
*
在eval时,会打印出来当前最佳的
TprAtFpr指标,具体地,其会打印当前的
`Fpr`
、
`Tpr`
值,以及当前的
`threshold`
值,
`Tpr`
值反映了在当前
`Fpr`
值下的召回率,该值越高,代表模型越好。
`threshold`
表示当前最佳
`Fpr`
所对应的分类阈值,可用于后续模型部署落地等。
*
在eval时,会打印出来当前最佳的
TprAtFpr 指标,具体地,其会打印当前的
`Fpr`
、
`Tpr`
值,以及当前的
`threshold`
值,
`Tpr`
值反映了在当前
`Fpr`
值下的召回率,该值越高,代表模型越好。
`threshold`
表示当前最佳
`Fpr`
所对应的分类阈值,可用于后续模型部署落地等。
<a
name=
"3.2.
1.
2"
></a>
<a
name=
"3.2.2"
></a>
####
# 3.2.1
.2 基于默认超参数训练教师模型
####
3.2
.2 基于默认超参数训练教师模型
复用
`ppcls/configs/PULC/person/PPLCNet/PPLCNet_x1_0.yaml`
中的超参数,训练教师模型,训练脚本如下:
复用
`ppcls/configs/PULC/person_exists/PPLCNet/PPLCNet_x1_0.yaml`
中的超参数,训练教师模型,训练脚本如下:
```
shell
export
CUDA_VISIBLE_DEVICES
=
0,1,2,3
python3
-m
paddle.distributed.launch
\
--gpus
=
"0,1,2,3"
\
tools/train.py
\
-c
./ppcls/configs/PULC/person/PPLCNet/PPLCNet_x1_0.yaml
\
-c
./ppcls/configs/PULC/person
_exists
/PPLCNet/PPLCNet_x1_0.yaml
\
-o
Arch.name
=
ResNet101_vd
```
验证集的最佳指标为
0.96-0.98之间,当前教师模型最好的权重保存在
`output/ResNet101_vd/best_model.pdparams`
。
验证集的最佳指标为
`0.96-0.98`
之间,当前教师模型最好的权重保存在
`output/ResNet101_vd/best_model.pdparams`
。
<a
name=
"3.2.
1.
3"
></a>
<a
name=
"3.2.3"
></a>
####
# 3.2.1
.3 基于默认超参数进行蒸馏训练
####
3.2
.3 基于默认超参数进行蒸馏训练
配置文件
`ppcls/configs/PULC/
PULC/Distillation
/PPLCNet_x1_0_distillation.yaml`
提供了
`SKL-UGI知识蒸馏策略`
的配置。该配置将
`ResNet101_vd`
当作教师模型,
`PPLCNet_x1_0`
当作学生模型,使用ImageNet数据集的验证集作为新增的无标签数据。训练脚本如下:
配置文件
`ppcls/configs/PULC/
person_exists
/PPLCNet_x1_0_distillation.yaml`
提供了
`SKL-UGI知识蒸馏策略`
的配置。该配置将
`ResNet101_vd`
当作教师模型,
`PPLCNet_x1_0`
当作学生模型,使用ImageNet数据集的验证集作为新增的无标签数据。训练脚本如下:
```
shell
export
CUDA_VISIBLE_DEVICES
=
0,1,2,3
python3
-m
paddle.distributed.launch
\
--gpus
=
"0,1,2,3"
\
tools/train.py
\
-c
./ppcls/configs/PULC/person
/Distillation
/PPLCNet_x1_0_distillation.yaml
\
-c
./ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0_distillation.yaml
\
-o
Arch.models.0.Teacher.pretrained
=
output/ResNet101_vd/best_model
```
验证集的最佳指标为0.95-0.97之间,当前模型最好的权重保存在
`output/DistillationModel/best_model_student.pdparams`
。
<a
name=
"3.2.2"
></a>
#### 3.2.2 超参数搜索训练
[
3.2 小节
](
#3.2
)
提供了在已经搜索并得到的超参数上进行了训练,此部分内容提供了搜索的过程,此过程是为了得到更好的训练超参数。
*
搜索运行脚本如下:
```
shell
python tools/search_strategy.py
-c
ppcls/configs/StrategySearch/person.yaml
```
在
`ppcls/configs/StrategySearch/person.yaml`
中指定了具体的 GPU id 号和搜索配置, 默认搜索的训练日志和模型存放于
`output/search_person`
中,最终的蒸馏模型存放于
`output/search_person/search_res/DistillationModel/best_model_student.pdparams`
。
验证集的最佳指标为
`0.95-0.97`
之间,当前模型最好的权重保存在
`output/DistillationModel/best_model_student.pdparams`
。
*
**注意**
:
*
3.1小节提供的默认配置已经经过了搜索,所以此过程不是必要的过程,如果自己的训练数据集有变化,可以尝试此过程。
*
此过程基于当前数据集在 V100 4 卡上大概需要耗时 10 小时,如果缺少机器资源,希望体验搜索过程,可以将
`ppcls/configs/cls_demo/person/PPLCNet/PPLCNet_x1_0_search.yaml`
中的
`train_list.txt`
和
`val_list.txt`
分别替换为
`train_list.txt.debug`
和
`val_list.txt.debug`
。替换list只是为了加速跑通整个搜索过程,由于数据量较小,其搜素的结果没有参考性。另外,搜索空间可以根据当前的机器资源来调整,如果机器资源有限,可以尝试缩小搜索空间,如果机器资源较充足,可以尝试扩大搜索空间。
**备注:**
*
如果此过程搜索的得到的超参数与
[
3.2.1小节
](
#3.2.1
)
提供的超参数不一致,主要是由于训练数据较小造成的波动导致,可以忽略
。
*
此时的默认超参数是经过
`SHAS超参数搜索策略`
得到的,关于此部分内容,可以参考
[
SHAS 超参数搜索策略
](
#TODO待添加链接
)
。
<a
name=
"4"
></a>
...
...
@@ -271,7 +297,7 @@ python tools/search_strategy.py -c ppcls/configs/StrategySearch/person.yaml
```
bash
python3 tools/eval.py
\
-c
./ppcls/configs/PULC/person
/PPLCNet
/PPLCNet_x1_0.yaml
\
-c
./ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0.yaml
\
-o
Global.pretrained_model
=
"output/DistillationModel/best_model_student"
```
...
...
@@ -283,8 +309,7 @@ python3 tools/eval.py \
```
python
python3
tools
/
infer
.
py
\
-
c
.
/
ppcls
/
configs
/
PULC
/
person
/
PPLCNet
/
PPLCNet_x1_0
.
yaml
\
-
o
Infer
.
infer_imgs
=
.
/
dataset
/
person
/
val
/
objects365_01780637
.
jpg
\
-
c
.
/
ppcls
/
configs
/
PULC
/
person_exists
/
PPLCNet_x1_0
.
yaml
\
-
o
Global
.
pretrained_model
=
output
/
DistillationModel
/
best_model_student
\
-
o
Global
.
pretrained_model
=
Infer
.
PostProcess
.
threshold
=
0.9794
```
...
...
@@ -292,10 +317,14 @@ python3 tools/infer.py \
输出结果如下:
```
[{'class_ids': [0], 'scores': [0.9878496769815683], 'label_names': ['nobody'], 'file_name': './dataset/person/val/objects365_01780637.jpg'}]
[{'class_ids': [0], 'scores': [0.9878496769815683], 'label_names': ['nobody'], 'file_name': './dataset/person
_exists
/val/objects365_01780637.jpg'}]
```
**备注:**
这里的
`Infer.PostProcess.threshold`
的值需要根据实际场景来确定,此处的
`0.9794`
是在该场景中的
`val`
数据集在千分之一Fpr下得到的最佳Tpr所得到的。
**备注:**
*
默认是对
`deploy/images/PULC/person_exists/objects365_02035329.jpg`
进行预测,此处也可以通过增加字段
`-o Infer.infer_imgs=xxx`
对其他图片预测。
*
这里的
`Infer.PostProcess.threshold`
的值需要根据实际场景来确定,此处的
`0.9794`
是在该场景中的
`val`
数据集在千分之一 Fpr 下得到的最佳 Tpr 所得到的。
<a
name=
"4.3"
></a>
...
...
@@ -310,11 +339,11 @@ python3 tools/infer.py \
```
bash
python3 tools/export_model.py
\
-c
./ppcls/configs/
cls_demo/PULC/PPLCNet
/PPLCNet_x1_0.yaml
\
-c
./ppcls/configs/
PULC/person_exists
/PPLCNet_x1_0.yaml
\
-o
Global.pretrained_model
=
output/DistillationModel/best_model_student
\
-o
Global.save_inference_dir
=
deploy/models/PPLCNet_x1_0_person
-o
Global.save_inference_dir
=
deploy/models/PPLCNet_x1_0_person
_exists_infer
```
执行完该脚本后会在
`deploy/models/`
下生成
`PPLCNet_x1_0_person`
文件夹,该文件夹中的模型与 2.2 节
下载的推理预测模型格式一致。
执行完该脚本后会在
`deploy/models/`
下生成
`PPLCNet_x1_0_person_exists_infer`
文件夹,该文件夹中的模型与
[
2.3 节
](
#2.3
)
下载的推理预测模型格式一致。
<a
name=
"4.3.2"
></a>
...
...
@@ -322,11 +351,11 @@ python3 tools/export_model.py \
推理预测的脚本为:
```
python3.7 python/predict_cls.py -c configs/PULC/person
/inference_person_cls.yaml -o Global.inference_model_dir="models/PPLCNet_x1_0_person
" -o PostProcess.ThreshOutput.threshold=0.9794
python3.7 python/predict_cls.py -c configs/PULC/person
_exists/inference_person_exists.yaml -o Global.inference_model_dir="models/PPLCNet_x1_0_person_exists_infer
" -o PostProcess.ThreshOutput.threshold=0.9794
```
**备注:**
-
此处的
`PostProcess.ThreshOutput.threshold`
由eval时的最佳
`threshold`
来确定。
-
更多关于推理的细节,可以参考
[
2.
2节
](
#2.2
)
。
-
此处的
`PostProcess.ThreshOutput.threshold`
由eval时的最佳
`threshold`
来确定。
-
更多关于推理的细节,可以参考
[
2.
3节
](
#2.3
)
。
ppcls/configs/PULC/person
/OtherModel
s/MobileNetV3_large_x1_0.yaml
→
ppcls/configs/PULC/person
_exist
s/MobileNetV3_large_x1_0.yaml
浏览文件 @
11ebb4d1
...
...
@@ -113,7 +113,7 @@ DataLoader:
use_shared_memory
:
True
Infer
:
infer_imgs
:
d
ocs/images/inference_deployment/whl_demo
.jpg
infer_imgs
:
d
eploy/images/PULC/person_exists/objects365_02035329
.jpg
batch_size
:
10
transforms
:
-
DecodeImage
:
...
...
ppcls/configs/PULC/person
/PPLCNet
/PPLCNet_x1_0.yaml
→
ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0.yaml
浏览文件 @
11ebb4d1
...
...
@@ -119,7 +119,7 @@ DataLoader:
use_shared_memory
:
True
Infer
:
infer_imgs
:
d
ocs/images/inference_deployment/whl_demo
.jpg
infer_imgs
:
d
eploy/images/PULC/person_exists/objects365_02035329
.jpg
batch_size
:
10
transforms
:
-
DecodeImage
:
...
...
ppcls/configs/PULC/person
/Distillation
/PPLCNet_x1_0_distillation.yaml
→
ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0_distillation.yaml
浏览文件 @
11ebb4d1
...
...
@@ -135,7 +135,7 @@ DataLoader:
use_shared_memory
:
True
Infer
:
infer_imgs
:
d
ocs/images/inference_deployment/whl_demo
.jpg
infer_imgs
:
d
eploy/images/PULC/person_exists/objects365_02035329
.jpg
batch_size
:
10
transforms
:
-
DecodeImage
:
...
...
ppcls/configs/PULC/person
/PPLCNet
/PPLCNet_x1_0_search.yaml
→
ppcls/configs/PULC/person
_exists
/PPLCNet_x1_0_search.yaml
浏览文件 @
11ebb4d1
...
...
@@ -119,7 +119,7 @@ DataLoader:
use_shared_memory
:
True
Infer
:
infer_imgs
:
d
ocs/images/inference_deployment/whl_demo
.jpg
infer_imgs
:
d
eploy/images/PULC/person_exists/objects365_02035329
.jpg
batch_size
:
10
transforms
:
-
DecodeImage
:
...
...
ppcls/configs/PULC/person
/OtherModel
s/SwinTransformer_tiny_patch4_window7_224.yaml
→
ppcls/configs/PULC/person
_exist
s/SwinTransformer_tiny_patch4_window7_224.yaml
浏览文件 @
11ebb4d1
...
...
@@ -136,7 +136,7 @@ DataLoader:
use_shared_memory
:
True
Infer
:
infer_imgs
:
d
ocs/images/inference_deployment/whl_demo
.jpg
infer_imgs
:
d
eploy/images/PULC/person_exists/objects365_02035329
.jpg
batch_size
:
10
transforms
:
-
DecodeImage
:
...
...
ppcls/configs/PULC/person_exists/search.yaml
0 → 100644
浏览文件 @
11ebb4d1
base_config_file
:
ppcls/configs/PULC/person_exists/PPLCNet_x1_0_search.yaml
distill_config_file
:
ppcls/configs/PULC/person_exists/PPLCNet_x1_0_distillation.yaml
gpus
:
0,1,2,3
output_dir
:
output/search_person_cls
search_times
:
1
search_dict
:
-
search_key
:
lrs
replace_config
:
-
Optimizer.lr.learning_rate
search_values
:
[
0.0075
,
0.01
,
0.0125
]
-
search_key
:
resolutions
replace_config
:
-
DataLoader.Train.dataset.transform_ops.1.RandCropImage.size
-
DataLoader.Train.dataset.transform_ops.3.TimmAutoAugment.img_size
search_values
:
[
176
,
192
,
224
]
-
search_key
:
ra_probs
replace_config
:
-
DataLoader.Train.dataset.transform_ops.3.TimmAutoAugment.prob
search_values
:
[
0.0
,
0.1
,
0.5
]
-
search_key
:
re_probs
replace_config
:
-
DataLoader.Train.dataset.transform_ops.5.RandomErasing.EPSILON
search_values
:
[
0.0
,
0.1
,
0.5
]
-
search_key
:
lr_mult_list
replace_config
:
-
Arch.lr_mult_list
search_values
:
-
[
0.0
,
0.2
,
0.4
,
0.6
,
0.8
,
1.0
]
-
[
0.0
,
0.4
,
0.4
,
0.8
,
0.8
,
1.0
]
-
[
1.0
,
1.0
,
1.0
,
1.0
,
1.0
,
1.0
]
teacher
:
rm_keys
:
-
Arch.lr_mult_list
search_values
:
-
ResNet101_vd
-
ResNet50_vd
final_replace
:
Arch.lr_mult_list
:
Arch.models.1.Student.lr_mult_list
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录