Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
s920243400
PaddleDetection
提交
253c8a05
P
PaddleDetection
项目概览
s920243400
/
PaddleDetection
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleDetection
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleDetection
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
253c8a05
编写于
3月 24, 2022
作者:
J
JYChen
提交者:
GitHub
3月 24, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add Doc for action (#5449)
* add Doc for action * update docs
上级
78ae1e63
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
77 addition
and
1 deletion
+77
-1
deploy/pphuman/README.md
deploy/pphuman/README.md
+1
-1
deploy/pphuman/docs/action.md
deploy/pphuman/docs/action.md
+76
-0
deploy/pphuman/docs/images/action.gif
deploy/pphuman/docs/images/action.gif
+0
-0
未找到文件。
deploy/pphuman/README.md
浏览文件 @
253c8a05
...
...
@@ -152,5 +152,5 @@ PP-Human整体方案如下图所示
### 5. 行为识别:
-
使用PP-YOLOE + Bytetrack跟踪人体
-
使用HRNet进行关键点检测得到人体17个骨骼点
-
结合
100帧内同一个人骨骼点的变化,通过ST-GCN判断10
0帧内发生的动作是否为摔倒
-
结合
50帧内同一个人骨骼点的变化,通过ST-GCN判断5
0帧内发生的动作是否为摔倒
-
详细文档参考
[
行为识别
](
docs/action.md
)
deploy/pphuman/docs/action.md
0 → 100644
浏览文件 @
253c8a05
# PP-Human行为识别模块
行为识别在智慧社区,安防监控等方向具有广泛应用,PP-Human中集成了基于骨骼点的行为识别模块。
<div
align=
"center"
>
<img
src=
"./images/action.gif"
width=
'1000'
/>
<center>
数据来源及版权归属:天覆科技,感谢提供并开源实际场景数据,仅限学术研究使用
</center>
</div>
## 模型库
在这里,我们提供了检测/跟踪、关键点识别以及识别摔倒动作的预训练模型,用户可以直接下载使用。
| 任务 | 算法 | 精度 | 预测速度(ms) | 下载链接 |
|:---------------------|:---------:|:------:|:------:| :---------------------------------------------------------------------------------: |
| 行人检测/跟踪 | PP-YOLOE | mAP: 56.3
<br>
MOTA: 72.0 | 检测: 28ms
<br>
跟踪:33.1ms |
[
下载链接
](
https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip
)
|
| 关键点识别 | HRNet | AP: 87.1 | 单人 2.9ms |
[
下载链接
](
https://bj.bcebos.com/v1/paddledet/models/pipeline/dark_hrnet_w32_256x192.zip
)
|
| 行为识别 | ST-GCN | 准确率: 96.43 | 单人 2.7ms |
[
下载链接
](
https://bj.bcebos.com/v1/paddledet/models/pipeline/STGCN.zip
)
|
注:
1.
检测/跟踪模型精度为MOT17,CrowdHuman,HIEVE和部分业务数据融合训练测试得到。
2.
关键点模型使用COCO,UAVHuman和部分业务数据融合训练, 精度在业务数据测试集上得到。
3.
行为识别模型使用NTU-RGB+D,UR Fall Detection Dataset和部分业务数据融合训练,精度在业务数据测试集上得到。
4.
预测速度为NVIDIA T4 机器上使用TensorRT FP16时的速度。
## 配置说明
[
配置文件
](
../config/infer_cfg.yml
)
中与行为识别相关的参数如下:
```
ACTION:
model_dir: output_inference/STGCN # 模型所在路径
batch_size: 1 # 预测批大小。 当前仅支持为1进行推理
max_frames: 50 # 动作片段对应的帧数。在行人ID对应时序骨骼点结果时达到该帧数后,会通过行为识别模型判断该段序列的动作类型。与训练设置一致时效果最佳。
display_frames: 80 # 显示帧数。当预测结果为摔倒时,在对应人物ID中显示状态的持续时间。
coord_size: [384, 512] # 坐标统一缩放到的尺度大小。与训练设置一致时效果最佳。
```
## 使用方法
1.
从上表链接中下载模型并解压到
```./output_inference```
路径下。
2.
目前行为识别模块仅支持视频输入,启动命令如下:
```
python
python
deploy
/
pphuman
/
pipeline
.
py
--
config
deploy
/
pphuman
/
config
/
infer_cfg
.
yml
\
--
video_file
=
test_video
.
mp4
\
--
device
=
gpu
\
--
enable_action
=
True
```
3.
若修改模型路径,有以下两种方式:
- ```./deploy/pphuman/config/infer_cfg.yml```下可以配置不同模型路径,关键点模型和行为识别模型分别对应`KPT`和`ACTION`字段,修改对应字段下的路径为实际期望的路径即可。
- 命令行中增加`--model_dir`修改模型路径:
```
python
python
deploy
/
pphuman
/
pipeline
.
py
--
config
deploy
/
pphuman
/
config
/
infer_cfg
.
yml
\
--
video_file
=
test_video
.
mp4
\
--
device
=
gpu
\
--
enable_action
=
True
\
--
model_dir
kpt
=
.
/
dark_hrnet_w32_256x192
action
=
.
/
STGCN
```
## 方案说明
1.
使用目标检测与多目标跟踪获取视频输入中的行人检测框及跟踪ID序号,模型方案为PP-YOLOE,详细文档参考
[
PP-YOLOE
](
../../../configs/ppyoloe
)
。
2.
通过行人检测框的坐标在输入视频的对应帧中截取每个行人,并使用
[
关键点识别模型
](
../../../configs/keypoint/hrnet/dark_hrnet_w32_256x192.yml
)
得到对应的17个骨骼特征点。骨骼特征点的顺序及类型与COCO一致,详见
[
如何准备关键点数据集
](
../../../docs/tutorials/PrepareKeypointDataSet_cn.md
)
中的
`COCO数据集`
部分。
3.
每个跟踪ID对应的目标行人各自累计骨骼特征点结果,组成该人物的时序关键点序列。当累计到预定帧数或跟踪丢失后,使用行为识别模型判断时序关键点序列的动作类型。当前版本模型支持摔倒行为的识别,预测得到的
`class id`
对应关系为:
```
0: 摔倒,
1: 其他
```
4.
行为识别模型使用了
[
ST-GCN
](
https://arxiv.org/abs/1801.07455
)
,并基于
[
PaddleVideo
](
https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/recognition/stgcn.md
)
套件完成模型训练。
## 参考文献
```
@inproceedings{stgcn2018aaai,
title = {Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition},
author = {Sijie Yan and Yuanjun Xiong and Dahua Lin},
booktitle = {AAAI},
year = {2018},
}
```
deploy/pphuman/docs/images/action.gif
0 → 100644
浏览文件 @
253c8a05
3.8 MB
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录