提交 0e2c28ce 编写于 作者: D dengkaipeng

refine lstm/tsn doc

上级 e59d396b
......@@ -104,6 +104,6 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
## 版本更新
- 3/2018: 新增模型
- 3/2019: 新增模型
......@@ -9,6 +9,8 @@
- [模型训练](#模型训练)
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 模型简介
......@@ -88,3 +90,13 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleAttentionLSTM](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断
## 参考论文
- [Beyond Short Snippets: Deep Networks for Video Classification](https://arxiv.org/abs/1503.08909) Joe Yue-Hei Ng, Matthew Hausknecht, Sudheendra Vijayanarasimhan, Oriol Vinyals, Rajat Monga, George Toderici
- [Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification](https://arxiv.org/abs/1711.09550) Xiang Long, Chuang Gan, Gerard de Melo, Jiajun Wu, Xiao Liu, Shilei Wen
## 版本更新
- 3/2019: 新增模型
......@@ -3,14 +3,16 @@
---
## 内容
- [简介](#简介)
- [模型简介](#模型简介)
- [数据准备](#数据准备)
- [模型训练](#模型训练)
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 简介
## 模型简介
Temporal Segment Network (TSN) 是视频分类领域经典的基于2D-CNN的解决方案。该方法主要解决视频的长时间行为判断问题,通过稀疏采样视频帧的方式代替稠密采样,既能捕获视频全局信息,也能去除冗余,降低计算量。最终将每帧特征平均融合后得到视频的整体特征,并用于分类。本代码实现的模型为基于单路RGB图像的TSN网络结构,Backbone采用ResNet-50结构。
......@@ -57,7 +59,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
| seg\_num | target\_size | Prec@1 |
| seg\_num | target\_size | Top-1 |
| :------: | :----------: | :----: |
| 3 | 224 | 0.66 |
| 7 | 224 | 0.67 |
......@@ -76,3 +78,11 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleTSN](https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz)进行推断
## 参考论文
- [StNet:Local and Global Spatial-Temporal Modeling for Human Action Recognition](https://arxiv.org/abs/1608.00859) Limin Wang, Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, Luc Van Gool
## 版本更新
- 3/2019: 新增模型
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册