Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
04918c45
M
models
项目概览
PaddlePaddle
/
models
大约 2 年 前同步成功
通知
232
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
04918c45
编写于
3月 01, 2019
作者:
D
dengkaipeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
change pretrain to resume
上级
0bd319e0
变更
6
隐藏空白更改
内联
并排
Showing
6 changed file
with
17 addition
and
20 deletion
+17
-20
fluid/PaddleCV/video/README.md
fluid/PaddleCV/video/README.md
+2
-2
fluid/PaddleCV/video/models/attention_cluster/README.md
fluid/PaddleCV/video/models/attention_cluster/README.md
+4
-4
fluid/PaddleCV/video/models/attention_lstm/README.md
fluid/PaddleCV/video/models/attention_lstm/README.md
+2
-5
fluid/PaddleCV/video/models/nextvlad/README.md
fluid/PaddleCV/video/models/nextvlad/README.md
+2
-2
fluid/PaddleCV/video/models/stnet/README.md
fluid/PaddleCV/video/models/stnet/README.md
+4
-4
fluid/PaddleCV/video/models/tsn/README.md
fluid/PaddleCV/video/models/tsn/README.md
+3
-3
未找到文件。
fluid/PaddleCV/video/README.md
浏览文件 @
04918c45
...
@@ -51,7 +51,7 @@ python train.py --model-name=STNET
...
@@ -51,7 +51,7 @@ python train.py --model-name=STNET
视频模型库同时提供了快速训练脚本,脚本位于
`scripts/train`
目录下,可通过如下命令启动训练:
视频模型库同时提供了快速训练脚本,脚本位于
`scripts/train`
目录下,可通过如下命令启动训练:
```
bash
```
bash
sh scripts/train/train_stnet.sh
ba
sh scripts/train/train_stnet.sh
```
```
-
请根据
`CUDA_VISIBLE_DEVICES`
指定卡数修改
`config`
文件中的
`num_gpus`
和
`batch_size`
配置。
-
请根据
`CUDA_VISIBLE_DEVICES`
指定卡数修改
`config`
文件中的
`num_gpus`
和
`batch_size`
配置。
...
@@ -75,5 +75,5 @@ sh scripts/train/train_stnet.sh
...
@@ -75,5 +75,5 @@ sh scripts/train/train_stnet.sh
## 版本更新
## 版本更新
-
3/2019: 新增模型库
-
3/2019: 新增模型库
,发布Attention Cluster,Attention LSTM,NeXtVLAD,StNet,TSN五个视频分类模型。
fluid/PaddleCV/video/models/attention_cluster/README.md
浏览文件 @
04918c45
...
@@ -13,7 +13,7 @@
...
@@ -13,7 +13,7 @@
## 模型简介
## 模型简介
Attention Cluster
为百度自研模型,该模型是
ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据,Attention Cluster结构如下图所示。
Attention Cluster
模型为
ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据,Attention Cluster结构如下图所示。
<p
align=
"center"
>
<p
align=
"center"
>
<img
src=
"../../images/attention_cluster.png"
height=
300
width=
400
hspace=
'10'
/>
<br
/>
<img
src=
"../../images/attention_cluster.png"
height=
300
width=
400
hspace=
'10'
/>
<br
/>
...
@@ -38,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
...
@@ -38,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
bash scripts/train/train_attention_cluster.sh
bash scripts/train/train_attention_cluster.sh
-
可下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--pretrain
`
指定权重存放路径进行finetune等开发
-
可下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--resume
`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Youtube-8M数据集中已抽取好的
`rgb`
和
`audio`
数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的
`seg_num`
参数指定。
**数据读取器说明:**
模型读取Youtube-8M数据集中已抽取好的
`rgb`
和
`audio`
数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的
`seg_num`
参数指定。
...
@@ -63,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
...
@@ -63,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
使用
`scripts/test/test_attention_cluster.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
使用
`scripts/test/test_attention_cluster.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
当取如下参数时:
当取如下参数时:
...
@@ -95,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
...
@@ -95,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
模型推断结果存储于
`AttentionCluster_infer_result`
中,通过
`pickle`
格式存储。
-
模型推断结果存储于
`AttentionCluster_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
## 参考论文
## 参考论文
...
...
fluid/PaddleCV/video/models/attention_lstm/README.md
浏览文件 @
04918c45
...
@@ -51,10 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
...
@@ -51,10 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
-
使用
`scripts/test/test_attention_LSTM.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
使用
`scripts/test/test_attention_LSTM.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
使用Paddle Fluid实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。
模型参数列表如下:
模型参数列表如下:
...
@@ -86,7 +83,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
...
@@ -86,7 +83,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
-
模型推断结果存储于
`AttentionLSTM_infer_result`
中,通过
`pickle`
格式存储。
-
模型推断结果存储于
`AttentionLSTM_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
## 参考论文
## 参考论文
...
...
fluid/PaddleCV/video/models/nextvlad/README.md
浏览文件 @
04918c45
...
@@ -43,7 +43,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
...
@@ -43,7 +43,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
./scripts/test/test_nextvald.sh
bash
./scripts/test/test_nextvald.sh
文件中修改--weights参数为保存模型参数的目录。运行
文件中修改--weights参数为保存模型参数的目录。运行
...
@@ -74,7 +74,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
...
@@ -74,7 +74,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
./scripts/infer/infer_nextvald.sh
bash
./scripts/infer/infer_nextvald.sh
文件中修改--weights参数为保存模型参数的目录,运行如下脚本
文件中修改--weights参数为保存模型参数的目录,运行如下脚本
...
...
fluid/PaddleCV/video/models/stnet/README.md
浏览文件 @
04918c45
...
@@ -13,7 +13,7 @@
...
@@ -13,7 +13,7 @@
## 模型简介
## 模型简介
StNet
为百度自研模型,该框架为百度在
ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架,本次开源的是基于ResNet50实现的StNet模型,基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念,在super-image上进行2D卷积,建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖,最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示:
StNet
模型框架为
ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架,本次开源的是基于ResNet50实现的StNet模型,基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念,在super-image上进行2D卷积,建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖,最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示:
<p
align=
"center"
>
<p
align=
"center"
>
<img
src=
"../../images/StNet.png"
height=
300
width=
500
hspace=
'10'
/>
<br
/>
<img
src=
"../../images/StNet.png"
height=
300
width=
500
hspace=
'10'
/>
<br
/>
...
@@ -38,7 +38,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
...
@@ -38,7 +38,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
bash scripts/train/train_stnet.sh
bash scripts/train/train_stnet.sh
-
可下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
通过
`--pretrain
`
指定权重存放路径进行finetune等开发
-
可下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
通过
`--resume
`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取
`seg_len`
帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取
`seg_len`
帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
...
@@ -71,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
...
@@ -71,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
使用
`scripts/test/test_stnet.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
使用
`scripts/test/test_stnet.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
进行评估
当取如下参数时:
当取如下参数时:
...
@@ -100,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
...
@@ -100,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
模型推断结果存储于
`STNET_infer_result`
中,通过
`pickle`
格式存储。
-
模型推断结果存储于
`STNET_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
进行推断
## 参考论文
## 参考论文
...
...
fluid/PaddleCV/video/models/tsn/README.md
浏览文件 @
04918c45
...
@@ -33,7 +33,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
...
@@ -33,7 +33,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
bash scripts/train/train_tsn.sh
bash scripts/train/train_tsn.sh
-
可下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
通过
`--pretrain
`
指定权重存放路径进行finetune等开发
-
可下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
通过
`--resume
`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
...
@@ -56,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
...
@@ -56,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
使用
`scripts/test/test_tsn.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
使用
`scripts/test/test_tsn.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
...
@@ -77,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
...
@@ -77,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
模型推断结果存储于
`TSN_infer_result`
中,通过
`pickle`
格式存储。
-
模型推断结果存储于
`TSN_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载
Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载
已发布模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
进行推断
## 参考论文
## 参考论文
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录