Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
7ebda773
M
models
项目概览
PaddlePaddle
/
models
大约 1 年 前同步成功
通知
222
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
7ebda773
编写于
3月 01, 2019
作者:
D
dengkaipeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix pretrain name
上级
274d4b46
变更
6
隐藏空白更改
内联
并排
Showing
6 changed file
with
20 addition
and
21 deletion
+20
-21
fluid/PaddleCV/video/README.md
fluid/PaddleCV/video/README.md
+2
-2
fluid/PaddleCV/video/models/attention_cluster/README.md
fluid/PaddleCV/video/models/attention_cluster/README.md
+3
-4
fluid/PaddleCV/video/models/attention_lstm/README.md
fluid/PaddleCV/video/models/attention_lstm/README.md
+4
-5
fluid/PaddleCV/video/models/nextvlad/README.md
fluid/PaddleCV/video/models/nextvlad/README.md
+2
-3
fluid/PaddleCV/video/models/stnet/README.md
fluid/PaddleCV/video/models/stnet/README.md
+5
-4
fluid/PaddleCV/video/models/tsn/README.md
fluid/PaddleCV/video/models/tsn/README.md
+4
-3
未找到文件。
fluid/PaddleCV/video/README.md
浏览文件 @
7ebda773
...
...
@@ -4,10 +4,10 @@
## 安装
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
2
/beginners_guide/install/index_cn.html
)
中的说明来更新PaddlePaddle。
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
3
/beginners_guide/install/index_cn.html
)
中的说明来更新PaddlePaddle。
## 简介
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含
5个
视频分类模型,后续我们会不断的扩展到其他更多场景。
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含视频分类模型,后续我们会不断的扩展到其他更多场景。
目前视频分类模型包括:
...
...
fluid/PaddleCV/video/models/attention_cluster/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -39,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
bash scripts/train/train_attention_cluster.sh
-
可下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Youtube-8M数据集中已抽取好的
`rgb`
和
`audio`
数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的
`seg_num`
参数指定。
...
...
@@ -64,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
使用
`scripts/test/test_attention_cluster.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
当取如下参数时:
...
...
@@ -96,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
模型推断结果存储于
`AttentionCluster_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/attention_lstm/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -37,8 +36,8 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
AttentionLSTM模型使用8卡Nvidia Tesla P40来训练的,总的batch size数是1024。
### 使用
我们提供的
预训练模型做finetune
请先将我们提供的
[
PaddleAttentionLSTM
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加
`--resume`
为所保存的预模型存放路径。
### 使用预训练模型做finetune
请先将我们提供的
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加
`--resume`
为所保存的预模型存放路径。
## 模型评估
可通过如下两种方式进行模型评估:
...
...
@@ -52,7 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
使用
`scripts/test/test_attention_LSTM.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
使用Paddle Fluid实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。
...
...
@@ -87,7 +86,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
模型推断结果存储于
`AttentionLSTM_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionLSTM
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/nextvlad/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 算法介绍
...
...
@@ -28,9 +27,9 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
bash ./scripts/train/train_nextvlad.sh
### 使用
我们提供的
预训练模型做finetune
### 使用预训练模型做finetune
请先将我们提供的预训练模型
[
PaddleNeXtVLAD
](
https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
请先将我们提供的预训练模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
使用4卡Nvidia Tesla P40,总的batch size数是160。
...
...
fluid/PaddleCV/video/models/stnet/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -39,6 +38,8 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
bash scripts/train/train_attention_stnet.sh
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取
`seg_len`
帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**训练策略:**
...
...
@@ -54,7 +55,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
pip install paddlepaddle
\_
gpu==1.3.0.post85
或者在paddpaddle的whl包
[
下载页面
](
http://paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/install/Tables.html/#permalink-4--whl-release
)
选择下载cuda8.0
\_
cudnn5
\_
avx
\_
mkl对应的whl包安装。
关于安装PaddlePaddle的详细操作请参考
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
2
/beginners_guide/install/index_cn.html
)
。
关于安装PaddlePaddle的详细操作请参考
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
3
/beginners_guide/install/index_cn.html
)
。
## 模型评估
...
...
@@ -70,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
使用
`scripts/test/test_attention_stnet.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleStNet
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行评估
当取如下参数时:
...
...
@@ -99,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
模型推断结果存储于
`STNET_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleStNet
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/tsn/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -34,6 +33,8 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
bash scripts/train/train_attention_tsn.sh
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**训练策略:**
...
...
@@ -55,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
使用
`scripts/test/test_attention_tnsn.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleTSN
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
...
...
@@ -76,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
模型推断结果存储于
`TSN_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleTSN
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行推断
## 参考论文
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录