Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
weixin_51232023
models
提交
7ebda773
M
models
项目概览
weixin_51232023
/
models
与 Fork 源项目一致
Fork自
PaddlePaddle / models
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
7ebda773
编写于
3月 01, 2019
作者:
D
dengkaipeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix pretrain name
上级
274d4b46
变更
6
隐藏空白更改
内联
并排
Showing
6 changed file
with
20 addition
and
21 deletion
+20
-21
fluid/PaddleCV/video/README.md
fluid/PaddleCV/video/README.md
+2
-2
fluid/PaddleCV/video/models/attention_cluster/README.md
fluid/PaddleCV/video/models/attention_cluster/README.md
+3
-4
fluid/PaddleCV/video/models/attention_lstm/README.md
fluid/PaddleCV/video/models/attention_lstm/README.md
+4
-5
fluid/PaddleCV/video/models/nextvlad/README.md
fluid/PaddleCV/video/models/nextvlad/README.md
+2
-3
fluid/PaddleCV/video/models/stnet/README.md
fluid/PaddleCV/video/models/stnet/README.md
+5
-4
fluid/PaddleCV/video/models/tsn/README.md
fluid/PaddleCV/video/models/tsn/README.md
+4
-3
未找到文件。
fluid/PaddleCV/video/README.md
浏览文件 @
7ebda773
...
...
@@ -4,10 +4,10 @@
## 安装
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
2
/beginners_guide/install/index_cn.html
)
中的说明来更新PaddlePaddle。
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
3
/beginners_guide/install/index_cn.html
)
中的说明来更新PaddlePaddle。
## 简介
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含
5个
视频分类模型,后续我们会不断的扩展到其他更多场景。
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含视频分类模型,后续我们会不断的扩展到其他更多场景。
目前视频分类模型包括:
...
...
fluid/PaddleCV/video/models/attention_cluster/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -39,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
bash scripts/train/train_attention_cluster.sh
-
可下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Youtube-8M数据集中已抽取好的
`rgb`
和
`audio`
数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的
`seg_num`
参数指定。
...
...
@@ -64,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
使用
`scripts/test/test_attention_cluster.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行评估
当取如下参数时:
...
...
@@ -96,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
-
模型推断结果存储于
`AttentionCluster_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/attention_lstm/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -37,8 +36,8 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
AttentionLSTM模型使用8卡Nvidia Tesla P40来训练的,总的batch size数是1024。
### 使用
我们提供的
预训练模型做finetune
请先将我们提供的
[
PaddleAttentionLSTM
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加
`--resume`
为所保存的预模型存放路径。
### 使用预训练模型做finetune
请先将我们提供的
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加
`--resume`
为所保存的预模型存放路径。
## 模型评估
可通过如下两种方式进行模型评估:
...
...
@@ -52,7 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
使用
`scripts/test/test_attention_LSTM.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionCluster
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行评估
使用Paddle Fluid实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。
...
...
@@ -87,7 +86,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
-
模型推断结果存储于
`AttentionLSTM_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleAttentionLSTM
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/nextvlad/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 算法介绍
...
...
@@ -28,9 +27,9 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
bash ./scripts/train/train_nextvlad.sh
### 使用
我们提供的
预训练模型做finetune
### 使用预训练模型做finetune
请先将我们提供的预训练模型
[
PaddleNeXtVLAD
](
https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
请先将我们提供的预训练模型
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz
)
下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
使用4卡Nvidia Tesla P40,总的batch size数是160。
...
...
fluid/PaddleCV/video/models/stnet/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -39,6 +38,8 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
bash scripts/train/train_attention_stnet.sh
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取
`seg_len`
帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**训练策略:**
...
...
@@ -54,7 +55,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
pip install paddlepaddle
\_
gpu==1.3.0.post85
或者在paddpaddle的whl包
[
下载页面
](
http://paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/install/Tables.html/#permalink-4--whl-release
)
选择下载cuda8.0
\_
cudnn5
\_
avx
\_
mkl对应的whl包安装。
关于安装PaddlePaddle的详细操作请参考
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
2
/beginners_guide/install/index_cn.html
)
。
关于安装PaddlePaddle的详细操作请参考
[
安装文档
](
http://www.paddlepaddle.org/documentation/docs/zh/1.
3
/beginners_guide/install/index_cn.html
)
。
## 模型评估
...
...
@@ -70,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
使用
`scripts/test/test_attention_stnet.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleStNet
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行评估
当取如下参数时:
...
...
@@ -99,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
-
模型推断结果存储于
`STNET_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleStNet
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz
)
进行推断
## 参考论文
...
...
fluid/PaddleCV/video/models/tsn/README.md
浏览文件 @
7ebda773
...
...
@@ -9,7 +9,6 @@
-
[
模型评估
](
#模型评估
)
-
[
模型推断
](
#模型推断
)
-
[
参考论文
](
#参考论文
)
-
[
版本更新
](
#版本更新
)
## 模型简介
...
...
@@ -34,6 +33,8 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
bash scripts/train/train_attention_tsn.sh
-
可下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz
)
通过
`--pretrain`
指定权重存放路径进行finetune等开发
**数据读取器说明:**
模型读取Kinetics-400数据集中的
`mp4`
数据,每条数据抽取
`seg_num`
段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至
`target_size`
。
**训练策略:**
...
...
@@ -55,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
使用
`scripts/test/test_attention_tnsn.sh`
进行评估时,需要修改脚本中的
`--weights`
参数指定需要评估的权重。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleTSN
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行评估
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
...
...
@@ -76,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
-
模型推断结果存储于
`TSN_infer_result`
中,通过
`pickle`
格式存储。
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
PaddleTSN
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行推断
-
若未指定
`--weights`
参数,脚本会下载Paddle release权重
[
model
](
https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz
)
进行推断
## 参考论文
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录