提交 7ebda773 编写于 作者: D dengkaipeng

fix pretrain name

上级 274d4b46
......@@ -4,10 +4,10 @@
## 安装
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据[安装文档](http://www.paddlepaddle.org/documentation/docs/zh/1.2/beginners_guide/install/index_cn.html)中的说明来更新PaddlePaddle。
在当前模型库运行样例代码需要PadddlePaddle Fluid v.1.2.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据[安装文档](http://www.paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/install/index_cn.html)中的说明来更新PaddlePaddle。
## 简介
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含5个视频分类模型,后续我们会不断的扩展到其他更多场景。
本教程期望给开发者提供基于PaddlePaddle的便捷、高效的使用深度学习算法解决视频理解、视频编辑、视频生成等一系列模型。目前我们包含视频分类模型,后续我们会不断的扩展到其他更多场景。
目前视频分类模型包括:
......
......@@ -9,7 +9,6 @@
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 模型简介
......@@ -39,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
bash scripts/train/train_attention_cluster.sh
- 可下载Paddle release权重[PaddleAttentionCluster](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Youtube-8M数据集中已抽取好的`rgb``audio`数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的`seg_num`参数指定。
......@@ -64,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
- 使用`scripts/test/test_attention_cluster.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleAttentionCluster](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估
当取如下参数时:
......@@ -96,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
- 模型推断结果存储于`AttentionCluster_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleAttentionCluster](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断
## 参考论文
......
......@@ -9,7 +9,6 @@
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 模型简介
......@@ -37,8 +36,8 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
- AttentionLSTM模型使用8卡Nvidia Tesla P40来训练的,总的batch size数是1024。
### 使用我们提供的预训练模型做finetune
请先将我们提供的[PaddleAttentionLSTM](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)下载到本地,并在上述脚本文件中添加`--resume`为所保存的预模型存放路径。
### 使用预训练模型做finetune
请先将我们提供的[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)下载到本地,并在上述脚本文件中添加`--resume`为所保存的预模型存放路径。
## 模型评估
可通过如下两种方式进行模型评估:
......@@ -52,7 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
- 使用`scripts/test/test_attention_LSTM.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleAttentionCluster](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估
使用Paddle Fluid实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。
......@@ -87,7 +86,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据本分请参考[
- 模型推断结果存储于`AttentionLSTM_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleAttentionLSTM](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断
## 参考论文
......
......@@ -9,7 +9,6 @@
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 算法介绍
......@@ -28,9 +27,9 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
bash ./scripts/train/train_nextvlad.sh
### 使用我们提供的预训练模型做finetune
### 使用预训练模型做finetune
请先将我们提供的预训练模型[PaddleNeXtVLAD](https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz)下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
请先将我们提供的预训练模型[model](https://paddlemodels.bj.bcebos.com/video_classification/nextvlad_youtube8m.tar.gz)下载到本地,并在上述脚本文件中添加--resume为所保存的预模型存放路径。
使用4卡Nvidia Tesla P40,总的batch size数是160。
......
......@@ -9,7 +9,6 @@
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 模型简介
......@@ -39,6 +38,8 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
bash scripts/train/train_attention_stnet.sh
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Kinetics-400数据集中的`mp4`数据,每条数据抽取`seg_num`段,每段抽取`seg_len`帧图像,对每帧图像做随机增强后,缩放至`target_size`
**训练策略:**
......@@ -54,7 +55,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
pip install paddlepaddle\_gpu==1.3.0.post85
或者在paddpaddle的whl包[下载页面](http://paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/install/Tables.html/#permalink-4--whl-release)选择下载cuda8.0\_cudnn5\_avx\_mkl对应的whl包安装。
关于安装PaddlePaddle的详细操作请参考[安装文档](http://www.paddlepaddle.org/documentation/docs/zh/1.2/beginners_guide/install/index_cn.html)
关于安装PaddlePaddle的详细操作请参考[安装文档](http://www.paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/install/index_cn.html)
## 模型评估
......@@ -70,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
- 使用`scripts/test/test_attention_stnet.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleStNet](https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz)进行评估
当取如下参数时:
......@@ -99,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
- 模型推断结果存储于`STNET_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleStNet](https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_stnet_kinetics.tar.gz)进行推断
## 参考论文
......
......@@ -9,7 +9,6 @@
- [模型评估](#模型评估)
- [模型推断](#模型推断)
- [参考论文](#参考论文)
- [版本更新](#版本更新)
## 模型简介
......@@ -34,6 +33,8 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
bash scripts/train/train_attention_tsn.sh
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Kinetics-400数据集中的`mp4`数据,每条数据抽取`seg_num`段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至`target_size`
**训练策略:**
......@@ -55,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
- 使用`scripts/test/test_attention_tnsn.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleTSN](https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz)进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
......@@ -76,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
- 模型推断结果存储于`TSN_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[PaddleTSN](https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_tsn_kinetics.tar.gz)进行推断
## 参考论文
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册