提交 04918c45 编写于 作者: D dengkaipeng

change pretrain to resume

上级 0bd319e0
......@@ -51,7 +51,7 @@ python train.py --model-name=STNET
视频模型库同时提供了快速训练脚本,脚本位于`scripts/train`目录下,可通过如下命令启动训练:
``` bash
sh scripts/train/train_stnet.sh
bash scripts/train/train_stnet.sh
```
- 请根据`CUDA_VISIBLE_DEVICES`指定卡数修改`config`文件中的`num_gpus``batch_size`配置。
......@@ -75,5 +75,5 @@ sh scripts/train/train_stnet.sh
## 版本更新
- 3/2019: 新增模型库
- 3/2019: 新增模型库,发布Attention Cluster,Attention LSTM,NeXtVLAD,StNet,TSN五个视频分类模型。
......@@ -13,7 +13,7 @@
## 模型简介
Attention Cluster为百度自研模型,该模型是ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据,Attention Cluster结构如下图所示。
Attention Cluster模型为ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据,Attention Cluster结构如下图所示。
<p align="center">
<img src="../../images/attention_cluster.png" height=300 width=400 hspace='10'/> <br />
......@@ -38,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
bash scripts/train/train_attention_cluster.sh
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Youtube-8M数据集中已抽取好的`rgb``audio`数据,对于每个视频的数据,均匀采样100帧,该值由配置文件中的`seg_num`参数指定。
......@@ -63,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
- 使用`scripts/test/test_attention_cluster.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估
当取如下参数时:
......@@ -95,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请
- 模型推断结果存储于`AttentionCluster_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断
## 参考论文
......
......@@ -51,10 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
- 使用`scripts/test/test_attention_LSTM.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估
使用Paddle Fluid实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估
模型参数列表如下:
......@@ -86,7 +83,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集,关于数据部分请参考[
- 模型推断结果存储于`AttentionLSTM_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断
## 参考论文
......
......@@ -43,7 +43,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
./scripts/test/test_nextvald.sh
bash ./scripts/test/test_nextvald.sh
文件中修改--weights参数为保存模型参数的目录。运行
......@@ -74,7 +74,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数
用户可以下载我们的预训练模型参数,或者使用自己训练好的模型参数,请在
./scripts/infer/infer_nextvald.sh
bash ./scripts/infer/infer_nextvald.sh
文件中修改--weights参数为保存模型参数的目录,运行如下脚本
......
......@@ -13,7 +13,7 @@
## 模型简介
StNet为百度自研模型,该框架为百度在ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架,本次开源的是基于ResNet50实现的StNet模型,基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念,在super-image上进行2D卷积,建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖,最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示:
StNet模型框架为ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架,本次开源的是基于ResNet50实现的StNet模型,基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念,在super-image上进行2D卷积,建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖,最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示:
<p align="center">
<img src="../../images/StNet.png" height=300 width=500 hspace='10'/> <br />
......@@ -38,7 +38,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
bash scripts/train/train_stnet.sh
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Kinetics-400数据集中的`mp4`数据,每条数据抽取`seg_num`段,每段抽取`seg_len`帧图像,对每帧图像做随机增强后,缩放至`target_size`
......@@ -71,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
- 使用`scripts/test/test_stnet.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行评估
当取如下参数时:
......@@ -100,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集
- 模型推断结果存储于`STNET_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行推断
## 参考论文
......
......@@ -33,7 +33,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
bash scripts/train/train_tsn.sh
- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发
- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发
**数据读取器说明:** 模型读取Kinetics-400数据集中的`mp4`数据,每条数据抽取`seg_num`段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至`target_size`
......@@ -56,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
- 使用`scripts/test/test_tsn.sh`进行评估时,需要修改脚本中的`--weights`参数指定需要评估的权重。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行评估
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
......@@ -77,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。
- 模型推断结果存储于`TSN_infer_result`中,通过`pickle`格式存储。
- 若未指定`--weights`参数,脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行推断
- 若未指定`--weights`参数,脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行推断
## 参考论文
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册