diff --git a/fluid/PaddleCV/video/README.md b/fluid/PaddleCV/video/README.md index 3872ce5ff7b9927ede102f0832f1a70d050ebae0..8f917efd903b7160f3a35ed9d3540c4f538670ca 100644 --- a/fluid/PaddleCV/video/README.md +++ b/fluid/PaddleCV/video/README.md @@ -51,7 +51,7 @@ python train.py --model-name=STNET 视频模型库同时提供了快速训练脚本，脚本位于`scripts/train`目录下，可通过如下命令启动训练: ``` bash -sh scripts/train/train_stnet.sh +bash scripts/train/train_stnet.sh ``` - 请根据`CUDA_VISIBLE_DEVICES`指定卡数修改`config`文件中的`num_gpus`和`batch_size`配置。 @@ -75,5 +75,5 @@ sh scripts/train/train_stnet.sh ## 版本更新 -- 3/2019: 新增模型库 +- 3/2019: 新增模型库，发布Attention Cluster，Attention LSTM，NeXtVLAD，StNet，TSN五个视频分类模型。 diff --git a/fluid/PaddleCV/video/models/attention_cluster/README.md b/fluid/PaddleCV/video/models/attention_cluster/README.md index e188b0f7dc2e278fd59a2593a22f34c18aaaa952..9f538f86dc02be3a1f2795f36a1d55da2355dae6 100644 --- a/fluid/PaddleCV/video/models/attention_cluster/README.md +++ b/fluid/PaddleCV/video/models/attention_cluster/README.md @@ -13,7 +13,7 @@ ## 模型简介 -Attention Cluster为百度自研模型，该模型是ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据，Attention Cluster结构如下图所示。 +Attention Cluster模型为ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio数据，Attention Cluster结构如下图所示。


@@ -38,7 +38,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请 bash scripts/train/train_attention_cluster.sh -- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发 +- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发 **数据读取器说明：** 模型读取Youtube-8M数据集中已抽取好的`rgb`和`audio`数据，对于每个视频的数据，均匀采样100帧，该值由配置文件中的`seg_num`参数指定。 @@ -63,7 +63,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请 - 使用`scripts/test/test_attention_cluster.sh`进行评估时，需要修改脚本中的`--weights`参数指定需要评估的权重。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行评估 当取如下参数时: @@ -95,7 +95,7 @@ Attention Cluster模型使用2nd-Youtube-8M数据集, 数据下载及准备请 - 模型推断结果存储于`AttentionCluster_infer_result`中，通过`pickle`格式存储。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_cluster_youtube8m.tar.gz)进行推断 ## 参考论文 diff --git a/fluid/PaddleCV/video/models/attention_lstm/README.md b/fluid/PaddleCV/video/models/attention_lstm/README.md index 5323550a4edafb858a67d949202be82c4bcfbdf2..fe4f638ff33ff7ce9e6716b5209305be6d663dfb 100644 --- a/fluid/PaddleCV/video/models/attention_lstm/README.md +++ b/fluid/PaddleCV/video/models/attention_lstm/README.md @@ -51,10 +51,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集，关于数据部分请参考[ - 使用`scripts/test/test_attention_LSTM.sh`进行评估时，需要修改脚本中的`--weights`参数指定需要评估的权重。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估 - - -使用Paddle Fluid实现了论文中的单模型结构，使用2nd-Youtube-8M的train数据集作为训练集，在val数据集上做测试。 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行评估 模型参数列表如下： @@ -86,7 +83,7 @@ AttentionLSTM模型使用2nd-Youtube-8M数据集，关于数据部分请参考[ - 模型推断结果存储于`AttentionLSTM_infer_result`中，通过`pickle`格式存储。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/attention_lstm_youtube8m.tar.gz)进行推断 ## 参考论文 diff --git a/fluid/PaddleCV/video/models/nextvlad/README.md b/fluid/PaddleCV/video/models/nextvlad/README.md index c928f56b172c7ed8144d110d22f95a8ea2c08540..82404db0634e56d5e69aa15e086efb13d271f1f8 100644 --- a/fluid/PaddleCV/video/models/nextvlad/README.md +++ b/fluid/PaddleCV/video/models/nextvlad/README.md @@ -43,7 +43,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数 用户可以下载我们的预训练模型参数，或者使用自己训练好的模型参数，请在 - ./scripts/test/test_nextvald.sh + bash ./scripts/test/test_nextvald.sh 文件中修改--weights参数为保存模型参数的目录。运行 @@ -74,7 +74,7 @@ NeXtVLAD模型使用2nd-Youtube-8M数据集, 数据下载及准备请参考[数 用户可以下载我们的预训练模型参数，或者使用自己训练好的模型参数，请在 - ./scripts/infer/infer_nextvald.sh + bash ./scripts/infer/infer_nextvald.sh 文件中修改--weights参数为保存模型参数的目录，运行如下脚本 diff --git a/fluid/PaddleCV/video/models/stnet/README.md b/fluid/PaddleCV/video/models/stnet/README.md index 20dc7679e74df5bb9751544342e98db3c5d49098..2ded7293f491bbf46542d48dc446f7e9f24c549e 100644 --- a/fluid/PaddleCV/video/models/stnet/README.md +++ b/fluid/PaddleCV/video/models/stnet/README.md @@ -13,7 +13,7 @@ ## 模型简介 -StNet为百度自研模型，该框架为百度在ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架，本次开源的是基于ResNet50实现的StNet模型，基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念，在super-image上进行2D卷积，建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖，最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示： +StNet模型框架为ActivityNet Kinetics Challenge 2018中夺冠的基础网络框架，本次开源的是基于ResNet50实现的StNet模型，基于其他backbone网络的框架用户可以依样配置。该模型提出“super-image"的概念，在super-image上进行2D卷积，建模视频中局部时空相关性。另外通过temporal modeling block建模视频的全局时空依赖，最后用一个temporal Xception block对抽取的特征序列进行长时序建模。StNet主体网络结构如下图所示：


@@ -38,7 +38,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集 bash scripts/train/train_stnet.sh -- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发 +- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发 **数据读取器说明：** 模型读取Kinetics-400数据集中的`mp4`数据，每条数据抽取`seg_num`段，每段抽取`seg_len`帧图像，对每帧图像做随机增强后，缩放至`target_size`。 @@ -71,7 +71,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集 - 使用`scripts/test/test_stnet.sh`进行评估时，需要修改脚本中的`--weights`参数指定需要评估的权重。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行评估 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行评估 当取如下参数时: @@ -100,7 +100,7 @@ StNet的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集 - 模型推断结果存储于`STNET_infer_result`中，通过`pickle`格式存储。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行推断 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/stnet_kinetics.tar.gz)进行推断 ## 参考论文 diff --git a/fluid/PaddleCV/video/models/tsn/README.md b/fluid/PaddleCV/video/models/tsn/README.md index 3febae2d5c4a8b5f39d1f4f517d736b1000fb6b9..a21e048805437f74be3c16c7b9a31d75cd347b58 100644 --- a/fluid/PaddleCV/video/models/tsn/README.md +++ b/fluid/PaddleCV/video/models/tsn/README.md @@ -33,7 +33,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。 bash scripts/train/train_tsn.sh -- 可下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)通过`--pretrain`指定权重存放路径进行finetune等开发 +- 可下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)通过`--resume`指定权重存放路径进行finetune等开发 **数据读取器说明：** 模型读取Kinetics-400数据集中的`mp4`数据，每条数据抽取`seg_num`段，每段抽取1帧图像，对每帧图像做随机增强后，缩放至`target_size`。 @@ -56,7 +56,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。 - 使用`scripts/test/test_tsn.sh`进行评估时，需要修改脚本中的`--weights`参数指定需要评估的权重。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行评估 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行评估 当取如下参数时，在Kinetics400的validation数据集下评估精度如下: @@ -77,7 +77,7 @@ TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。 - 模型推断结果存储于`TSN_infer_result`中，通过`pickle`格式存储。 -- 若未指定`--weights`参数，脚本会下载Paddle release权重[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行推断 +- 若未指定`--weights`参数，脚本会下载已发布模型[model](https://paddlemodels.bj.bcebos.com/video_classification/tsn_kinetics.tar.gz)进行推断 ## 参考论文