Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
7265a185
M
models
项目概览
PaddlePaddle
/
models
大约 2 年 前同步成功
通知
232
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
7265a185
编写于
4月 06, 2019
作者:
S
SunGaofeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add readme for nonlocal dataset
上级
4442d9c2
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
27 addition
and
4 deletion
+27
-4
PaddleCV/video/README.md
PaddleCV/video/README.md
+2
-2
PaddleCV/video/dataset/README.md
PaddleCV/video/dataset/README.md
+4
-0
PaddleCV/video/dataset/nonlocal/README.md
PaddleCV/video/dataset/nonlocal/README.md
+19
-0
PaddleCV/video/dataset/nonlocal/generate_list.sh
PaddleCV/video/dataset/nonlocal/generate_list.sh
+2
-2
未找到文件。
PaddleCV/video/README.md
浏览文件 @
7265a185
...
...
@@ -12,11 +12,11 @@
|
[
StNet
](
./models/stnet/README.md
)
| 视频分类| AAAI'19提出的视频联合时空建模方法 |
|
[
TSM
](
./models/tsm/README.md
)
| 视频分类| |
|
[
TSN
](
./models/tsn/README.md
)
| 视频分类| ECCV'16提出的基于2D-CNN经典解决方案 |
|
[
N
ONLOCAL
](
./models/nonlocal_model/README.md
)
| 视频分类| |
|
[
N
on-local
](
./models/nonlocal_model/README.md
)
| 视频分类| |
### 主要特点
-
包含视频分类方向的多个主流领先模型,其中Attention LSTM,Attention Cluster和NeXtVLAD是比较流行的特征序列模型,TSN, TSM和StNet是End-to-End的视频分类模型。Attention LSTM模型速度快精度高,NeXtVLAD是2nd-Youtube-8M比赛中最好的单模型, TSN是基于2D-CNN的经典解决方案。Attention Cluster和StNet是百度自研模型,分别发表于CVPR2018和AAAI2019,是Kinetics600比赛第一名中使用到的模型。
-
包含视频分类方向的多个主流领先模型,其中Attention LSTM,Attention Cluster和NeXtVLAD是比较流行的特征序列模型,
Non-local,
TSN, TSM和StNet是End-to-End的视频分类模型。Attention LSTM模型速度快精度高,NeXtVLAD是2nd-Youtube-8M比赛中最好的单模型, TSN是基于2D-CNN的经典解决方案。Attention Cluster和StNet是百度自研模型,分别发表于CVPR2018和AAAI2019,是Kinetics600比赛第一名中使用到的模型。
-
提供了适合视频分类任务的通用骨架代码,用户可一键式高效配置模型完成训练和评测。
...
...
PaddleCV/video/dataset/README.md
浏览文件 @
7265a185
...
...
@@ -2,6 +2,7 @@
-
[
Youtube-8M
](
#Youtube-8M数据集
)
-
[
Kinetics
](
#Kinetics数据集
)
-
[
Non-local
](
#Non-local
)
## Youtube-8M数据集
这里用到的是YouTube-8M 2018年更新之后的数据集。使用官方数据集,并将TFRecord文件转化为pickle文件以便PaddlePaddle使用。Youtube-8M数据集官方提供了frame-level和video-level的特征,这里只需使用到frame-level的特征。
...
...
@@ -117,3 +118,6 @@ ActivityNet官方提供了Kinetics的下载工具,具体参考其[官方repo ]
即可生成相应的文件列表,train.list和val.list的每一行表示一个pkl文件的绝对路径。
## Non-local
Non-local模型也使用kinetics数据集,不过其数据处理方式和其他模型不一样,详细内容见
[
Non-local数据说明
](
./nonlocal/README.md
)
PaddleCV/video/dataset/nonlocal/README.md
0 → 100644
浏览文件 @
7265a185
# Non-local模型数据说明
在Non-local模型中,输入数据是mp4文件,在datareader部分的代码中,使用opencv读取mp4文件对视频进行解码和采样。train和valid数据随机选取起始帧的位置,对每帧图像做随机增强,短边缩放至[256, 320]之间的某个随机数,长边根据长宽比计算出来,截取出224x224大小的区域。test时每条视频会选取10个不同的位置作为起始帧,同时会选取三个不同的空间位置作为crop区域的起始点,这样每个视频会进行10x3次采样,对这30个样本的预测概率求和,选取概率最大的分类作为最终的预测结果。
## 数据下载
下载kinetics400数据,具体方法见
[
数据说明
](
../README.md
)
中kinetics数据部分,假设下载的mp4文件存放在DATADIR目录下,train和validation数据分别位于$DATADIR/train和$DATADIR/valid目录。在下载数据的时候,将所有视频的高度缩放至256,宽度通过长宽比计算出来。
## 下载官方数据列表
将官方提供的数据集文件表格
[
kinetics-400\_train.csv
](
https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_train.csv
)
和
[
kinetics-400\_val.csv
](
https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_val.csv
)
下载到此目录。
## 生成文件列表
打开generate
\_
list.sh,将其中的TRAIN
\_
DIR和VALID
\_
DIR修改成用户所保存的mp4文件路径,运行脚本
bash generate_list.sh
即可生成trainlist.txt、vallist.txt和testlist.txt。
PaddleCV/video/dataset/nonlocal/generate_list.sh
浏览文件 @
7265a185
...
...
@@ -2,8 +2,8 @@
TRAINLIST_DOWNLOAD
=
"kinetics-400_train.csv"
# path of the train and valid data
TRAIN_DIR
=
"/home/sungaofeng/docker/dockermount/data/compress/train_256"
VALID_DIR
=
"/home/sungaofeng/docker/dockermount/data/compress/val_256"
TRAIN_DIR
=
YOUR_TRAIN_DATA_DIR
# replace this with your train data dir
VALID_DIR
=
YOUR_VALID_DATA_DIR
# replace this with your valid data dir
python generate_filelist.py
$TRAINLIST_DOWNLOAD
$TRAIN_DIR
$VALID_DIR
trainlist.txt vallist.txt
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录