Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
22ab12f0
M
models
项目概览
PaddlePaddle
/
models
大约 1 年 前同步成功
通知
222
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
22ab12f0
编写于
3月 01, 2019
作者:
S
SunGaofeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix dataset/readme
上级
eb5e55d4
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
27 addition
and
24 deletion
+27
-24
fluid/PaddleCV/video/dataset/README.md
fluid/PaddleCV/video/dataset/README.md
+27
-24
未找到文件。
fluid/PaddleCV/video/dataset/README.md
浏览文件 @
22ab12f0
...
...
@@ -10,13 +10,13 @@
请使用Youtube-8M官方链接分别下载
[
训练集
](
http://us.data.yt8m.org/2/frame/train/index.html
)
和
[
验证集
](
http://us.data.yt8m.org/2/frame/validate/index.html
)
。每个链接里各提供了3844个文件的下载地址,用户也可以使用官方提供的
[
下载脚本
](
https://research.google.com/youtube8m/download.html
)
下载数据。数据下载完成后,将会得到3844个训练数据文件和3844个验证数据文件(tfrecord格式)。
假设存放视频模型代码库的主目录为: Code
\_
Base
\_
Root,进入dataset/youtube8m目录
cd dataset/youtube8m
cd dataset/youtube8m
在youtube8m下新建目录tf/train和tf/val
mkdir tf && cd tf
mkdir tf && cd tf
mkdir train && mkdir val
mkdir train && mkdir val
并分别将下载的train和validate数据存放在其中。
...
...
@@ -26,20 +26,20 @@
在dataset/youtube8m 目录下新建目录pkl/train和pkl/val
cd dataset/youtube8m
cd dataset/youtube8m
mkdir pkl && cd pkl
mkdir pkl && cd pkl
mkdir train && mkdir val
mkdir train && mkdir val
转化文件格式(tfrecord -> pkl),进入dataset/youtube8m目录,运行脚本
python tf2pkl.py ./tf/train ./pkl/train
python tf2pkl.py ./tf/train ./pkl/train
和
python tf2pkl.py ./tf/val ./pkl/val
python tf2pkl.py ./tf/val ./pkl/val
分别将train和validate数据集转化为pkl文件。tf2pkl.py文件运行时需要两个参数,分别是数据源tf文件存放路径和转化后的pkl文件存放路径。
...
...
@@ -49,9 +49,9 @@
进入dataset/youtube8m目录
ls ${Code
\_
Base
\_
Root}/dataset/youtube8m/pkl/train/
*
> train.list
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/train/* > train.list
ls ${Code
\_
Base
\_
Root}/dataset/youtube8m/pkl/val/
*
> val.list
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/val/* > val.list
在dataset/youtube8m目录下将生成两个文件,train.list和val.list,每一行分别保存了一个pkl文件的绝对路径。
...
...
@@ -62,11 +62,11 @@ Kinetics数据集是DeepMind公开的大规模视频动作识别数据集,有K
### mp4视频下载
在Code
\_
Base
\_
Root目录下创建文件夹
cd ${Code
\_
Base
\_
Root}/dataset && mkdir kinetics
cd ${Code\_Base\_Root}/dataset && mkdir kinetics
cd kinetics && mkdir data
\_
k400 && cd data
\_
k400
cd kinetics && mkdir data\_k400 && cd data\_k400
mkdir train
\_
mp4 && mkdir val
\_
mp4
mkdir train\_mp4 && mkdir val\_mp4
ActivityNet官方提供了Kinetics的下载工具,具体参考其
[
官方repo
](
https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics
)
即可下载Kinetics400的mp4视频集合。将kinetics400的训练与验证集合分别下载到dataset/kinetics/data
\_
k400/train
\_
mp4与dataset/kinetics/data
\_
k400/val
\_
mp4。
...
...
@@ -76,39 +76,42 @@ ActivityNet官方提供了Kinetics的下载工具,具体参考其[官方repo ]
在 dataset/kinetics/data
\_
k400目录下创建目录train
\_
pkl和val
\_
pkl
cd ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400
cd ${Code\_Base\_Root}/dataset/kinetics/data\_k400
mkdir train
\_
pkl && mkdir val
\_
pkl
mkdir train\_pkl && mkdir val\_pkl
进入${Code
\_
Base
\_
Root}/dataset/kinetics目录,使用video2pkl.py脚本进行数据转化。首先需要下载
[
train
](
https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_train.csv
)
和
[
validation
](
https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_val.csv
)
数据集的文件列表。
首先生成预处理需要的数据集标签文件
python generate
\_
label.py kinetics-400
\_
train.csv kinetics400
\_
label.txt
python generate\_label.py kinetics-400\_train.csv kinetics400\_label.txt
然后执行如下程序:
python video2pkl.py kinetics-400
\_
train.csv $Source
\_
dir $Target
\_
dir 8 #以8个进程为例
python video2pkl.py kinetics-400\_train.csv $Source\_dir $Target\_dir 8 #以8个进程为例
对于train数据,
Source
\_
dir = ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/train
\_
mp4
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_mp4
Target
\_
dir = ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/train
\_
pkl
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl
对于val数据,
Source
\_
dir = ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/val
\_
mp4
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_mp4
Target
\_
dir = ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/val
\_
pkl
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl
这样即可将mp4文件解码并保存为pkl文件。
### 生成训练和验证集list
cd ${Code
\_
Base
\_
Root}/dataset/kinetics
ls ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/train
\_
pkl /
*
> train.list
ls ${Code
\_
Base
\_
Root}/dataset/kinetics/data
\_
k400/val
\_
pkl /
*
> val.list
cd ${Code\_Base\_Root}/dataset/kinetics
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl /* > train.list
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl /* > val.list
即可生成相应的文件列表,train.list和val.list的每一行表示一个pkl文件的绝对路径。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录