提交 22ab12f0 编写于 作者: S SunGaofeng

fix dataset/readme

上级 eb5e55d4
......@@ -10,13 +10,13 @@
请使用Youtube-8M官方链接分别下载[训练集](http://us.data.yt8m.org/2/frame/train/index.html)[验证集](http://us.data.yt8m.org/2/frame/validate/index.html)。每个链接里各提供了3844个文件的下载地址,用户也可以使用官方提供的[下载脚本](https://research.google.com/youtube8m/download.html)下载数据。数据下载完成后,将会得到3844个训练数据文件和3844个验证数据文件(tfrecord格式)。
假设存放视频模型代码库的主目录为: Code\_Base\_Root,进入dataset/youtube8m目录
cd dataset/youtube8m
cd dataset/youtube8m
在youtube8m下新建目录tf/train和tf/val
mkdir tf && cd tf
mkdir tf && cd tf
mkdir train && mkdir val
mkdir train && mkdir val
并分别将下载的train和validate数据存放在其中。
......@@ -26,20 +26,20 @@
在dataset/youtube8m 目录下新建目录pkl/train和pkl/val
cd dataset/youtube8m
cd dataset/youtube8m
mkdir pkl && cd pkl
mkdir pkl && cd pkl
mkdir train && mkdir val
mkdir train && mkdir val
转化文件格式(tfrecord -> pkl),进入dataset/youtube8m目录,运行脚本
python tf2pkl.py ./tf/train ./pkl/train
python tf2pkl.py ./tf/train ./pkl/train
python tf2pkl.py ./tf/val ./pkl/val
python tf2pkl.py ./tf/val ./pkl/val
分别将train和validate数据集转化为pkl文件。tf2pkl.py文件运行时需要两个参数,分别是数据源tf文件存放路径和转化后的pkl文件存放路径。
......@@ -49,9 +49,9 @@
进入dataset/youtube8m目录
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/train/* > train.list
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/train/* > train.list
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/val/* > val.list
ls ${Code\_Base\_Root}/dataset/youtube8m/pkl/val/* > val.list
在dataset/youtube8m目录下将生成两个文件,train.list和val.list,每一行分别保存了一个pkl文件的绝对路径。
......@@ -62,11 +62,11 @@ Kinetics数据集是DeepMind公开的大规模视频动作识别数据集,有K
### mp4视频下载
在Code\_Base\_Root目录下创建文件夹
cd ${Code\_Base\_Root}/dataset && mkdir kinetics
cd ${Code\_Base\_Root}/dataset && mkdir kinetics
cd kinetics && mkdir data\_k400 && cd data\_k400
cd kinetics && mkdir data\_k400 && cd data\_k400
mkdir train\_mp4 && mkdir val\_mp4
mkdir train\_mp4 && mkdir val\_mp4
ActivityNet官方提供了Kinetics的下载工具,具体参考其[官方repo ](https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics)即可下载Kinetics400的mp4视频集合。将kinetics400的训练与验证集合分别下载到dataset/kinetics/data\_k400/train\_mp4与dataset/kinetics/data\_k400/val\_mp4。
......@@ -76,39 +76,42 @@ ActivityNet官方提供了Kinetics的下载工具,具体参考其[官方repo ]
在 dataset/kinetics/data\_k400目录下创建目录train\_pkl和val\_pkl
cd ${Code\_Base\_Root}/dataset/kinetics/data\_k400
cd ${Code\_Base\_Root}/dataset/kinetics/data\_k400
mkdir train\_pkl && mkdir val\_pkl
mkdir train\_pkl && mkdir val\_pkl
进入${Code\_Base\_Root}/dataset/kinetics目录,使用video2pkl.py脚本进行数据转化。首先需要下载[train](https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_train.csv)[validation](https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics/data/kinetics-400_val.csv)数据集的文件列表。
首先生成预处理需要的数据集标签文件
python generate\_label.py kinetics-400\_train.csv kinetics400\_label.txt
python generate\_label.py kinetics-400\_train.csv kinetics400\_label.txt
然后执行如下程序:
python video2pkl.py kinetics-400\_train.csv $Source\_dir $Target\_dir 8 #以8个进程为例
python video2pkl.py kinetics-400\_train.csv $Source\_dir $Target\_dir 8 #以8个进程为例
对于train数据,
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_mp4
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_mp4
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl
对于val数据,
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_mp4
Source\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_mp4
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl
Target\_dir = ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl
这样即可将mp4文件解码并保存为pkl文件。
### 生成训练和验证集list
cd ${Code\_Base\_Root}/dataset/kinetics
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl /* > train.list
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl /* > val.list
cd ${Code\_Base\_Root}/dataset/kinetics
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/train\_pkl /* > train.list
ls ${Code\_Base\_Root}/dataset/kinetics/data\_k400/val\_pkl /* > val.list
即可生成相应的文件列表,train.list和val.list的每一行表示一个pkl文件的绝对路径。
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册