对于图片小但数量很大的数据集有什么好的处理方法?
Created by: yeyupiaoling
环境
- PaddlePaddle 1.3
- Ubuntu 16.04
- Python 3.5
问题
例如有很多的图片,大小为12*12
,这是非常小的,但是他的量很大。这样有两个问题。
第一,在Pycharm中打开会导致pycharm加载过多的文件而出现内存溢出。
第二,在训练过程中读取图片非常慢,训练时间很快,时间计划花在读取数据上。
有没有这样一个可能性,就是把这些众多的图片转换成一个二进制文件。
我觉得普通的压缩,再在训练中利用代码读取压缩包中的文件,这样的效率会更低。
有没有其他办法呢?