paddle.reader.shuffle的buf_size设置影响训练速度
Created by: 333caowei
train_reader = paddle.batch(
paddle.reader.shuffle(
reader.train_reader(
train_data_dir), buf_size=BATCH_SIZE*100),
batch_size=BATCH_SIZE)
buf_size用于控制加载数据的缓存大小,但是我发现每次在buffer切换时候都会花费一个较长时间,例如buf_size=BATCH_SIZE*100时,当batch从90->100时候进行一轮切换,切换耗时较大:
已经使用了py_reader进行数据载入,但是发现并不能解决这个问题,不知有何办法?