transformer训练大规模数据时数据读取与模型训练怎么并行
Created by: yuyy0823
paddle 版本为1.5.2 使用gpu训练,CUDA 8 尝试用paddle在自定义数据实现multi-head self attention功能,参考https://aistudio.baidu.com/aistudio/projectDetail/122281中的数据处理代码,运行发现代码先把数据全部加载到内存再开始训练,而我的训练数据很大,全加载到内存不太现实,请问有什么好的解决方法吗?或者有其他一边读数据一边训练的multi-head self attention实现代码参考吗? 找到一个类似的issuehttps://github.com/PaddlePaddle/models/issues/4208,但是没有回复。