Created by: Biaocsu

因为是长文本，我将max_seq_len设置为512，由于显存限制batch_size设置10，epoch=3。利用ERNIE进行fine-tune时15个小时一个epoch都没跑完（大概1/2个epoch），然而利用pytorch_bert同样时间已经fine-tune结束了。请问有什么好的建议吗？