paddle的sparse update原理
Created by: cszhou
Hi, 在使用paddle v1和v2的过程中,在sparse update上遇到一些坑。 (1) 使用v2的时候,遇到开启sparse update但是训练效率并没有提升的问题。 (2) 现在用v1的时候, 开启sparse update的时候,trainner count不能为8,只能为1,否则出现一个现象:第一个batch的loss就为0,此后一直不变。见 #5670 (closed) 不开启sparse update的时候,trainer count为1的时候,报错,request.ParseFromString(str)
在使用过程中,并不明白sparse update的工作机制,请教下,是否有文档查看开启sparse 后参数更新的工作原理?