Created by: ceci3
batch norm: 多个单测case, 用于测试不同条件下,参数或输入的梯度是否正确,例如在global status 的情况下,其他变量的梯度计算是否正确。 instance norm: 多个单测case, 用来测试不同情况下参数或输入的梯度是否正确,例如部分变量 stop_gradient的情况下,剩下变量的梯度计算是都正确。 cos_sim: 多个单测case,分别用来测试其中一个输入stop_gradient ,另一个输入的梯度是否正确。
Created by: ceci3
batch norm: 多个单测case, 用于测试不同条件下,参数或输入的梯度是否正确,例如在global status 的情况下,其他变量的梯度计算是否正确。 instance norm: 多个单测case, 用来测试不同情况下参数或输入的梯度是否正确,例如部分变量 stop_gradient的情况下,剩下变量的梯度计算是都正确。 cos_sim: 多个单测case,分别用来测试其中一个输入stop_gradient ,另一个输入的梯度是否正确。