关于PLATO训练过程中负样本的构造问题
Created by: jiqiujia
从源代码上看(https://github.com/PaddlePaddle/models/blob/release/1.6/PaddleNLP/Research/Dialogue-PLATO/models/unified_transformer.py#L326),负样本的构造貌似是直接将正样本做了个反转? 如果是这样的话,基于反转构造的负样本会不会太简单了,导致这是个trivial loss?
Created by: jiqiujia
从源代码上看(https://github.com/PaddlePaddle/models/blob/release/1.6/PaddleNLP/Research/Dialogue-PLATO/models/unified_transformer.py#L326),负样本的构造貌似是直接将正样本做了个反转? 如果是这样的话,基于反转构造的负样本会不会太简单了,导致这是个trivial loss?