问题关于ERNIE句对匹配预测在run_classifier.py和infer_classifyer.py的差距
Created by: kevin3567
我有一个问题关于QQP数据集的句对匹配标注预测在ERNIE-repro上。 在同样的数据集上(QQP的dev.tsv),用infer_classifyer.py在最后的checkpoint预测出的标注与在run_classifier.py在训练完成时test生成的标注有很大的不同。而且前者(infer_classifyer)与实际ground标注的准确率很低(acc=0.6)。请问这种情况有由什么原因造成,还是infer_classifyer的应用方法不对?
一下为运行infer_classifyer的命令 (MODEL_PATH是model.en.2.0, TASK_DATA_PATH是glue_data_processed/QQP):
python3 -u ernie/infer_classifyer.py
--ernie_config_path ${MODEL_PATH}/ernie_config.json
--init_checkpoint checkpoints/step_34114/
--predict_set ${TASK_DATA_PATH}/dev.tsv
--vocab_path ${MODEL_PATH}/vocab.txt
--num_labels 2
--save_inference_model_path ./saved_model