在finetune_and_eval结束后,如何获取验证集和测试集Top1等各项指标
Created by: mrhan36
【期望特性】 应用paddehub,在finetune_and_eval结束后,期望能通过task.property的方式获取验证集和测试集Top1,top5准确率,和F1值等各项指标。
【场景】:场景1. 如写论文需要相关指标,场景2. 训练完后想知道在验证集上和测试集上的各项指标,用来比较各种方法和参数的优劣。目前的API缺点是只在屏幕输出训练集,验证集和测试集的acc,不显示其他指标。而且,如果本地计算机关机后重启,或者关闭浏览器后再次进入Aistudio,屏幕上的训练结果也不会再出现。完全搞不清训练进度。
【目前情况】 目前仅可通过task.best_score可获取验证集最好准确率。功能非常有限。应用task._calculate_metrics(run_states)可获得acc和F1(不清楚是哪个数据集的指标),但无法分别获得各验证集和测试集的指标。
【建议方案】增加task.val_output和task.test_outpu属性,通过这两个属性返回对应数据集合的TOP1,TOP5,F1等指标。