推荐模型使用MKLDNN加速后,预测速度变慢
Created by: zds9204
我搭建了一个embedding+三层fc+relu的推荐系统模型。依赖厂内的预编译库baidu/lib/paddlepaddle@v1.6.1-gcc82-avx-mkl-mkldnn_PD_BL做预测。遇到如下问题:
- 打开优化config->SwitchIrOptim(true)后,打开MKLDNN(config->EnableMKLDNN()),网络预测速度在个人开发机上测试为0.7ms左右。关闭MKLDNN,网络预测速度在个人开发机上测试为0.4ms左右;
- 关闭优化后,无论是否打开MKLDNN,网络预测速度为0.5ms左右
请问这种情况是否正常?为何会出现这种情况?
由于模型和特征涉及到公司业务,不方便把它放在git上,相关人员可以和本人私聊提供可复现代码