Paddle V2 lib在线预测性能较差问题
Created by: wuyan08
项目在线服务使用Paddle V2 lib CAPI进行预测时,发现V2 lib消耗CPU资源非常多、整机idle趋于0,导致预测性耗时过长,切换成V1 lib,CPU资源消耗和预测耗时明显下降,通过几组测试数据发现Paddle V2 与V1 lib性能差距为5倍左右。 DNN网络结构:输入2000+维,输出2维,隐层1024->512->512->256->256,采用全连接。单次请求预测50个样本。Paddle V1与V2 lib单机性能数据如下:
QPS | V1 lib CPU使用率 | V1 lib平均耗时 | V1 lib最大耗时 | V2 lib CPU使用率 | V2 lib平均耗时 | V2 lib最大耗时 1 0.2% 14ms 19ms 8% 6ms 19ms 10 1.6% 13ms 18ms 75% 16ms 181ms 25 4% 12ms 21ms 93% 14ms 655ms 50 7% 12ms 20ms 96% 64ms 116ms 100 15% 13ms 22ms 96% 64ms 123ms