Serving性能相关问题
Created by: wangxicoding
见之前issue https://github.com/PaddlePaddle/Serving/issues/432 ,batch_size=1时,fetch的数据量约为22.63MB。profile图中共有三个连接进程,每个batch_size=1。
可能由于fetch数据量较大,postpro
部分占用时间较长,client_infer
后面也出现较长的空挡,不知道是否是网络传输的空挡。
进程间不同通信的空挡较大可能是由于fetch数据较大,进程处理数据 + OutPutQueue.put() + InputQueue.get() 耗时较长造成的