Skip to content

S
Serving

PaddlePaddle / Serving
大约 1 年 前同步成功

通知 186
Star 833
Fork 253
S
Serving
已关闭
Opened by saxon_zh@saxon_zhOwner

可以开多个线程并行的推理么？小模型在单卡上gpu显存占用比较小，gpu利用率比较低

Created by: jeshxxx

现在是一个gpu卡部署了一个serving服务，但是gpu利用率不到30%，如果压测的话感觉就积压了，能在一个模型起多个推理线程并行跑么？