前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
Created by: mzchtx
有些时候会出现 GPU 性能较强或者预处理较复杂的情况,导致 GPU 打不满,CPU 成为瓶颈,希望通过将部分预处理逻辑放在 GPU 来充分发挥 GPU 性能。
通过 GPU 预处理后的数据本身是放在 GPU 显存的,能否直接传到预测接口进行预测?看了下 ZeroCopyTensor 和 PaddleTensor 都无法实现这种需求,是否有其他的方式?