Created by: Jarlonyan

在调用paddle的CAPI的时候，如果有300个样本，现在有两种方式预测： (A) 将300个样本平均拆分成3份，然后用3个线程（每个线程负责100个样本）进行批量预测 (B)只用一个线程对300个样本进行批量预测。

请问A、B哪种方式耗时比较低？一般地做法是使用哪种方式？

我的理解，既然paddle中对矩阵运算做了优化，那么批量预测就够了。没有必要用多线程吧？