未验证 提交 07202770 编写于 作者: T TeslaZhao 提交者: GitHub

Update PIPELINE_SERVING_CN.md

上级 353b481f
......@@ -642,7 +642,7 @@ Pipeline支持批量推理,通过增大batch size可以提高GPU利用率。Pi
- 指定一个块大小,从而缩小"极大"尺寸数据的作用范围
- 场景3:合并多个请求数据批量推理(auto-batching)
- 推理耗时明显长于前后处理,合并多个请求数据推理一次会提高吞吐和GPU利用率
- 要求多个request的数据的shape一致
- 要求多个request的数据的shape一致
| 接口 | 说明 |
| :------------------------------------------: | :-----------------------------------------: |
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册