From 6a781aef33cc9c059a527435df2a7f15b185b9ac Mon Sep 17 00:00:00 2001 From: xiaoting <31891223+tink2123@users.noreply.github.com> Date: Tue, 23 Nov 2021 15:06:07 +0800 Subject: [PATCH] format serving dev doc (#5384) * format serving dev doc * rm gateway --- .../development_specification_docs/serving.md | 15 ++++++--------- 1 file changed, 6 insertions(+), 9 deletions(-) diff --git a/docs/tipc_test/development_specification_docs/serving.md b/docs/tipc_test/development_specification_docs/serving.md index d5a145cd..161580d3 100644 --- a/docs/tipc_test/development_specification_docs/serving.md +++ b/docs/tipc_test/development_specification_docs/serving.md @@ -28,9 +28,11 @@ 可以建立的 CI/CE 机制包括: - 1. **不训练,全量数据走通开源模型 PaddleServing 预测,并验证模型预测速度和精度是否符合设定预期;(单模型30分钟内) [保证] ** - a. 保证 Serving 各链条走通,可以正常部署,得到正确预测结果(QA添加中) - b. 预测资源占用合理(显存)(QA添加中) + 1. 不训练,全量数据走通开源模型 PaddleServing 预测,并验证模型预测速度和精度是否符合设定预期;(单模型30分钟内)[保证] + + a. 保证 Serving 各链条走通,可以正常部署,得到正确预测结果 + + b. 预测资源占用合理(显存) 注:由于 CI 有时间限制,所以在测试的时候需要限制运行时间,所以需要构建一个很小的数据集完成测试。 @@ -53,11 +55,6 @@ - C++ (可选) - Linux GPU上不同batchsize,是否开启TensorRT,不同预测精度(FP32,FP16,INT8)的运行状态 **(必选)** - Linux CPU上不同batchsize,是否开启MKLDNN,不同预测精度(FP32,FP16,INT8)的运行状态 **(必选)** -- 安全设置配置(可选,只支持C++部署) - - 是否启用安全设置 - - 是否启用安全网管 - - 是否启用模型加解密 - - 安全网管+模型加解密 - 协议配置 **(必选)**: - 单模型服务,HTTP协议 (可选) - Pipiline服务,HTTP协议(可选) @@ -167,7 +164,7 @@ PaddleServing 测试链条无需接入 AutoLog 工具包,注意日志导出名 参数说明: |行号 | 参数 | 参数介绍 | -|---|---|---|---| +|---|---|---| |1 | model_name | 模型名称 | |2 | python | python版本 | |3 | trans\_model: -m paddle\_serving\_client.convert | serving 模型转化命令| -- GitLab