Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
b5cf051d
S
Serving
项目概览
PaddlePaddle
/
Serving
大约 1 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
b5cf051d
编写于
5月 23, 2022
作者:
T
TeslaZhao
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update doc
上级
b50d2560
变更
6
隐藏空白更改
内联
并排
Showing
6 changed file
with
13 addition
and
13 deletion
+13
-13
doc/C++_Serving/ABTest_CN.md
doc/C++_Serving/ABTest_CN.md
+2
-2
doc/C++_Serving/Asynchronous_Framwork_CN.md
doc/C++_Serving/Asynchronous_Framwork_CN.md
+1
-1
doc/Python_Pipeline/Pipeline_Design_CN.md
doc/Python_Pipeline/Pipeline_Design_CN.md
+2
-2
doc/Python_Pipeline/Pipeline_Features_CN.md
doc/Python_Pipeline/Pipeline_Features_CN.md
+3
-3
doc/Python_Pipeline/Pipeline_Int_CN.md
doc/Python_Pipeline/Pipeline_Int_CN.md
+4
-4
doc/Python_Pipeline/Pipeline_Optimize_CN.md
doc/Python_Pipeline/Pipeline_Optimize_CN.md
+1
-1
未找到文件。
doc/C++_Serving/ABTest_CN.md
浏览文件 @
b5cf051d
...
@@ -19,7 +19,7 @@ ABTest 是一种功能测试方案,一般是为同一个产品目标制定多
...
@@ -19,7 +19,7 @@ ABTest 是一种功能测试方案,一般是为同一个产品目标制定多
Paddle Serving 的 ABTest 功能是基于 PYTHON SDK 和 多个服务端构成。每个服务端加载不同模型,在客户端上注册多个服务端地址和访问比例,最终确定访问。
Paddle Serving 的 ABTest 功能是基于 PYTHON SDK 和 多个服务端构成。每个服务端加载不同模型,在客户端上注册多个服务端地址和访问比例,最终确定访问。
<div
align=
center
>
<div
align=
center
>
<img
src=
'images/6-5_Cpp_ABTest_CN_1.png'
height =
"400"
align=
"middle"
/>
<img
src=
'
../
images/6-5_Cpp_ABTest_CN_1.png'
height =
"400"
align=
"middle"
/>
</div
</div
<a
name=
"2"
></a>
<a
name=
"2"
></a>
...
@@ -38,7 +38,7 @@ Paddle Serving 的 ABTest 功能是基于 PYTHON SDK 和 多个服务端构成
...
@@ -38,7 +38,7 @@ Paddle Serving 的 ABTest 功能是基于 PYTHON SDK 和 多个服务端构成
**一.安装 Paddle Serving Wheels**
**一.安装 Paddle Serving Wheels**
使用 ABTest 功能的前提是使用 PYTHON SDK,因此需要安装
`paddle_serving_client`
的 wheel 包。
[
安装方法
](
.
/2-1_
Docker_Images_CN.md
)
如下:
使用 ABTest 功能的前提是使用 PYTHON SDK,因此需要安装
`paddle_serving_client`
的 wheel 包。
[
安装方法
](
.
./
Docker_Images_CN.md
)
如下:
```
```
pip3 install paddle-serving-client==0.8.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install paddle-serving-client==0.8.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
...
...
doc/C++_Serving/Asynchronous_Framwork_CN.md
浏览文件 @
b5cf051d
...
@@ -107,7 +107,7 @@ python3 -m paddle_serving_server.serve --model resnet_v2_50_imagenet_model --por
...
@@ -107,7 +107,7 @@ python3 -m paddle_serving_server.serve --model resnet_v2_50_imagenet_model --por
使用异步模式,并开启动态批量后,并发测试不同 shape 数据时,吞吐性能大幅提升。
使用异步模式,并开启动态批量后,并发测试不同 shape 数据时,吞吐性能大幅提升。
<div
align=
center
>
<div
align=
center
>
<img
src=
'images/6-1_Cpp_Asynchronous_Framwork_CN_1.png'
height =
"600"
align=
"middle"
/>
<img
src=
'
../
images/6-1_Cpp_Asynchronous_Framwork_CN_1.png'
height =
"600"
align=
"middle"
/>
</div
</div
由于动态批量导致响应时长增长,经过测试,大多数场景下吞吐增量高于响应时长增长,尤其在高并发场景(client=70时),在响应时长增长 33% 情况下,吞吐增加 105%。
由于动态批量导致响应时长增长,经过测试,大多数场景下吞吐增量高于响应时长增长,尤其在高并发场景(client=70时),在响应时长增长 33% 情况下,吞吐增加 105%。
...
...
doc/Python_Pipeline/Pipeline_Design_CN.md
浏览文件 @
b5cf051d
...
@@ -333,13 +333,13 @@ service PipelineService {
...
@@ -333,13 +333,13 @@ service PipelineService {
-
pipeline/gateway/proto/gateway.proto
-
pipeline/gateway/proto/gateway.proto
-
pipeline/proto/pipeline_service.proto
-
pipeline/proto/pipeline_service.proto
修改后,需要
[
重新编译
](
)
修改后,需要
重新
[
编译 Paddle Serving
](
../Compile_CN.md
)
<a
name=
"3.3"
></a>
<a
name=
"3.3"
></a>
**三.自定义服务并发和模型配置**
**三.自定义服务并发和模型配置**
完整的配置信息可参考
[
配置信息
](
)
完整的配置信息可参考
[
配置信息
](
../Serving_Configure_CN.md
)
<a
name=
"3.4"
></a>
<a
name=
"3.4"
></a>
...
...
doc/Python_Pipeline/Pipeline_Features_CN.md
浏览文件 @
b5cf051d
...
@@ -23,7 +23,7 @@
...
@@ -23,7 +23,7 @@
## 安装与环境检查
## 安装与环境检查
在运行 Python Pipeline 服务前,确保当前环境下可部署且通过
[
安装指南
](
.
/2-0_Index
_CN.md
)
已完成安装。其次,
`v0.8.0`
及以上版本提供了环境检查功能,检验环境是否安装正确。
在运行 Python Pipeline 服务前,确保当前环境下可部署且通过
[
安装指南
](
.
./Install
_CN.md
)
已完成安装。其次,
`v0.8.0`
及以上版本提供了环境检查功能,检验环境是否安装正确。
输入以下命令,进入环境检查程序。
输入以下命令,进入环境检查程序。
```
python
```
python
...
@@ -91,7 +91,7 @@ shutil.Error: Destination path '/home/work/Pipeline_test_cpu/PipelineServingLogs
...
@@ -91,7 +91,7 @@ shutil.Error: Destination path '/home/work/Pipeline_test_cpu/PipelineServingLogs
## 服务启动与关闭
## 服务启动与关闭
服务启动需要三类文件,PYTHON 程序、模型文件和配置文件。以
[
Python Pipeline 快速部署案例
](
.
/3-2_QuickStart_Pipeline_OCR
_CN.md
)
为例,
服务启动需要三类文件,PYTHON 程序、模型文件和配置文件。以
[
Python Pipeline 快速部署案例
](
.
./Quick_Start
_CN.md
)
为例,
```
```
.
.
├── config.yml
├── config.yml
...
@@ -471,7 +471,7 @@ op:
...
@@ -471,7 +471,7 @@ op:
Pipeline Serving支持低精度推理,CPU、GPU和TensoRT支持的精度类型如下图所示:
Pipeline Serving支持低精度推理,CPU、GPU和TensoRT支持的精度类型如下图所示:
低精度推理需要有量化模型,配合
`config.yml`
配置一起使用,以
[
低精度示例
](
)
为例
低精度推理需要有量化模型,配合
`config.yml`
配置一起使用,以
[
低精度示例
](
../Low_Precision_CN.md
)
为例
<a
name=
"9.1"
></a>
<a
name=
"9.1"
></a>
...
...
doc/Python_Pipeline/Pipeline_Int_CN.md
浏览文件 @
b5cf051d
...
@@ -7,7 +7,7 @@ Paddle Serving 实现了一套通用的多模型组合服务编程框架 Python
...
@@ -7,7 +7,7 @@ Paddle Serving 实现了一套通用的多模型组合服务编程框架 Python
Python Pipeline 使用案例请阅读
[
Python Pipeline 快速部署案例
](
../Quick_Start_CN.md
)
Python Pipeline 使用案例请阅读
[
Python Pipeline 快速部署案例
](
../Quick_Start_CN.md
)
通过阅读以下内容掌握 Python Pipeline 核心功能和使用方法、高阶功能用法和性能优化指南等。
通过阅读以下内容掌握 Python Pipeline 核心功能和使用方法、高阶功能用法和性能优化指南等。
-
[
Python Pipeline 框架设计
](
Pipeline_Design_CN.md
)
-
[
Python Pipeline 框架设计
](
./
Pipeline_Design_CN.md
)
-
[
Python Pipeline 核心功能
](
Pipeline_Senior
_CN.md
)
-
[
Python Pipeline 核心功能
](
./Pipeline_Features
_CN.md
)
-
[
Python Pipeline 优化指南
](
Pipeline_Optimize_CN.md
)
-
[
Python Pipeline 优化指南
](
./
Pipeline_Optimize_CN.md
)
-
[
Python Pipeline 性能指标
](
Pipeline_Benchmark_CN.md
)
-
[
Python Pipeline 性能指标
](
./
Pipeline_Benchmark_CN.md
)
doc/Python_Pipeline/Pipeline_Optimize_CN.md
浏览文件 @
b5cf051d
...
@@ -197,7 +197,7 @@ Op 的进程数量不是越大越好,受到机器 CPU 核数、内存和显存
...
@@ -197,7 +197,7 @@ Op 的进程数量不是越大越好,受到机器 CPU 核数、内存和显存
2.
动态批量
2.
动态批量
动态批量是增加吞吐的有一种方法,开启方式可参考
[
Python Pipeline 核心功能
](
./
7-2_Python_Pipeline_Senior
_CN.md#批量推理
)
动态批量是增加吞吐的有一种方法,开启方式可参考
[
Python Pipeline 核心功能
](
./
Pipeline_Features
_CN.md#批量推理
)
<a
name=
"2.2.3"
></a>
<a
name=
"2.2.3"
></a>
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录