Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
d9e6abc1
S
Serving
项目概览
PaddlePaddle
/
Serving
接近 2 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
d9e6abc1
编写于
3月 11, 2022
作者:
S
ShiningZhang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update offical doc
上级
6e56e537
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
159 addition
and
98 deletion
+159
-98
doc/Offical_Docs/2-0_Index_CN.md
doc/Offical_Docs/2-0_Index_CN.md
+23
-0
doc/Offical_Docs/2-1_Docker_Images_CN.md
doc/Offical_Docs/2-1_Docker_Images_CN.md
+135
-0
doc/Offical_Docs/Docker_Images_CN.md
doc/Offical_Docs/Docker_Images_CN.md
+0
-97
doc/Offical_Docs/Serving_Introduce_CN.md
doc/Offical_Docs/Serving_Introduce_CN.md
+1
-1
未找到文件。
doc/Offical_Docs/2-0_Index_CN.md
0 → 100644
浏览文件 @
d9e6abc1
# 安装指南
本说明将指导您在64位操作系统编译和安装PaddleServing。请根据计算硬件、操作系统和软件驱动版本等环境差异,选择正确的安装程序。
## 标准环境安装
本章节介绍了基于标准的 Linux 环境进行必要的环境配置,并进行安装的流程。请参考
[
标准环境
](
)
## 镜像安装
本章节介绍了基于提供的标准镜像环境进行安装的流程。请参考
[
镜像安装
](
)
## 源码编译安装
本章节介绍了对于有开发需求的状况下,使用源码编译的流程。请参考
[
源码编译
](
)
## Kuberntes 集群
本章节介绍了基于各类集群环境部署 PaddleServing 的详细教程。请参考
[
Kuberntes集群
](
)
## 安全网关
本章节介绍了安全网关的使用教程,适用于加密需求。请参考
[
安全网关
](
)
doc/Offical_Docs/2-1_Docker_Images_CN.md
0 → 100644
浏览文件 @
d9e6abc1
# Docker 镜像安装
本文档介绍基于标准镜像环境的安装流程。
## 获取镜像
**一. CPU/GPU 镜像:**
您可以通过两种方式获取镜像。
1.
通过 TAG 直接从 dockerhub 或
`registry.baidubce.com`
拉取镜像,具体 TAG 请参见下文的镜像说明章节的表格
**
```
shell
docker pull registry.baidubce.com/paddlepaddle/serving:<TAG>
```
2.
基于 Dockerfile 构建镜像
**
建立新目录,复制对应 Dockerfile 内容到该目录下 Dockerfile 文件。执行
```
shell
docker build
-f
tools/
${
DOCKERFILE
}
-t
<image-name>:<images-tag> .
```
若需要基于源代码二次开发编译,请使用后缀为 -devel 的版本。
| 镜像选择 | 操作系统 | TAG | Dockerfile |
| :----------------------------------------------------------: | :-----: | :--------------------------: | :----------------------------------------------------------: |
| CPU development | Ubuntu16 | 0.8.0-devel |
[
Dockerfile.devel
](
../tools/Dockerfile.devel
)
|
| GPU (cuda10.1-cudnn7-tensorRT6-gcc54) development | Ubuntu16 | 0.8.0-cuda10.1-cudnn7-gcc54-devel (not ready) |
[
Dockerfile.cuda10.1-cudnn7-gcc54.devel
](
../tools/Dockerfile.cuda10.1-cudnn7-gcc54.devel
)
|
| GPU (cuda10.1-cudnn7-tensorRT6) development | Ubuntu16 | 0.8.0-cuda10.1-cudnn7-devel |
[
Dockerfile.cuda10.1-cudnn7.devel
](
../tools/Dockerfile.cuda10.1-cudnn7.devel
)
|
| GPU (cuda10.2-cudnn7-tensorRT6) development | Ubuntu16 | 0.8.0-cuda10.2-cudnn7-devel |
[
Dockerfile.cuda10.2-cudnn7.devel
](
../tools/Dockerfile.cuda10.2-cudnn7.devel
)
|
| GPU (cuda10.2-cudnn8-tensorRT7) development | Ubuntu16 | 0.8.0-cuda10.2-cudnn8-devel |
[
Dockerfile.cuda10.2-cudnn8.devel
](
../tools/Dockerfile.cuda10.2-cudnn8.devel
)
|
| GPU (cuda11.2-cudnn8-tensorRT8) development | Ubuntu16 | 0.8.0-cuda11.2-cudnn8-devel |
[
Dockerfile.cuda11.2-cudnn8.devel
](
../tools/Dockerfile.cuda11.2-cudnn8.devel
)
|
| CPU Runtime |Ubuntu 16|0.8.0-runtime||
| GPU (cuda10.1-cudnn7-tensorRT6) Runtime |Ubuntu 16|0.8.0-cuda10.1-cudnn7-runtime||
| GPU (cuda10.2-cudnn8-tensorRT7) Runtime |Ubuntu 16|0.8.0-cuda10.2-cudnn8-runtime||
| GPU (cuda11.2-cudnn8-tensorRT8) Runtime |Ubuntu 16|0.8.0-cuda11.2-cudnn8-runtime||
**二. Java 镜像:**
```
docker pull registry.baidubce.com/paddlepaddle/serving:0.8.0-cuda10.2-java
```
**三. XPU 镜像:**
```
docker pull registry.baidubce.com/paddlepaddle/serving:xpu-arm # for arm xpu user
docker pull registry.baidubce.com/paddlepaddle/serving:xpu-x86 # for x86 xpu user
```
**四. ROCM 镜像:**
```
docker pull paddlepaddle/paddle:latest-dev-rocm4.0-miopen2.11 # for x86 rocm user
```
**五. NPU 镜像:**
```
docker pull paddlepaddle/paddle:latest-dev-cann5.0.2.alpha005-gcc82-aarch64 # for arm ascend910 user
docker pull registry.baidubce.com/paddlepaddle/serving:ascend-aarch64-cann3.3.0-paddlelite-devel # for arm ascend310 user
```
## 使用 pip 安装
本节将介绍使用 pip 的安装方式。
以下示例中 GPU 环境均为 cuda10.2-cudnn7
**一. 启动开发镜像**
CPU
```
# 启动 CPU Docker
docker pull paddlepaddle/serving:0.8.0-devel
docker run -p 9292:9292 --name test -dit paddlepaddle/serving:0.8.0-devel bash
docker exec -it test bash
git clone https://github.com/PaddlePaddle/Serving
```
GPU
```
# 启动 GPU Docker
docker pull paddlepaddle/serving:0.8.0-cuda10.2-cudnn7-devel
nvidia-docker run -p 9292:9292 --name test -dit paddlepaddle/serving:0.8.0-cuda10.2-cudnn7-devel bash
nvidia-docker exec -it test bash
git clone https://github.com/PaddlePaddle/Serving
```
**二. 安装所需的 pip 依赖**
```
cd Serving
pip3 install -r python/requirements.txt
```
**三. 安装服务 whl 包**
共有3种 client、app、server,Server 分为 CPU 和 GPU,GPU 包根据您的环境选择一种安装
- post102 = CUDA10.2 + Cudnn7 + TensorRT6(推荐)
- post101 = CUDA10.1 + TensorRT6
- post112 = CUDA11.2 + TensorRT8
```shell
pip3 install paddle-serving-client==0.8.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install paddle-serving-app==0.8.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
# CPU Server
pip3 install paddle-serving-server==0.8.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
# GPU Server,需要确认环境再选择执行哪一条,推荐使用CUDA 10.2的包
pip3 install paddle-serving-server-gpu==0.8.3.post102 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install paddle-serving-server-gpu==0.8.3.post101 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install paddle-serving-server-gpu==0.8.3.post112 -i https://pypi.tuna.tsinghua.edu.cn/simple
```
默认开启国内清华镜像源来加速下载,如果您使用 HTTP 代理可以关闭(`-i https://pypi.tuna.tsinghua.edu.cn/simple`)
**四. 安装 Paddle 相关 Python 库**
**当您使用`paddle_serving_client.convert`命令或者`Python Pipeline 框架`时才需要安装。**
```
# CPU 环境请执行
pip3 install paddlepaddle==2.2.2
# GPU CUDA 10.2环境请执行
pip3 install paddlepaddle-gpu==2.2.2
```
**注意**
: 如果您的 Cuda 版本不是10.2,或者您需要在 GPU 环境上使用 TensorRT,请勿直接执行上述命令,需要参考
[
Paddle-Inference官方文档-下载安装Linux预测库
](
https://paddleinference.paddlepaddle.org.cn/master/user_guides/download_lib.html#python
)
选择相应的 GPU 环境的 url 链接并进行安装。
**五. 安装完成后的环境检查**
当以上步骤均完成后可使用命令行运行环境检查功能,自动运行 Paddle Serving 相关示例,进行环境相关配置校验。
```
python3 -m paddle_serving_server.serve check
```
详情请参考[环境检查文档](./Check_Env_CN.md)
doc/Offical_Docs/Docker_Images_CN.md
已删除
100644 → 0
浏览文件 @
6e56e537
# Docker 镜像
该文档维护了 Paddle Serving 提供的镜像列表。
## 获取镜像
您可以通过两种方式获取镜像。
**一. 通过 TAG 直接从 dockerhub 或 `registry.baidubce.com` 拉取镜像,具体 TAG 请参见下文的镜像说明章节的表格**
```
shell
docker pull registry.baidubce.com/paddlepaddle/serving:<TAG>
```
**二.基于 Dockerfile 构建镜像**
建立新目录,复制对应 Dockerfile 内容到该目录下 Dockerfile 文件。执行
```
shell
docker build
-f
tools/
${
DOCKERFILE
}
-t
<image-name>:<images-tag> .
```
## 镜像说明
**一. CPU/GPU 镜像:**
若需要基于源代码二次开发编译,请使用后缀为 -devel 的版本。
**在 TAG 列,0.8.0 也可以替换成对应的版本号,例如 0.5.0/0.4.1 等,但需要注意的是,部分开发环境随着某个版本迭代才增加,因此并非所有环境都有对应的版本号可以使用。**
| 镜像选择 | 操作系统 | TAG | Dockerfile |
| :----------------------------------------------------------: | :-----: | :--------------------------: | :----------------------------------------------------------: |
| CPU development | Ubuntu16 | 0.8.0-devel |
[
Dockerfile.devel
](
../tools/Dockerfile.devel
)
|
| GPU (cuda10.1-cudnn7-tensorRT6-gcc54) development | Ubuntu16 | 0.8.0-cuda10.1-cudnn7-gcc54-devel (not ready) |
[
Dockerfile.cuda10.1-cudnn7-gcc54.devel
](
../tools/Dockerfile.cuda10.1-cudnn7-gcc54.devel
)
|
| GPU (cuda10.1-cudnn7-tensorRT6) development | Ubuntu16 | 0.8.0-cuda10.1-cudnn7-devel |
[
Dockerfile.cuda10.1-cudnn7.devel
](
../tools/Dockerfile.cuda10.1-cudnn7.devel
)
|
| GPU (cuda10.2-cudnn7-tensorRT6) development | Ubuntu16 | 0.8.0-cuda10.2-cudnn7-devel |
[
Dockerfile.cuda10.2-cudnn7.devel
](
../tools/Dockerfile.cuda10.2-cudnn7.devel
)
|
| GPU (cuda10.2-cudnn8-tensorRT7) development | Ubuntu16 | 0.8.0-cuda10.2-cudnn8-devel |
[
Dockerfile.cuda10.2-cudnn8.devel
](
../tools/Dockerfile.cuda10.2-cudnn8.devel
)
|
| GPU (cuda11.2-cudnn8-tensorRT8) development | Ubuntu16 | 0.8.0-cuda11.2-cudnn8-devel |
[
Dockerfile.cuda11.2-cudnn8.devel
](
../tools/Dockerfile.cuda11.2-cudnn8.devel
)
|
**二. Java 镜像:**
```
registry.baidubce.com/paddlepaddle/serving:0.8.0-cuda10.2-java
```
**三. XPU 镜像:**
```
registry.baidubce.com/paddlepaddle/serving:xpu-arm # for arm xpu user
registry.baidubce.com/paddlepaddle/serving:xpu-x86 # for x86 xpu user
```
**四. ROCM 镜像:**
```
paddlepaddle/paddle:latest-dev-rocm4.0-miopen2.11 # for x86 rocm user
```
**五. NPU 镜像:**
```
paddlepaddle/paddle:latest-dev-cann5.0.2.alpha005-gcc82-aarch64 # for arm ascend910 user
registry.baidubce.com/paddlepaddle/serving:ascend-aarch64-cann3.3.0-paddlelite-devel # for arm ascend310 user
```
## 运行 CUDA 容器的要求
运行 CUDA 容器需要至少具有一个支持 CUDA 的 GPU 以及与您所使用的 CUDA 工具包版本兼容的驱动程序。
运行 CUDA 容器的机器
**只需要相应的 NVIDIA 驱动程序**
,而 CUDA 工具包不是必要的。
相关 CUDA 工具包版本、驱动版本和 GPU 架构的关系请参阅
[
nvidia-docker wiki
](
https://github.com/NVIDIA/nvidia-docker/wiki/CUDA
)
。
## (附录)所有镜像列表
**一. 开发镜像:**
| Env | Version | Docker images tag | OS | Gcc Version |
|----------|---------|------------------------------|-----------|-------------|
| CPU | >=0.5.0 | 0.8.0-devel | Ubuntu 16 | 8.2.0 |
| | <=0.4.0 | 0.4.0-devel | CentOS 7 | 4.8.5 |
| Cuda10.1 | >=0.5.0 | 0.8.0-cuda10.1-cudnn7-devel | Ubuntu 16 | 8.2.0 |
| | <=0.4.0 | 0.4.0-cuda10.1-cudnn7-devel | CentOS 7 | 4.8.5 |
| Cuda10.2+Cudnn7 | >=0.5.0 | 0.8.0-cuda10.2-cudnn7-devel | Ubuntu 16 | 8.2.0 |
| | <=0.4.0 | Nan | Nan | Nan |
| Cuda10.2+Cudnn8 | >=0.5.0 | 0.8.0-cuda10.2-cudnn8-devel | Ubuntu 16 | 8.2.0 |
| | <=0.4.0 | Nan | Nan | Nan |
| Cuda11.2 | >=0.5.0 | 0.8.0-cuda11.2-cudnn8-devel | Ubuntu 16 | 8.2.0 |
| | <=0.4.0 | Nan | Nan | Nan |
**二. 运行镜像:**
运行镜像比开发镜像更加轻量化, 运行镜像提供了 serving 的 whl 和 bin,但为了运行期更小的镜像体积,没有提供诸如 cmake 这样但开发工具。 如果您想了解有关信息,请检查文档
[
在Kubernetes上使用Paddle Serving
](
./Run_On_Kubernetes_CN.md
)
。
| Env | Version | Docker images tag | OS | Gcc Version | Size |
|----------|---------|------------------------------|-----------|-------------|------|
| CPU | 0.8.0 | 0.8.0-runtime | Ubuntu 16 | 8.2.0 | 3.9 GB |
| Cuda10.1 | 0.8.0 | 0.8.0-cuda10.1-cudnn7-runtime | Ubuntu 16 | 8.2.0 | 10 GB |
| Cuda10.2 | 0.8.0 | 0.8.0-cuda10.2-cudnn8-runtime | Ubuntu 16 | 8.2.0 | 10.1 GB |
| Cuda11.2 | 0.8.0 | 0.8.0-cuda11.2-cudnn8-runtime| Ubuntu 16 | 8.2.0 | 14.2 GB |
doc/Offical_Docs/Serving_Introduce_CN.md
浏览文件 @
d9e6abc1
#
Serving介绍、概述
#
安装指南
Paddle Serving 是飞桨官方推荐的服务化部署框架,围绕 AI 落地的最后一公里提供专业、可靠、易用的在线模型服务框架。
Paddle Serving 是飞桨官方推荐的服务化部署框架,围绕 AI 落地的最后一公里提供专业、可靠、易用的在线模型服务框架。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录