Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
681b1677
S
Serving
项目概览
PaddlePaddle
/
Serving
大约 1 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
681b1677
编写于
3月 06, 2022
作者:
T
TeslaZhao
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Add Doc
上级
aa8e12dd
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
62 addition
and
0 deletion
+62
-0
doc/Offical_Docs/Serving_Introduce_CN.md
doc/Offical_Docs/Serving_Introduce_CN.md
+62
-0
未找到文件。
doc/Offical_Docs/Serving_Introduce_CN.md
0 → 100644
浏览文件 @
681b1677
# Serving介绍、概述
Paddle Serving 是飞桨官方推荐的服务化部署框架,围绕 AI 落地的最后一公里提供专业、可靠、易用的在线模型服务框架。
## 主要特性
-
支持深度学习平台:支持 Paddle 框架训练模型,其他机器学习平台(Caffe、TensorFlow、ONNX、PyTorch)可通过 x2paddle 工具迁移模型。
-
支持多种网络协议:HTTP、gRPC、bRPC等多种协议。
-
支持多种语言 SDK:C++、Python、Java。
-
适配多种计算硬件:x86(Intel) CPU、ARM CPU、Nvidia GPU、昆仑 XPU、华为昇腾 310/910、海光 DCU、Nvidia Jetson等多种硬件。
-
部署平台:支持 Docker 和 Kubernetes 云端部署,提供多种环境的 Docker 开发镜像和云端部署案例。
-
具有高性能设计:基于有向无环图(DAG)的异步流水线构建高性能服务化推理框架,具有多模型组合、异步调度、并发推理、动态批量和多卡多流等设计。
-
提供模型安全部署解决方案:加密模型部署、鉴权校验、HTTPs 安全网关,并在实际项目中应用。
-
提供大规模稀疏参数模型服务化部署方案:如推荐、广告等场景,具有高性能、大批量在线查询、离线增量版本更新、多版本管理和多表横向扩展能力。
-
提供丰富的经典模型示例:如 PaddleOCR、PaddleClas、PaddleDetection、PaddleSeg、PaddleNLP、PaddleRec 等套件,共计40+个预训练精品模型,更多模型持续扩展。
## 开发流程
** 一.环境安装 **
根据计算硬件、操作系统和软件驱动版本等环境差异,要选择正确的安装程序。提供多种系统环境安装、PIP 程序安装和源码编译安装三种方案。
标准环境安装方案,请参考
[
标准环境安装
](
)
使用 PIP 安装,请参考
[
使用 PIP 安装
](
)
源码编译安装,请参考
[
源码编译
](
)
安装环境检查,请参考
[
环境检查
](
)
** 二.快速开发 **
环境安装完成后,参考二种模型开发示例快速开发模型程序,更多模型示例请参考
[
模型库
](
)。
基于 C++ Serving 的单模型 Resnet_v2_50 部署示例,请参考
[
Resnet_v2_50
](
)
基于 Python Pipeline 多模型组合 OCR_v2 部署示例,请参考
[
OCR
](
)
** 三.服务部署 **
经过开发和测试后,程序要在服务器上部署,Paddle Serving 提供基于Kubernetes集群部署案例,请参考
[
Kubernetes集群部署
](
)
多服务入口安全网关部署,请参考
[
安全网关
](
)
## 功能说明
** 一.基础功能 **
本章节系统介绍 Paddle Serving 提供的基础功能,每种功能的使用方法和功能选项。
** 二.进阶 C++ Serving **
本章节详细介绍 C++ Serving 的多种高级功能特性,以及设计方案、使用方法和性能调优等。
** 三.进阶 Python Pipeline **
本章节详细介绍 Python Pipeline 的多种高级功能特性,以及设计方案、使用方法和性能调优等。
** 四.大规模稀疏参数索引服务 **
本章节介绍稀疏参数索引服务的设计方案、使用方案。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录