提交 681b1677 编写于 作者: T TeslaZhao

Add Doc

上级 aa8e12dd
# Serving介绍、概述
Paddle Serving 是飞桨官方推荐的服务化部署框架,围绕 AI 落地的最后一公里提供专业、可靠、易用的在线模型服务框架。
## 主要特性
- 支持深度学习平台:支持 Paddle 框架训练模型,其他机器学习平台(Caffe、TensorFlow、ONNX、PyTorch)可通过 x2paddle 工具迁移模型。
- 支持多种网络协议:HTTP、gRPC、bRPC等多种协议。
- 支持多种语言 SDK:C++、Python、Java。
- 适配多种计算硬件:x86(Intel) CPU、ARM CPU、Nvidia GPU、昆仑 XPU、华为昇腾 310/910、海光 DCU、Nvidia Jetson等多种硬件。
- 部署平台:支持 Docker 和 Kubernetes 云端部署,提供多种环境的 Docker 开发镜像和云端部署案例。
- 具有高性能设计:基于有向无环图(DAG)的异步流水线构建高性能服务化推理框架,具有多模型组合、异步调度、并发推理、动态批量和多卡多流等设计。
- 提供模型安全部署解决方案:加密模型部署、鉴权校验、HTTPs 安全网关,并在实际项目中应用。
- 提供大规模稀疏参数模型服务化部署方案:如推荐、广告等场景,具有高性能、大批量在线查询、离线增量版本更新、多版本管理和多表横向扩展能力。
- 提供丰富的经典模型示例:如 PaddleOCR、PaddleClas、PaddleDetection、PaddleSeg、PaddleNLP、PaddleRec 等套件,共计40+个预训练精品模型,更多模型持续扩展。
## 开发流程
** 一.环境安装 **
根据计算硬件、操作系统和软件驱动版本等环境差异,要选择正确的安装程序。提供多种系统环境安装、PIP 程序安装和源码编译安装三种方案。
标准环境安装方案,请参考[标准环境安装]()
使用 PIP 安装,请参考[使用 PIP 安装]()
源码编译安装,请参考[源码编译]()
安装环境检查,请参考[环境检查]()
** 二.快速开发 **
环境安装完成后,参考二种模型开发示例快速开发模型程序,更多模型示例请参考[模型库]()。
基于 C++ Serving 的单模型 Resnet_v2_50 部署示例,请参考[Resnet_v2_50]()
基于 Python Pipeline 多模型组合 OCR_v2 部署示例,请参考[OCR]()
** 三.服务部署 **
经过开发和测试后,程序要在服务器上部署,Paddle Serving 提供基于Kubernetes集群部署案例,请参考[Kubernetes集群部署]()
多服务入口安全网关部署,请参考[安全网关]()
## 功能说明
** 一.基础功能 **
本章节系统介绍 Paddle Serving 提供的基础功能,每种功能的使用方法和功能选项。
** 二.进阶 C++ Serving **
本章节详细介绍 C++ Serving 的多种高级功能特性,以及设计方案、使用方法和性能调优等。
** 三.进阶 Python Pipeline **
本章节详细介绍 Python Pipeline 的多种高级功能特性,以及设计方案、使用方法和性能调优等。
** 四.大规模稀疏参数索引服务 **
本章节介绍稀疏参数索引服务的设计方案、使用方案。
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册