Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
cd3eb4d5
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
cd3eb4d5
编写于
3月 02, 2020
作者:
H
huzhiqiang
提交者:
GitHub
3月 02, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[Paddle-Lite] Update paddle-lite doc for version 2.3 (#1863)
上级
84494663
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
12 addition
and
12 deletion
+12
-12
doc/fluid/advanced_guide/inference_deployment/mobile/mobile_index.md
...dvanced_guide/inference_deployment/mobile/mobile_index.md
+12
-12
未找到文件。
doc/fluid/advanced_guide/inference_deployment/mobile/mobile_index.md
浏览文件 @
cd3eb4d5
# Paddle-Lite
Paddle
Lite为Paddle-Mobile的升级版,定位支持包括手机移动端在内更多场景的轻量化高效预测,支持更广泛的硬件和平台,是一个高性能、轻量级的深度学习预测引擎。在保持和PaddlePaddle无缝对接外,也兼容支持其他训练框架产出的模型。
Paddle
-
Lite为Paddle-Mobile的升级版,定位支持包括手机移动端在内更多场景的轻量化高效预测,支持更广泛的硬件和平台,是一个高性能、轻量级的深度学习预测引擎。在保持和PaddlePaddle无缝对接外,也兼容支持其他训练框架产出的模型。
完整使用文档位于
[
Paddle
Lite 文档
](
https://paddlepaddle.github.io/Paddle-Lite
/
)
。
完整使用文档位于
[
Paddle
-Lite 文档
](
https://paddle-lite.readthedocs.io/zh/latest
/
)
。
## 特性
...
...
@@ -13,39 +13,39 @@ Paddle Lite为Paddle-Mobile的升级版,定位支持包括手机移动端在
### 高性能
极致的 ARM CPU 性能优化,针对不同微架构特点实现kernel的定制,最大发挥计算性能,在主流模型上展现出领先的速度优势。
支持
INT8量化计算,结合
[
PaddleSlim 模型压缩工具
](
https://github.com/PaddlePaddle/models/tree/v1.5/PaddleSlim
)
中 INT8量化训练
功能,可以提供高精度高性能的预测能力。
支持
量化模型,结合
[
PaddleSlim 模型压缩工具
](
https://github.com/PaddlePaddle/models/tree/v1.5/PaddleSlim
)
中量化
功能,可以提供高精度高性能的预测能力。
在Huawei NPU, FPGA上也具有有很好的性能表现。
最新
Benchmark 位于
[
benchmark
](
https://paddlepaddle.github.io/Paddle-Lite/develop/benchmark/
)
。
最新
性能数据位于
[
Benchmark 文档
](
https://paddle-lite.readthedocs.io/zh/latest/benchmark/benchmark.html
)
。
### 通用性
硬件方面,Paddle
Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持ARM CPU、Mali GPU、Adreno GPU,还特别支持了华为 NPU,以及 FPGA 等边缘设备广泛使用的硬件。即将支持支持包括寒武纪、比特大陆等AI芯片,未来会增加对更多硬件的支持。
硬件方面,Paddle
-
Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持ARM CPU、Mali GPU、Adreno GPU,还特别支持了华为 NPU,以及 FPGA 等边缘设备广泛使用的硬件。即将支持支持包括寒武纪、比特大陆等AI芯片,未来会增加对更多硬件的支持。
模型支持方面,Paddle
Lite和PaddlePaddle训练框架的Op对齐,提供更广泛的模型支持能力。目前已严格验证18个模型85个OP的精度和性能,对视觉类模型做到了较为充分的支持,覆盖分类、检测和定位,包含了特色的OCR模型的支持。未来会持续增加更多模型的支持验证。
模型支持方面,Paddle
-
Lite和PaddlePaddle训练框架的Op对齐,提供更广泛的模型支持能力。目前已严格验证18个模型85个OP的精度和性能,对视觉类模型做到了较为充分的支持,覆盖分类、检测和定位,包含了特色的OCR模型的支持。未来会持续增加更多模型的支持验证。
框架兼容方面:除了PaddlePaddle外,对其他训练框架也提供兼容支持。当前,支持Caffe 和 TensorFlow 训练出来的模型,通过
X2Paddle
(https://github.com/PaddlePaddle/X2Paddle) 转换工具实现。接下来将会对ONNX等格式模型提供兼容支持。
框架兼容方面:除了PaddlePaddle外,对其他训练框架也提供兼容支持。当前,支持Caffe 和 TensorFlow 训练出来的模型,通过
[X2Paddle]
(https://github.com/PaddlePaddle/X2Paddle) 转换工具实现。接下来将会对ONNX等格式模型提供兼容支持。
## 架构
PaddleLite 的架构设计着重考虑了对多硬件和平台的支持,并且强化了多个硬件在一个模型中混合执行的能力,多个层面的性能优化处理,以及对端侧应用的轻量化设计。
Paddle
-
Lite 的架构设计着重考虑了对多硬件和平台的支持,并且强化了多个硬件在一个模型中混合执行的能力,多个层面的性能优化处理,以及对端侧应用的轻量化设计。
![](
https://github.com/Superjomn/_tmp_images/raw/master/images/paddle-lite-architecture.png
)
其中,Analysis Phase 包括了 MIR(Machine IR) 相关模块,能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪 在内的多种优化。Execution Phase 只涉及到Kernel 的执行,且可以单独部署,以支持极致的轻量级部署。
## Paddle-Mobile升级为Paddle
Lite的说明
## Paddle-Mobile升级为Paddle
-
Lite的说明
原Paddle-Mobile作为一个致力于嵌入式平台的PaddlePaddle预测引擎,已支持多种硬件平台,包括ARM CPU、 Mali GPU、Adreno GPU,以及支持苹果设备的GPU Metal实现、ZU5、ZU9等FPGA开发板、树莓派等arm-linux开发板。在百度内已经过广泛业务场景应用验证。对应设计文档可参考:
[
mobile/README
](
https://github.com/PaddlePaddle/Paddle-Lite/blob/develop/mobile/README.md
)
Paddle-Mobile 整体升级重构并更名为Paddle
Lite后,原paddle-mobile 的底层能力大部分已集成到
[
新架构
](
https://github.com/PaddlePaddle/Paddle-Lite/tree/develop/lite
)
下。作为过渡,暂时保留原Paddle-mobile代码。 主体代码位于
`mobile/`
目录中,后续一段时间会继续维护,并完成全部迁移。新功能会统一到
[
新架构
](
https://github.com/PaddlePaddle/Paddle-Lite/tree/develop/lite
)
下开发。
Paddle-Mobile 整体升级重构并更名为Paddle
-
Lite后,原paddle-mobile 的底层能力大部分已集成到
[
新架构
](
https://github.com/PaddlePaddle/Paddle-Lite/tree/develop/lite
)
下。作为过渡,暂时保留原Paddle-mobile代码。 主体代码位于
`mobile/`
目录中,后续一段时间会继续维护,并完成全部迁移。新功能会统一到
[
新架构
](
https://github.com/PaddlePaddle/Paddle-Lite/tree/develop/lite
)
下开发。
metal, web的模块相对独立,会继续在
`./metal`
和
`./web`
目录下开发和维护。对苹果设备的GPU Metal实现的需求及web前端预测需求,可以直接进入这两个目录。
## 致谢
Paddle
Lite 借鉴了以下开源项目:
Paddle
-
Lite 借鉴了以下开源项目:
-
[
ARM compute library
](
https://github.com/ARM-software/ComputeLibrary
)
-
[
Anakin
](
https://github.com/PaddlePaddle/Anakin
)
,Anakin对应底层的一些优化实现已被集成到Paddle
Lite。Anakin作为PaddlePaddle组织下的一个高性能预测项目,极具前瞻性,对Paddle
Lite有重要贡献。Anakin已和本项目实现整合。之后,Anakin不再升级。
-
[
Anakin
](
https://github.com/PaddlePaddle/Anakin
)
,Anakin对应底层的一些优化实现已被集成到Paddle
-Lite。Anakin作为PaddlePaddle组织下的一个高性能预测项目,极具前瞻性,对Paddle-
Lite有重要贡献。Anakin已和本项目实现整合。之后,Anakin不再升级。
## 交流与反馈
*
欢迎您通过Github Issues来提交问题、报告与建议
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录