Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
3b075edb
D
docs
项目概览
MindSpore
/
docs
通知
4
Star
2
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
3b075edb
编写于
8月 25, 2020
作者:
M
meng_chunyang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update architecture.md
上级
b1fbf0ee
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
8 addition
and
44 deletion
+8
-44
lite/docs/source_zh_cn/architecture.md
lite/docs/source_zh_cn/architecture.md
+8
-44
lite/docs/source_zh_cn/images/MindSpore-Lite-architecture.png
.../docs/source_zh_cn/images/MindSpore-Lite-architecture.png
+0
-0
lite/docs/source_zh_cn/images/architecture.jpg
lite/docs/source_zh_cn/images/architecture.jpg
+0
-0
未找到文件。
lite/docs/source_zh_cn/architecture.md
浏览文件 @
3b075edb
# 总体架构
<
!-- TOC --
>
<
a
href=
"https://gitee.com/mindspore/docs/blob/master/lite/docs/source_zh_cn/architecture.md"
target=
"_blank"
><img
src=
"./_static/logo_source.png"
></a
>
-
[
总体架构
](
#总体架构
)
-
[
MindSpore Lite的架构
](
#mindspore-lite的架构
)
-
[
MindSpore Lite的技术特点
](
#mindspore-lite的技术特点
)
MindSpore Lite框架的总体架构如下所示:
<!-- /TOC -->
![
architecture
](
images/MindSpore-Lite-architecture.png
)
<a
href=
"https://gitee.com/mindspore/docs/blob/master/lite/docs/source_zh_cn/architecture.md"
target=
"_blank"
><img
src=
"../_static/logo_source.png"
></a>
-
**前端(Frontend):**
负责模型生成,用户可以通过模型构建接口构建模型,将第三方模型和MindSpore训练的模型转换为MindSpore Lite模型,其中第三方模型包括TensorFlow Lite、Caffe 1.0和ONNX模型。
## MindSpore Lite的架构
-
**IR:**
负责MindSpore的Tensor定义、算子定义和图定义。
![
architecture
](
images/architecture.jpg
)
-
**Backend:**
基于IR进行图优化,包括GHLO、GLLO和量化三部分。其中,GHLO负责和硬件无关的优化,如算子融合、常量折叠等;GLLO负责与硬件相关的优化;量化Quantizer支持权重量化、激活值量化等训练后量化手段。
MindSpore Lite框架包括如下几部分:
-
**Runtime:**
智能终端的推理运行时,其中session负责会话管理,提供对外接口;线程池和并行原语负责图执行使用的线程池管理,内存分配负责图执行中各个算子的内存复用,算子库提供CPU和GPU算子。
-
前端(Frontend):负责模型生成,用户可以通过模型构建接口构建模型,将第三方模型和MindSpore训练的模型转换为MindSpore Lite模型,其中第三方模型包括TensorFlow Lite、Caffe 1.0和ONNX模型。
-
IR:负责MindSpore的Tensor定义、算子定义和图定义。
-
Backend:基于IR进行图优化,包括GHLO、GLLO和量化三部分。其中,GHLO负责和硬件无关的优化,如算子融合、常量折叠等;GLLO负责与硬件相关的优化;量化Quantizer支持权重量化、激活值量化等训练后量化手段。
-
Runtime:智能终端的推理运行时,其中session负责会话管理,提供对外接口;线程池和并行原语负责图执行使用的线程池管理,内存分配负责图执行中各个算子的内存复用,算子库提供CPU和GPU算子。
-
Micro:IoT设备的运行时,包括模型生成.c文件、线程池、内存复用和算子库。
-
**Micro:**
IoT设备的运行时,包括模型生成.c文件、线程池、内存复用和算子库。
其中,Runtime和Micro共享底层的算子库、内存分配、线程池、并行原语等基础设施层。
## MindSpore Lite的技术特点
MindSpore已经在HMS和华为智能终端的图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。
MindSpore Lite具备如下特征:
1.
超轻量
-
智能手机部署的MindSpore包大小为800k左右。
-
智能手表、耳机等IoT设备部署的MindSpore Micro包大小低至几十K级别。
2.
高性能
-
时延低:通过图优化、算子优化、并行处理、充分利用硬件能力等各种措施,优化推理时延。
-
功耗低:通过量化、内存复用等,降低功耗。
3.
广覆盖
-
支持Android和iOS。
-
支持智能手机、手表、耳机以及各种IoT设备。
-
支持CV和NLP多种神经网络模型,支持200多CPU算子、60多GPU算子。
4.
端云协同提供一站式训练和推理
-
提供模型训练,模型转换优化,部署和推理端到端流程。
-
统一的IR实现端云AI应用一体化。
lite/docs/source_zh_cn/images/MindSpore-Lite-architecture.png
0 → 100644
浏览文件 @
3b075edb
54.5 KB
lite/docs/source_zh_cn/images/architecture.jpg
已删除
100644 → 0
浏览文件 @
b1fbf0ee
235.9 KB
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录