Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
59a0bf99
D
docs
项目概览
MindSpore
/
docs
通知
4
Star
2
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
59a0bf99
编写于
6月 23, 2020
作者:
L
leiyuning
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update multi platform inference
上级
ee9904a7
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
18 addition
and
16 deletion
+18
-16
tutorials/source_en/use/multi_platform_inference.md
tutorials/source_en/use/multi_platform_inference.md
+1
-1
tutorials/source_zh_cn/use/multi_platform_inference.md
tutorials/source_zh_cn/use/multi_platform_inference.md
+17
-15
未找到文件。
tutorials/source_en/use/multi_platform_inference.md
浏览文件 @
59a0bf99
...
...
@@ -8,7 +8,7 @@
<!-- /TOC -->
<a
href=
"https://gitee.com/mindspore/docs/blob/master/tutorials/source_en/
advanced_
use/multi_platform_inference.md"
target=
"_blank"
><img
src=
"../_static/logo_source.png"
></a>
<a
href=
"https://gitee.com/mindspore/docs/blob/master/tutorials/source_en/use/multi_platform_inference.md"
target=
"_blank"
><img
src=
"../_static/logo_source.png"
></a>
## Overview
...
...
tutorials/source_zh_cn/use/multi_platform_inference.md
浏览文件 @
59a0bf99
...
...
@@ -31,20 +31,22 @@
MindSpore支持的推理场景,按照硬件平台维度可以分为下面几种:
硬件平台 |
推理文件
| 说明
硬件平台 |
模型文件格式
| 说明
--|--|--
Ascend 910 AI处理器 | checkpoint格式
文件
| 与MindSpore训练环境依赖一致
Ascend 310 AI处理器 | ONNX、GEIR格式
文件 | 搭载了ACL框架,需要转化
为OM格式模型。
GPU | checkpoint格式
文件
| 与MindSpore训练环境依赖一致。
GPU | ONNX格式
文件
| 支持ONNX推理的runtime/SDK,如TensorRT。
CPU | checkpoint
文件
| 与MindSpore训练环境依赖一致。
CPU | ONNX格式
文件
| 支持ONNX推理的runtime/SDK,如TensorRT。
Ascend 910 AI处理器 | checkpoint格式 | 与MindSpore训练环境依赖一致
Ascend 310 AI处理器 | ONNX、GEIR格式
| 搭载了ACL框架,支持OM格式模型,需要使用工具转化模型
为OM格式模型。
GPU | checkpoint格式 | 与MindSpore训练环境依赖一致。
GPU | ONNX格式 | 支持ONNX推理的runtime/SDK,如TensorRT。
CPU | checkpoint
格式
| 与MindSpore训练环境依赖一致。
CPU | ONNX格式 | 支持ONNX推理的runtime/SDK,如TensorRT。
> ONNX,全称Open Neural Network Exchange,是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Py
t
orch, MXNet)可以采用相同格式存储模型数据并交互。详细了解,请参见ONNX官网<https://onnx.ai/>。
> ONNX,全称Open Neural Network Exchange,是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Py
T
orch, MXNet)可以采用相同格式存储模型数据并交互。详细了解,请参见ONNX官网<https://onnx.ai/>。
> GEIR,全称Graph Engine Intermediate Representation,类似ONNX,是华为定义的针对机器学习所设计的开放式的文件格式,能更好地适配Ascend AI处理器。
> ACL,全称Ascend Computer Language,提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等C++ API库,供用户开发深度神经网络应用。他匹配Ascend AI处理器,使能硬件的运行管理、资源管理能力。
> ACL,全称Ascend Computer Language,提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等C++ API库,供用户开发深度神经网络应用。它匹配Ascend AI处理器,使能硬件的运行管理、资源管理能力。
> OM,全称Offline Model,华为Ascend AI处理器支持的离线模型,实现算子调度的优化,权值数据重排、压缩,内存使用优化等可以脱离设备完成的预处理功能。
> TensorRT,NVIDIA 推出的高性能深度学习推理的SDK,包括深度推理优化器和runtime,提高深度学习模型在边缘设备上的推断速度。详细请参见<https://developer.nvidia.com/tensorrt>。
...
...
@@ -52,7 +54,7 @@ CPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK,如TensorRT。
### 使用checkpoint格式文件推理
1.
使用
`model.eval`
接口来进行模型验证,你只需传入验证数据集即可,验证数据集的处理方式与训练数据集相同。
1.
使用
`model.eval`
接口来进行模型验证,你只需传入验证数据集即可,验证数据集的处理方式与训练数据集相同。
```
python
res
=
model
.
eval
(
dataset
)
```
...
...
@@ -65,21 +67,21 @@ CPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK,如TensorRT。
model
.
predict
(
input_data
)
```
其中,
`model.eval`
为推理接口,对应接口说明:
<https://www.mindspore.cn/api/zh-CN/master/api/python/mindspore/mindspore.html#mindspore.Model.predict>
`model.eval`
为推理接口,对应接口说明:
<https://www.mindspore.cn/api/zh-CN/master/api/python/mindspore/mindspore.html#mindspore.Model.predict>
。
## Ascend 310 AI处理器上推理
### 使用checkpoint格式文件推理
与在Ascend
Ascend
910 AI处理器上推理一样。
与在Ascend 910 AI处理器上推理一样。
### 使用ONNX与GEIR格式文件推理
Ascend 310 AI处理器上搭载了ACL框架,他支持
om格式,而om格式需要从ONNX或者GEIR模型进行转换。所以需要
在Ascend 310 AI处理器上推理,需要下述两个步骤:
Ascend 310 AI处理器上搭载了ACL框架,他支持
OM格式,而OM格式需要从ONNX或者GEIR模型进行转换。所以
在Ascend 310 AI处理器上推理,需要下述两个步骤:
1.
在训练平台上生成ONNX或GEIR格式模型,具体步骤请参考
[
模型导出-导出GEIR模型和ONNX模型
](
https://www.mindspore.cn/tutorial/zh-CN/master/use/saving_and_loading_model_parameters.html#geironnx
)
。
2.
将ONNX/GEIR格式模型文件,转化为
om
模型,并进行推理。
2.
将ONNX/GEIR格式模型文件,转化为
OM格式
模型,并进行推理。
-
云上(ModelArt环境),请参考
[
Ascend910训练和Ascend310推理的样例
](
https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0026.html
)
完成推理操作。
-
本地的裸机环境(对比云上环境,即本地有Ascend 310 AI 处理器),请参考Ascend 310 AI处理器配套软件包的说明文档。
...
...
@@ -98,7 +100,7 @@ Ascend 310 AI处理器上搭载了ACL框架,他支持om格式,而om格式需
## CPU上推理
### 使用checkpoint格式文件推理
与在Ascend
Ascend
910 AI处理器上推理一样。
与在Ascend 910 AI处理器上推理一样。
### 使用ONNX格式文件推理
与在GPU上进行推理类似,需要以下几个步骤:
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录