From 59a0bf997963fc128a2283f1459c1991cada19fc Mon Sep 17 00:00:00 2001 From: leiyuning Date: Tue, 23 Jun 2020 16:27:26 +0800 Subject: [PATCH] update multi platform inference --- .../source_en/use/multi_platform_inference.md | 2 +- .../use/multi_platform_inference.md | 32 ++++++++++--------- 2 files changed, 18 insertions(+), 16 deletions(-) diff --git a/tutorials/source_en/use/multi_platform_inference.md b/tutorials/source_en/use/multi_platform_inference.md index 7c42a3fe..230af0e3 100644 --- a/tutorials/source_en/use/multi_platform_inference.md +++ b/tutorials/source_en/use/multi_platform_inference.md @@ -8,7 +8,7 @@ - + ## Overview diff --git a/tutorials/source_zh_cn/use/multi_platform_inference.md b/tutorials/source_zh_cn/use/multi_platform_inference.md index ee5840e6..3d2bb3fb 100644 --- a/tutorials/source_zh_cn/use/multi_platform_inference.md +++ b/tutorials/source_zh_cn/use/multi_platform_inference.md @@ -31,20 +31,22 @@ MindSpore支持的推理场景，按照硬件平台维度可以分为下面几种： -硬件平台 | 推理文件 | 说明 +硬件平台 | 模型文件格式 | 说明 --|--|-- -Ascend 910 AI处理器 | checkpoint格式文件 | 与MindSpore训练环境依赖一致 -Ascend 310 AI处理器 | ONNX、GEIR格式文件 | 搭载了ACL框架，需要转化为OM格式模型。 -GPU | checkpoint格式文件 | 与MindSpore训练环境依赖一致。 -GPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK，如TensorRT。 -CPU | checkpoint文件 | 与MindSpore训练环境依赖一致。 -CPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK，如TensorRT。 +Ascend 910 AI处理器 | checkpoint格式 | 与MindSpore训练环境依赖一致 +Ascend 310 AI处理器 | ONNX、GEIR格式 | 搭载了ACL框架，支持OM格式模型，需要使用工具转化模型为OM格式模型。 +GPU | checkpoint格式 | 与MindSpore训练环境依赖一致。 +GPU | ONNX格式 | 支持ONNX推理的runtime/SDK，如TensorRT。 +CPU | checkpoint格式 | 与MindSpore训练环境依赖一致。 +CPU | ONNX格式 | 支持ONNX推理的runtime/SDK，如TensorRT。 -> ONNX，全称Open Neural Network Exchange，是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。详细了解，请参见ONNX官网。 +> ONNX，全称Open Neural Network Exchange，是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如PyTorch, MXNet）可以采用相同格式存储模型数据并交互。详细了解，请参见ONNX官网。 > GEIR，全称Graph Engine Intermediate Representation，类似ONNX，是华为定义的针对机器学习所设计的开放式的文件格式，能更好地适配Ascend AI处理器。 -> ACL，全称Ascend Computer Language，提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等C++ API库，供用户开发深度神经网络应用。他匹配Ascend AI处理器，使能硬件的运行管理、资源管理能力。 +> ACL，全称Ascend Computer Language，提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等C++ API库，供用户开发深度神经网络应用。它匹配Ascend AI处理器，使能硬件的运行管理、资源管理能力。 + +> OM，全称Offline Model，华为Ascend AI处理器支持的离线模型，实现算子调度的优化，权值数据重排、压缩，内存使用优化等可以脱离设备完成的预处理功能。 > TensorRT，NVIDIA 推出的高性能深度学习推理的SDK，包括深度推理优化器和runtime，提高深度学习模型在边缘设备上的推断速度。详细请参见。 @@ -52,7 +54,7 @@ CPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK，如TensorRT。 ### 使用checkpoint格式文件推理 -1. 使用`model.eval`接口来进行模型验证，你只需传入验证数据集即可，验证数据集的处理方式与训练数据集相同。 +1. 使用`model.eval`接口来进行模型验证，你只需传入验证数据集即可，验证数据集的处理方式与训练数据集相同。 ```python res = model.eval(dataset) ``` @@ -65,21 +67,21 @@ CPU | ONNX格式文件 | 支持ONNX推理的runtime/SDK，如TensorRT。 model.predict(input_data) ``` 其中， - `model.eval`为推理接口，对应接口说明： + `model.eval`为推理接口，对应接口说明：。 ## Ascend 310 AI处理器上推理 ### 使用checkpoint格式文件推理 -与在AscendAscend 910 AI处理器上推理一样。 +与在Ascend 910 AI处理器上推理一样。 ### 使用ONNX与GEIR格式文件推理 -Ascend 310 AI处理器上搭载了ACL框架，他支持om格式，而om格式需要从ONNX或者GEIR模型进行转换。所以需要在Ascend 310 AI处理器上推理，需要下述两个步骤： +Ascend 310 AI处理器上搭载了ACL框架，他支持OM格式，而OM格式需要从ONNX或者GEIR模型进行转换。所以在Ascend 310 AI处理器上推理，需要下述两个步骤： 1. 在训练平台上生成ONNX或GEIR格式模型，具体步骤请参考[模型导出-导出GEIR模型和ONNX模型](https://www.mindspore.cn/tutorial/zh-CN/master/use/saving_and_loading_model_parameters.html#geironnx)。 -2. 将ONNX/GEIR格式模型文件，转化为om模型，并进行推理。 +2. 将ONNX/GEIR格式模型文件，转化为OM格式模型，并进行推理。 - 云上（ModelArt环境），请参考[Ascend910训练和Ascend310推理的样例](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0026.html)完成推理操作。 - 本地的裸机环境（对比云上环境，即本地有Ascend 310 AI 处理器），请参考Ascend 310 AI处理器配套软件包的说明文档。 @@ -98,7 +100,7 @@ Ascend 310 AI处理器上搭载了ACL框架，他支持om格式，而om格式需 ## CPU上推理 ### 使用checkpoint格式文件推理 -与在AscendAscend 910 AI处理器上推理一样。 +与在Ascend 910 AI处理器上推理一样。 ### 使用ONNX格式文件推理 与在GPU上进行推理类似，需要以下几个步骤： -- GitLab