Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Paddle-Lite
提交
13974a0d
P
Paddle-Lite
项目概览
PaddlePaddle
/
Paddle-Lite
通知
331
Star
4
Fork
1
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
271
列表
看板
标记
里程碑
合并请求
78
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle-Lite
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
271
Issue
271
列表
看板
标记
里程碑
合并请求
78
合并请求
78
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
13974a0d
编写于
11月 01, 2019
作者:
H
huzhiqiang
提交者:
sangoly
11月 01, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[Python API] add python api doc test=develop (#2345)
上级
c6c46fb1
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
1554 addition
and
0 deletion
+1554
-0
_all_pages/develop/index.md
_all_pages/develop/index.md
+1
-0
_all_pages/develop/python_api_doc.md
_all_pages/develop/python_api_doc.md
+776
-0
_all_pages/v2.0.0/index.md
_all_pages/v2.0.0/index.md
+1
-0
_all_pages/v2.0.0/python_api_doc.md
_all_pages/v2.0.0/python_api_doc.md
+776
-0
未找到文件。
_all_pages/develop/index.md
浏览文件 @
13974a0d
...
@@ -55,6 +55,7 @@ Paddle-Lite 框架是 PaddleMobile 新一代架构,重点支持移动端推理
...
@@ -55,6 +55,7 @@ Paddle-Lite 框架是 PaddleMobile 新一代架构,重点支持移动端推理
-
[
C++ API文档
](
{{site.baseurl}}/develop/cxx_api_doc
)
-
[
C++ API文档
](
{{site.baseurl}}/develop/cxx_api_doc
)
-
[
Java API文档
](
{{site.baseurl}}/develop/java_api_doc
)
-
[
Java API文档
](
{{site.baseurl}}/develop/java_api_doc
)
-
[
Python API文档
](
{{site.baseurl}}/develop/python_api_doc
)
## FAQ
## FAQ
...
...
_all_pages/develop/python_api_doc.md
0 → 100755
浏览文件 @
13974a0d
---
layout
:
post
title
:
Python API 文档
---
*
TOC
{:toc}
# create_paddle_predictor
```
python
CxxPredictor
create_paddle_predictor
(
config
);
# config为CxxConfig类型
LightPredictor
create_paddle_predictor
(
config
);
# config为MobileConfig类型
```
`create_paddle_predictor`
函数用来根据
`CxxConfig`
或
`MobileConfig`
构建预测器。
示例:
```
python
from
lite_core
import
*
# 设置CxxConfig
config
=
CxxConfig
()
config
.
set_model_dir
(
<
your_model_dir_path
>
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
参数:
-
`config(CxxConfig或MobileConfig)`
- 用于构建Predictor的配置信息。
返回:预测器
`predictor`
返回类型:
`CxxPredictor`
或
`LightPredictor`
# CxxConfig
```
python
class
CxxConfig
;
```
`CxxConfig`
用来配置构建CxxPredictor的配置信息,如protobuf格式的模型地址、能耗模式、工作线程数、place信息等等。
示例:
```
python
from
lite_core
import
*
config
=
CxxConfig
()
# 设置模型目录,加载非combined模型时使用
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置工作线程数
config
.
set_threads
(
4
);
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 设置valid places
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_model_dir(model_dir)**
设置模型文件夹路径,当需要从磁盘加载非combined模型时使用。
参数:
-
`model_dir(str)`
- 模型文件夹路径
返回:
`None`
返回类型:
`None`
> **model_dir()**
返回设置的模型文件夹路径。
参数:
-
`None`
返回:模型文件夹路径
返回类型:
`str`
> **set_model_file(model_file)**
设置模型文件路径,加载combined形式模型时使用。
参数:
-
`model_file(str)`
- 模型文件路径
返回类型:
`None`
> **model_file()**
获取设置模型文件路径,加载combined形式模型时使用。
参数:
-
`None`
返回:模型文件路径
返回类型:
`str`
> **set_param_file(param_file)**
设置模型参数文件路径,加载combined形式模型时使用。
参数:
-
`param_file(str)`
- 模型文件路径
返回类型:
`None`
> **param_file()**
获取设置模型参数文件路径,加载combined形式模型时使用。
参数:
-
`None`
返回:模型参数文件路径
返回类型:
`str`
> **set_valid_places(valid_places)**
设置可用的places列表。
参数:
-
`valid_places(list)`
- 可用place列表。
返回类型:
`None`
示例:
```
python
from
lite_core
import
*
config
=
CxxConfig
()
# 设置模型目录,加载非combined模型时使用
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置valid places
# 注意,valid_places列表中Place的排序表明了用户对Place的偏好程度,如用户想优先使用ARM上Int8精度的
# kernel,则应把Place(TargetType.ARM, PrecisionType.INT8)置于valid_places列表的首位。
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
INT8
),
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_power_mode(mode)**
设置CPU能耗模式。若不设置,则默认使用
`PowerMode.LITE_POWER_HIGH`
。
*注意:只在开启`OpenMP`时生效,否则系统自动调度。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`mode(PowerMode)`
- CPU能耗模式
返回:
`None`
返回类型:
`None`
> **power_mode()**
获取设置的CPU能耗模式。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:设置的CPU能耗模式
返回类型:
`PowerMode`
> **set_threads(threads)**
设置工作线程数。若不设置,则默认使用单线程。
*注意:只在开启`OpenMP`的模式下生效,否则只使用单线程。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`threads(int)`
- 工作线程数
返回:
`None`
返回类型:
`None`
> **threads()**
获取设置的工作线程数。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:工作线程数
返回类型:
`int`
# MobileConfig
```
python
class
MobileConfig
;
```
`MobileConfig`
用来配置构建LightPredictor的配置信息,如NaiveBuffer格式的模型地址、能耗模式、工作线程数等等。
示例:
```
python
from
lite_core
import
*
config
=
MobileConfig
()
# 设置NaiveBuffer格式模型目录
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置工作线程数
config
.
set_threads
(
4
);
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 根据MobileConfig创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_model_dir(model_dir)**
设置模型文件夹路径。
*注意:`model_dir`应该是经过`Model Optimize Tool`优化后产生的`NaiveBuffer`格式的模型。*
参数:
-
`model_dir(str)`
- 模型文件夹路径
返回:
`None`
返回类型:
`None`
> **model_dir()**
返回设置的模型文件夹路径。
参数:
-
`None`
返回:模型文件夹路径
返回类型:
`str`
> **set_power_mode(mode)**
设置CPU能耗模式。若不设置,则默认使用
`PowerMode.LITE_POWER_HIGH`
。
*注意:只在开启`OpenMP`时生效,否则系统自动调度。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`mode(PowerMode)`
- CPU能耗模式
返回:
`None`
返回类型:
`None`
> **power_mode()**
获取设置的CPU能耗模式。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:设置的CPU能耗模式
返回类型:
`PowerMode`
> **set_threads(threads)**
设置工作线程数。若不设置,则默认使用单线程。
*注意:只在开启`OpenMP`的模式下生效,否则只使用单线程。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`threads(int)`
- 工作线程数
返回:
`None`
返回类型:
`None`
> **threads()**
获取设置的工作线程数。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:工作线程数
返回类型:
`int`
# CxxPredictor
```
c++
class
CxxPredictor
```
`CxxPredictor`
是Paddle-Lite的预测器,由
`create_paddle_predictor`
根据
`CxxConfig`
进行创建。用户可以根据CxxPredictor提供的接口设置输入数据、执行模型预测、获取输出以及获得当前使用lib的版本信息等。
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置CxxConfig
config
=
CxxConfig
()
if
args
.
model_file
!=
''
and
args
.
param_file
!=
''
:
config
.
set_model_file
(
args
.
model_file
)
config
.
set_param_file
(
args
.
param_file
)
else
:
config
.
set_model_dir
(
args
.
model_dir
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 2. 创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **get_input(index)**
获取输入Tensor,用来设置模型的输入数据。
参数:
-
`index(int)`
- 输入Tensor的索引
返回:第
`index`
个输入
`Tensor`
返回类型:
`Tensor`
> **get_output(index)**
获取输出Tensor,用来获取模型的输出结果。
参数:
-
`index(int)`
- 输出Tensor的索引
返回:第
`index`
个输出
`Tensor`
返回类型:
`Tensor`
> **run()**
执行模型预测,需要在
***设置输入数据后**
*
调用。
参数:
-
`None`
返回:
`None`
返回类型:
`None`
> **get_version()**
用于获取当前lib使用的代码版本。若代码有相应tag则返回tag信息,如
`v2.0-beta`
;否则返回代码的
`branch(commitid)`
,如
`develop(7e44619)`
。
参数:
-
`None`
返回:当前lib使用的代码版本信息
返回类型:
`str`
# LightPredictor
```
c++
class
LightPredictor
```
`LightPredictor`
是Paddle-Lite的预测器,由
`create_paddle_predictor`
根据
`MobileConfig`
进行创建。用户可以根据LightPredictor提供的接口设置输入数据、执行模型预测、获取输出以及获得当前使用lib的版本信息等。
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置MobileConfig
config
=
MobileConfig
()
config
.
set_model_dir
(
args
.
model_dir
)
# 2. 创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **get_input(index)**
获取输入Tensor,用来设置模型的输入数据。
参数:
-
`index(int)`
- 输入Tensor的索引
返回:第
`index`
个输入
`Tensor`
返回类型:
`Tensor`
> **get_output(index)**
获取输出Tensor,用来获取模型的输出结果。
参数:
-
`index(int)`
- 输出Tensor的索引
返回:第
`index`
个输出
`Tensor`
返回类型:
`Tensor`
> **run()**
执行模型预测,需要在
***设置输入数据后**
*
调用。
参数:
-
`None`
返回:
`None`
返回类型:
`None`
> **get_version()**
用于获取当前lib使用的代码版本。若代码有相应tag则返回tag信息,如
`v2.0-beta`
;否则返回代码的
`branch(commitid)`
,如
`develop(7e44619)`
。
参数:
-
`None`
返回:当前lib使用的代码版本信息
返回类型:
`str`
# TargetType
```
python
class
TargetType
;
```
`TargetType`
为目标设备硬件类型,用户可以根据应用场景选择硬件平台类型。
枚举型变量
`TargetType`
的所有可能取值包括:
`{X86, CUDA, ARM, OpenCL, FPGA, NPU}`
# PrecisionType
```
python
class
PrecisionType
{
FP32
};
```
`PrecisionType`
为模型中Tensor的数据精度,默认值为FP32(float32)。
枚举型变量
`PrecisionType`
的所有可能取值包括:
`{FP32, INT8, INT32, INT64}`
# DataLayoutType
```
python
class
DataLayoutType
{
NCHW
};
```
`DataLayoutType`
为Tensor的数据格式,默认值为NCHW(number, channel, height, weigth)。
枚举型变量
`DataLayoutType`
的所有可能取值包括:
` {NCHW, NHWC}`
# Place
```
python
class
Place
{
TargetType
target
;
PrecisionType
precision
{
FP32
};
DataLayoutType
layout
{
NCHW
}
}
```
`Place`
是
`TargetType`
、
`PrecisionType`
和
`DataLayoutType`
的集合,说明运行时的设备类型、数据精度和数据格式。
示例:
```
python
from
lite_core
import
*
Place
{
TargetType
(
ARM
),
PrecisionType
(
FP32
),
DataLayoutType
(
NCHW
)}
```
# PowerMode
```
python
class
PowerMode
;
```
`PowerMode`
为ARM CPU能耗模式,用户可以根据应用场景设置能耗模式获得最优的能效比。
示例:
```
python
from
lite_core
import
*
config
=
MobileConfig
()
# 设置NaiveBuffer格式模型目录
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 根据MobileConfig创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
```
PowerMode详细说明如下:
| 选项 | 说明 |
| :------------------: | ------------------------------------------------------------ |
| LITE_POWER_HIGH | 绑定大核运行模式。如果ARM CPU支持big.LITTLE,则优先使用并绑定Big cluster。如果设置的线程数大于大核数量,则会将线程数自动缩放到大核数量。如果系统不存在大核或者在一些手机的低电量情况下会出现绑核失败,如果失败则进入不绑核模式。 |
| LITE_POWER_LOW | 绑定小核运行模式。如果ARM CPU支持big.LITTLE,则优先使用并绑定Little cluster。如果设置的线程数大于小核数量,则会将线程数自动缩放到小核数量。如果找不到小核,则自动进入不绑核模式。 |
| LITE_POWER_FULL | 大小核混用模式。线程数可以大于大核数量。当线程数大于核心数量时,则会自动将线程数缩放到核心数量。 |
| LITE_POWER_NO_BIND | 不绑核运行模式(推荐)。系统根据负载自动调度任务到空闲的CPU核心上。 |
| LITE_POWER_RAND_HIGH | 轮流绑定大核模式。如果Big cluster有多个核心,则每预测10次后切换绑定到下一个核心。 |
| LITE_POWER_RAND_LOW | 轮流绑定小核模式。如果Little cluster有多个核心,则每预测10次后切换绑定到下一个核心。 |
# Tensor
```
c++
class
Tensor
```
Tensor是Paddle-Lite的数据组织形式,用于对底层数据进行封装并提供接口对数据进行操作,包括设置Shape、数据、LoD信息等。
*注意:用户应使用`CxxPredictor`或`LightPredictor`的`get_input`和`get_output`接口获取输入/输出的`Tensor`。*
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置CxxConfig
config
=
CxxConfig
()
if
args
.
model_file
!=
''
and
args
.
param_file
!=
''
:
config
.
set_model_file
(
args
.
model_file
)
config
.
set_param_file
(
args
.
param_file
)
else
:
config
.
set_model_dir
(
args
.
model_dir
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 2. 创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **resize(shape)**
设置Tensor的维度信息。
参数:
-
`shape(list)`
- 维度信息
返回:
`None`
返回类型:
`None`
> **shape()**
获取Tensor的维度信息。
参数:
-
`None`
返回:Tensor的维度信息
返回类型:
`list`
> **float_data()**
获取Tensor的持有的float型数据。
示例:
```
python
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
参数:
-
`None`
返回:
`Tensor`
持有的float型数据
返回类型:
`list`
> **set_float_data(float_data)**
设置Tensor持有float数据。
示例:
```
python
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
```
参数:
-
`float_data(list)`
- 待设置的float型数据
返回:
`None`
返回类型:
`None`
> **set_lod(lod)**
设置Tensor的LoD信息。
参数:
-
`lod(list[list])`
- Tensor的LoD信息
返回:
`None`
返回类型:
`None`
> **lod()**
获取Tensor的LoD信息
参数:
-
`None`
返回:
`Tensor`
的LoD信息
返回类型:
`list[list]`
_all_pages/v2.0.0/index.md
浏览文件 @
13974a0d
...
@@ -55,6 +55,7 @@ Paddle-Lite 框架是 PaddleMobile 新一代架构,重点支持移动端推理
...
@@ -55,6 +55,7 @@ Paddle-Lite 框架是 PaddleMobile 新一代架构,重点支持移动端推理
-
[
C++ API文档
](
{{site.baseurl}}/v2.0.0/cxx_api_doc
)
-
[
C++ API文档
](
{{site.baseurl}}/v2.0.0/cxx_api_doc
)
-
[
Java API文档
](
{{site.baseurl}}/v2.0.0/java_api_doc
)
-
[
Java API文档
](
{{site.baseurl}}/v2.0.0/java_api_doc
)
-
[
Python API文档
](
{{site.baseurl}}/v2.0.0/python_api_doc
)
## FAQ
## FAQ
...
...
_all_pages/v2.0.0/python_api_doc.md
0 → 100755
浏览文件 @
13974a0d
---
layout
:
post
title
:
Python API 文档
---
*
TOC
{:toc}
# create_paddle_predictor
```
python
CxxPredictor
create_paddle_predictor
(
config
);
# config为CxxConfig类型
LightPredictor
create_paddle_predictor
(
config
);
# config为MobileConfig类型
```
`create_paddle_predictor`
函数用来根据
`CxxConfig`
或
`MobileConfig`
构建预测器。
示例:
```
python
from
lite_core
import
*
# 设置CxxConfig
config
=
CxxConfig
()
config
.
set_model_dir
(
<
your_model_dir_path
>
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
参数:
-
`config(CxxConfig或MobileConfig)`
- 用于构建Predictor的配置信息。
返回:预测器
`predictor`
返回类型:
`CxxPredictor`
或
`LightPredictor`
# CxxConfig
```
python
class
CxxConfig
;
```
`CxxConfig`
用来配置构建CxxPredictor的配置信息,如protobuf格式的模型地址、能耗模式、工作线程数、place信息等等。
示例:
```
python
from
lite_core
import
*
config
=
CxxConfig
()
# 设置模型目录,加载非combined模型时使用
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置工作线程数
config
.
set_threads
(
4
);
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 设置valid places
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_model_dir(model_dir)**
设置模型文件夹路径,当需要从磁盘加载非combined模型时使用。
参数:
-
`model_dir(str)`
- 模型文件夹路径
返回:
`None`
返回类型:
`None`
> **model_dir()**
返回设置的模型文件夹路径。
参数:
-
`None`
返回:模型文件夹路径
返回类型:
`str`
> **set_model_file(model_file)**
设置模型文件路径,加载combined形式模型时使用。
参数:
-
`model_file(str)`
- 模型文件路径
返回类型:
`None`
> **model_file()**
获取设置模型文件路径,加载combined形式模型时使用。
参数:
-
`None`
返回:模型文件路径
返回类型:
`str`
> **set_param_file(param_file)**
设置模型参数文件路径,加载combined形式模型时使用。
参数:
-
`param_file(str)`
- 模型文件路径
返回类型:
`None`
> **param_file()**
获取设置模型参数文件路径,加载combined形式模型时使用。
参数:
-
`None`
返回:模型参数文件路径
返回类型:
`str`
> **set_valid_places(valid_places)**
设置可用的places列表。
参数:
-
`valid_places(list)`
- 可用place列表。
返回类型:
`None`
示例:
```
python
from
lite_core
import
*
config
=
CxxConfig
()
# 设置模型目录,加载非combined模型时使用
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置valid places
# 注意,valid_places列表中Place的排序表明了用户对Place的偏好程度,如用户想优先使用ARM上Int8精度的
# kernel,则应把Place(TargetType.ARM, PrecisionType.INT8)置于valid_places列表的首位。
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
INT8
),
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 根据CxxConfig创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_power_mode(mode)**
设置CPU能耗模式。若不设置,则默认使用
`PowerMode.LITE_POWER_HIGH`
。
*注意:只在开启`OpenMP`时生效,否则系统自动调度。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`mode(PowerMode)`
- CPU能耗模式
返回:
`None`
返回类型:
`None`
> **power_mode()**
获取设置的CPU能耗模式。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:设置的CPU能耗模式
返回类型:
`PowerMode`
> **set_threads(threads)**
设置工作线程数。若不设置,则默认使用单线程。
*注意:只在开启`OpenMP`的模式下生效,否则只使用单线程。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`threads(int)`
- 工作线程数
返回:
`None`
返回类型:
`None`
> **threads()**
获取设置的工作线程数。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:工作线程数
返回类型:
`int`
# MobileConfig
```
python
class
MobileConfig
;
```
`MobileConfig`
用来配置构建LightPredictor的配置信息,如NaiveBuffer格式的模型地址、能耗模式、工作线程数等等。
示例:
```
python
from
lite_core
import
*
config
=
MobileConfig
()
# 设置NaiveBuffer格式模型目录
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置工作线程数
config
.
set_threads
(
4
);
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 根据MobileConfig创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
```
> **set_model_dir(model_dir)**
设置模型文件夹路径。
*注意:`model_dir`应该是经过`Model Optimize Tool`优化后产生的`NaiveBuffer`格式的模型。*
参数:
-
`model_dir(str)`
- 模型文件夹路径
返回:
`None`
返回类型:
`None`
> **model_dir()**
返回设置的模型文件夹路径。
参数:
-
`None`
返回:模型文件夹路径
返回类型:
`str`
> **set_power_mode(mode)**
设置CPU能耗模式。若不设置,则默认使用
`PowerMode.LITE_POWER_HIGH`
。
*注意:只在开启`OpenMP`时生效,否则系统自动调度。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`mode(PowerMode)`
- CPU能耗模式
返回:
`None`
返回类型:
`None`
> **power_mode()**
获取设置的CPU能耗模式。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:设置的CPU能耗模式
返回类型:
`PowerMode`
> **set_threads(threads)**
设置工作线程数。若不设置,则默认使用单线程。
*注意:只在开启`OpenMP`的模式下生效,否则只使用单线程。此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`threads(int)`
- 工作线程数
返回:
`None`
返回类型:
`None`
> **threads()**
获取设置的工作线程数。
*注意:此函数只在使用`LITE_WITH_ARM`编译选项下生效。*
参数:
-
`None`
返回:工作线程数
返回类型:
`int`
# CxxPredictor
```
c++
class
CxxPredictor
```
`CxxPredictor`
是Paddle-Lite的预测器,由
`create_paddle_predictor`
根据
`CxxConfig`
进行创建。用户可以根据CxxPredictor提供的接口设置输入数据、执行模型预测、获取输出以及获得当前使用lib的版本信息等。
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置CxxConfig
config
=
CxxConfig
()
if
args
.
model_file
!=
''
and
args
.
param_file
!=
''
:
config
.
set_model_file
(
args
.
model_file
)
config
.
set_param_file
(
args
.
param_file
)
else
:
config
.
set_model_dir
(
args
.
model_dir
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 2. 创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **get_input(index)**
获取输入Tensor,用来设置模型的输入数据。
参数:
-
`index(int)`
- 输入Tensor的索引
返回:第
`index`
个输入
`Tensor`
返回类型:
`Tensor`
> **get_output(index)**
获取输出Tensor,用来获取模型的输出结果。
参数:
-
`index(int)`
- 输出Tensor的索引
返回:第
`index`
个输出
`Tensor`
返回类型:
`Tensor`
> **run()**
执行模型预测,需要在
***设置输入数据后**
*
调用。
参数:
-
`None`
返回:
`None`
返回类型:
`None`
> **get_version()**
用于获取当前lib使用的代码版本。若代码有相应tag则返回tag信息,如
`v2.0-beta`
;否则返回代码的
`branch(commitid)`
,如
`develop(7e44619)`
。
参数:
-
`None`
返回:当前lib使用的代码版本信息
返回类型:
`str`
# LightPredictor
```
c++
class
LightPredictor
```
`LightPredictor`
是Paddle-Lite的预测器,由
`create_paddle_predictor`
根据
`MobileConfig`
进行创建。用户可以根据LightPredictor提供的接口设置输入数据、执行模型预测、获取输出以及获得当前使用lib的版本信息等。
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置MobileConfig
config
=
MobileConfig
()
config
.
set_model_dir
(
args
.
model_dir
)
# 2. 创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **get_input(index)**
获取输入Tensor,用来设置模型的输入数据。
参数:
-
`index(int)`
- 输入Tensor的索引
返回:第
`index`
个输入
`Tensor`
返回类型:
`Tensor`
> **get_output(index)**
获取输出Tensor,用来获取模型的输出结果。
参数:
-
`index(int)`
- 输出Tensor的索引
返回:第
`index`
个输出
`Tensor`
返回类型:
`Tensor`
> **run()**
执行模型预测,需要在
***设置输入数据后**
*
调用。
参数:
-
`None`
返回:
`None`
返回类型:
`None`
> **get_version()**
用于获取当前lib使用的代码版本。若代码有相应tag则返回tag信息,如
`v2.0-beta`
;否则返回代码的
`branch(commitid)`
,如
`develop(7e44619)`
。
参数:
-
`None`
返回:当前lib使用的代码版本信息
返回类型:
`str`
# TargetType
```
python
class
TargetType
;
```
`TargetType`
为目标设备硬件类型,用户可以根据应用场景选择硬件平台类型。
枚举型变量
`TargetType`
的所有可能取值包括:
`{X86, CUDA, ARM, OpenCL, FPGA, NPU}`
# PrecisionType
```
python
class
PrecisionType
{
FP32
};
```
`PrecisionType`
为模型中Tensor的数据精度,默认值为FP32(float32)。
枚举型变量
`PrecisionType`
的所有可能取值包括:
`{FP32, INT8, INT32, INT64}`
# DataLayoutType
```
python
class
DataLayoutType
{
NCHW
};
```
`DataLayoutType`
为Tensor的数据格式,默认值为NCHW(number, channel, height, weigth)。
枚举型变量
`DataLayoutType`
的所有可能取值包括:
` {NCHW, NHWC}`
# Place
```
python
class
Place
{
TargetType
target
;
PrecisionType
precision
{
FP32
};
DataLayoutType
layout
{
NCHW
}
}
```
`Place`
是
`TargetType`
、
`PrecisionType`
和
`DataLayoutType`
的集合,说明运行时的设备类型、数据精度和数据格式。
示例:
```
python
from
lite_core
import
*
Place
{
TargetType
(
ARM
),
PrecisionType
(
FP32
),
DataLayoutType
(
NCHW
)}
```
# PowerMode
```
python
class
PowerMode
;
```
`PowerMode`
为ARM CPU能耗模式,用户可以根据应用场景设置能耗模式获得最优的能效比。
示例:
```
python
from
lite_core
import
*
config
=
MobileConfig
()
# 设置NaiveBuffer格式模型目录
config
.
set_model_dir
(
<
your_model_dir_path
>
)
# 设置能耗模式
config
.
set_power_mode
(
PowerMode
.
LITE_POWER_NO_BIND
)
# 根据MobileConfig创建LightPredictor
predictor
=
create_paddle_predictor
(
config
)
```
PowerMode详细说明如下:
| 选项 | 说明 |
| :------------------: | ------------------------------------------------------------ |
| LITE_POWER_HIGH | 绑定大核运行模式。如果ARM CPU支持big.LITTLE,则优先使用并绑定Big cluster。如果设置的线程数大于大核数量,则会将线程数自动缩放到大核数量。如果系统不存在大核或者在一些手机的低电量情况下会出现绑核失败,如果失败则进入不绑核模式。 |
| LITE_POWER_LOW | 绑定小核运行模式。如果ARM CPU支持big.LITTLE,则优先使用并绑定Little cluster。如果设置的线程数大于小核数量,则会将线程数自动缩放到小核数量。如果找不到小核,则自动进入不绑核模式。 |
| LITE_POWER_FULL | 大小核混用模式。线程数可以大于大核数量。当线程数大于核心数量时,则会自动将线程数缩放到核心数量。 |
| LITE_POWER_NO_BIND | 不绑核运行模式(推荐)。系统根据负载自动调度任务到空闲的CPU核心上。 |
| LITE_POWER_RAND_HIGH | 轮流绑定大核模式。如果Big cluster有多个核心,则每预测10次后切换绑定到下一个核心。 |
| LITE_POWER_RAND_LOW | 轮流绑定小核模式。如果Little cluster有多个核心,则每预测10次后切换绑定到下一个核心。 |
# Tensor
```
c++
class
Tensor
```
Tensor是Paddle-Lite的数据组织形式,用于对底层数据进行封装并提供接口对数据进行操作,包括设置Shape、数据、LoD信息等。
*注意:用户应使用`CxxPredictor`或`LightPredictor`的`get_input`和`get_output`接口获取输入/输出的`Tensor`。*
示例:
```
python
from
__future__
import
print_function
from
lite_core
import
*
# 1. 设置CxxConfig
config
=
CxxConfig
()
if
args
.
model_file
!=
''
and
args
.
param_file
!=
''
:
config
.
set_model_file
(
args
.
model_file
)
config
.
set_param_file
(
args
.
param_file
)
else
:
config
.
set_model_dir
(
args
.
model_dir
)
places
=
[
Place
(
TargetType
.
ARM
,
PrecisionType
.
FP32
)]
config
.
set_valid_places
(
places
)
# 2. 创建CxxPredictor
predictor
=
create_paddle_predictor
(
config
)
# 3. 设置输入数据
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
# 4. 运行模型
predictor
.
run
()
# 5. 获取输出数据
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
> **resize(shape)**
设置Tensor的维度信息。
参数:
-
`shape(list)`
- 维度信息
返回:
`None`
返回类型:
`None`
> **shape()**
获取Tensor的维度信息。
参数:
-
`None`
返回:Tensor的维度信息
返回类型:
`list`
> **float_data()**
获取Tensor的持有的float型数据。
示例:
```
python
output_tensor
=
predictor
.
get_output
(
0
)
print
(
output_tensor
.
shape
())
print
(
output_tensor
.
float_data
()[:
10
])
```
参数:
-
`None`
返回:
`Tensor`
持有的float型数据
返回类型:
`list`
> **set_float_data(float_data)**
设置Tensor持有float数据。
示例:
```
python
input_tensor
=
predictor
.
get_input
(
0
)
input_tensor
.
resize
([
1
,
3
,
224
,
224
])
input_tensor
.
set_float_data
([
1.
]
*
3
*
224
*
224
)
```
参数:
-
`float_data(list)`
- 待设置的float型数据
返回:
`None`
返回类型:
`None`
> **set_lod(lod)**
设置Tensor的LoD信息。
参数:
-
`lod(list[list])`
- Tensor的LoD信息
返回:
`None`
返回类型:
`None`
> **lod()**
获取Tensor的LoD信息
参数:
-
`None`
返回:
`Tensor`
的LoD信息
返回类型:
`list[list]`
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录