Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleX
提交
203b19ff
P
PaddleX
项目概览
PaddlePaddle
/
PaddleX
通知
138
Star
4
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
43
列表
看板
标记
里程碑
合并请求
5
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleX
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
43
Issue
43
列表
看板
标记
里程碑
合并请求
5
合并请求
5
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
203b19ff
编写于
7月 08, 2020
作者:
J
jack
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add jetson build
上级
6a3083e2
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
146 addition
and
0 deletion
+146
-0
docs/deploy/nvidia-jetson.md
docs/deploy/nvidia-jetson.md
+146
-0
未找到文件。
docs/deploy/nvidia-jetson.md
浏览文件 @
203b19ff
# Nvidia-Jetson开发板
## 说明
本文档在
`Linux`
平台使用
`GCC 4.8.5`
和
`GCC 4.9.4`
测试过,如果需要使用更高G++版本编译使用,则需要重新编译Paddle预测库,请参考:
[
NVIDIA Jetson嵌入式硬件预测库源码编译
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12
)
。
## 前置条件
*
G++ 4.8.2 ~ 4.9.4
*
CUDA 9.0 / CUDA 10.0, CUDNN 7+ (仅在使用GPU版本的预测库时需要)
*
CMake 3.0+
请确保系统已经安装好上述基本软件,
**下面所有示例以工作目录 `/root/projects/`演示**
。
### Step1: 下载代码
`git clone https://github.com/PaddlePaddle/PaddleX.git`
**说明**
:其中
`C++`
预测代码在
`/root/projects/PaddleX/deploy/cpp`
目录,该目录不依赖任何
`PaddleX`
下其他目录。
### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
目前PaddlePaddle为Nvidia-Jetson 提供了一个基于1.6.2版本的C++ 预测库。
| 版本说明 | 预测库(1.6.2版本) |
| ---- | ---- |
| nv-jetson-cuda10-cudnn7.5-trt5 |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.7.1-nv-jetson-cuda10-cudnn7.5-trt5/fluid_inference.tar.gz
)
|
下载并解压后
`/root/projects/fluid_inference`
目录包含内容为:
```
fluid_inference
├── paddle # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息
```
### Step3: 编译
编译
`cmake`
的命令在
`scripts/jetson_build.sh`
中,请根据实际情况修改主要参数,其主要内容说明如下:
```
# 是否使用GPU(即是否使用 CUDA)
WITH_GPU=OFF
# 使用MKL or openblas
WITH_MKL=OFF
# 是否集成 TensorRT(仅WITH_GPU=ON 有效)
WITH_TENSORRT=OFF
# TensorRT 的路径,如果需要集成TensorRT,需修改为您实际安装的TensorRT路径
TENSORRT_DIR=/root/projects/TensorRT/
# Paddle 预测库路径, 请修改为您实际安装的预测库路径
PADDLE_DIR=/root/projects/fluid_inference
# Paddle 的预测库是否使用静态库来编译
# 使用TensorRT时,Paddle的预测库通常为动态库
WITH_STATIC_LIB=OFF
# CUDA 的 lib 路径
CUDA_LIB=/usr/local/cuda/lib64
# CUDNN 的 lib 路径
CUDNN_LIB=/usr/local/cuda/lib64
# 是否加载加密后的模型
WITH_ENCRYPTION=OFF
# 加密工具的路径, 如果使用自带预编译版本可不修改
sh $(pwd)/scripts/jetson_bootstrap.sh # 下载预编译版本的加密工具
# OPENCV 路径, 如果使用自带预编译版本可不修改
sh $(pwd)/scripts/jetson_bootstrap.sh # 下载预编译版本的opencv
OPENCV_DIR=$(pwd)/deps/opencv3/
# 以下无需改动
rm -rf build
mkdir -p build
cd build
cmake .. \
-DWITH_GPU=${WITH_GPU} \
-DWITH_MKL=${WITH_MKL} \
-DWITH_TENSORRT=${WITH_TENSORRT} \
-DWITH_ENCRYPTION=${WITH_ENCRYPTION} \
-DTENSORRT_DIR=${TENSORRT_DIR} \
-DPADDLE_DIR=${PADDLE_DIR} \
-DWITH_STATIC_LIB=${WITH_STATIC_LIB} \
-DCUDA_LIB=${CUDA_LIB} \
-DCUDNN_LIB=${CUDNN_LIB} \
-DENCRYPTION_DIR=${ENCRYPTION_DIR} \
-DOPENCV_DIR=${OPENCV_DIR}
make
```
**注意:**
linux环境下编译会自动下载OPENCV, PaddleX-Encryption和YAML,如果编译环境无法访问外网,可手动下载:
-
[
opencv3_aarch.tgz
](
https://bj.bcebos.com/paddlex/deploy/tools/opencv3_aarch.tgz
)
-
[
yaml-cpp.zip
](
https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip
)
opencv3_aarch.tgz文件下载后解压,然后在script/build.sh中指定
`OPENCE_DIR`
为解压后的路径。
yaml-cpp.zip文件下载后无需解压,在cmake/yaml.cmake中将
`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip`
中的网址,改为下载文件的路径。
修改脚本设置好主要参数后,执行
`build`
脚本:
```
shell
sh ./scripts/jetson_build.sh
```
### Step4: 预测及可视化
**在加载模型前,请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件,请参考[模型导出为Inference文档](../python.html#inference)将模型导出为部署格式。**
编译成功后,预测demo的可执行程序分别为
`build/demo/detector`
,
`build/demo/classifier`
,
`build/demo/segmenter`
,用户可根据自己的模型类型选择,其主要命令参数说明如下:
| 参数 | 说明 |
| ---- | ---- |
| model_dir | 导出的预测模型所在路径 |
| image | 要预测的图片文件路径 |
| image_list | 按行存储图片路径的.txt文件 |
| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) |
| use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) |
| gpu_id | GPU 设备ID, 默认值为0 |
| save_dir | 保存可视化结果的路径, 默认值为"output",
**classfier无该参数**
|
| key | 加密过程中产生的密钥信息,默认值为""表示加载的是未加密的模型 |
| batch_size | 预测的批量大小,默认为1 |
| thread_num | 预测的线程数,默认为cpu处理器个数 |
| use_ir_optim | 是否使用图优化策略,支持值为0或1(默认值为1,图像分割默认值为0)|
## 样例
可使用
[
小度熊识别模型
](
../python.html#inference
)
中导出的
`inference_model`
和测试图片进行预测,导出到/root/projects,模型路径为/root/projects/inference_model。
`样例一`
:
不使用
`GPU`
测试图片
`/root/projects/images/xiaoduxiong.jpeg`
```
shell
./build/demo/detector
--model_dir
=
/root/projects/inference_model
--image
=
/root/projects/images/xiaoduxiong.jpeg
--save_dir
=
output
```
图片文件
`可视化预测结果`
会保存在
`save_dir`
参数设置的目录下。
`样例二`
:
使用
`GPU`
预测多个图片
`/root/projects/image_list.txt`
,image_list.txt内容的格式如下:
```
/root/projects/images/xiaoduxiong1.jpeg
/root/projects/images/xiaoduxiong2.jpeg
...
/root/projects/images/xiaoduxiongn.jpeg
```
```
shell
./build/demo/detector
--model_dir
=
/root/projects/inference_model
--image_list
=
/root/projects/images_list.txt
--use_gpu
=
1
--save_dir
=
output
--batch_size
=
2
--thread_num
=
2
```
图片文件
`可视化预测结果`
会保存在
`save_dir`
参数设置的目录下。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录