nvidia-jetson.md 5.8 KB
Newer Older
1
# Nvidia Jetson开发板
C
Channingss 已提交
2 3

## 说明
F
FlyingQianMM 已提交
4
本文档在 `Linux`平台使用`GCC 7.4`测试过,如果需要使用更高G++版本编译使用,则需要重新编译Paddle预测库,请参考: [Nvidia Jetson嵌入式硬件预测库源码编译](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)
C
Channingss 已提交
5 6

## 前置条件
F
FlyingQianMM 已提交
7
* G++ 7.4
C
Channingss 已提交
8 9 10 11 12 13 14 15 16 17 18 19
* CUDA 9.0 / CUDA 10.0, CUDNN 7+ (仅在使用GPU版本的预测库时需要)
* CMake 3.0+

请确保系统已经安装好上述基本软件,**下面所有示例以工作目录 `/root/projects/`演示**

### Step1: 下载代码

 `git clone https://github.com/PaddlePaddle/PaddleX.git`

**说明**:其中`C++`预测代码在`/root/projects/PaddleX/deploy/cpp` 目录,该目录不依赖任何`PaddleX`下其他目录。


J
jiangjiajun 已提交
20
### Step2: 下载PaddlePaddle C++ 预测库 paddle_inference
C
Channingss 已提交
21

22
目前PaddlePaddle为Nvidia Jetson提供了一个基于1.6.2版本的C++ 预测库。
C
Channingss 已提交
23

J
jiangjiajun 已提交
24
|  版本说明   | 预测库(1.6.2版本)  |
C
Channingss 已提交
25
|  ----  | ----  |
J
jiangjiajun 已提交
26
| nv-jetson-cuda10-cudnn7.5-trt5 | [paddle_inference](https://paddle-inference-lib.bj.bcebos.com/1.7.1-nv-jetson-cuda10-cudnn7.5-trt5/fluid_inference.tar.gz) |
C
Channingss 已提交
27 28 29 30 31 32 33 34 35 36 37

下载并解压后`/root/projects/fluid_inference`目录包含内容为:
```
fluid_inference
├── paddle # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息
```

J
jiangjiajun 已提交
38
### Step3: 编译
C
Channingss 已提交
39

J
jiangjiajun 已提交
40
编译`cmake`的命令在`scripts/jetson_build.sh`中,请根据实际情况修改主要参数,其主要内容说明如下:
C
Channingss 已提交
41 42
```
# 是否使用GPU(即是否使用 CUDA)
43
WITH_GPU=OFF
44
# 使用MKL or openblas
J
jiangjiajun 已提交
45
WITH_MKL=OFF
C
Channingss 已提交
46 47
# 是否集成 TensorRT(仅WITH_GPU=ON 有效)
WITH_TENSORRT=OFF
48 49 50 51
# TensorRT 的路径,如果需要集成TensorRT,需修改为您实际安装的TensorRT路径
TENSORRT_DIR=/root/projects/TensorRT/
# Paddle 预测库路径, 请修改为您实际安装的预测库路径
PADDLE_DIR=/root/projects/fluid_inference
52 53
# Paddle 的预测库是否使用静态库来编译
# 使用TensorRT时,Paddle的预测库通常为动态库
54
WITH_STATIC_LIB=OFF
C
Channingss 已提交
55
# CUDA 的 lib 路径
56
CUDA_LIB=/usr/local/cuda/lib64
C
Channingss 已提交
57
# CUDNN 的 lib 路径
58
CUDNN_LIB=/usr/local/cuda/lib64
C
Channingss 已提交
59

F
FlyingQianMM 已提交
60
# 是否加载加密后的模型
J
jiangjiajun 已提交
61
WITH_ENCRYPTION=OFF
F
FlyingQianMM 已提交
62

63
# OPENCV 路径, 如果使用自带预编译版本可不修改
J
jiangjiajun 已提交
64 65
sh $(pwd)/scripts/jetson_bootstrap.sh  # 下载预编译版本的opencv
OPENCV_DIR=$(pwd)/deps/opencv3/
C
Channingss 已提交
66 67

# 以下无需改动
C
Channingss 已提交
68 69 70 71 72
rm -rf build
mkdir -p build
cd build
cmake .. \
    -DWITH_GPU=${WITH_GPU} \
73
    -DWITH_MKL=${WITH_MKL} \
C
Channingss 已提交
74
    -DWITH_TENSORRT=${WITH_TENSORRT} \
F
FlyingQianMM 已提交
75
    -DWITH_ENCRYPTION=${WITH_ENCRYPTION} \
76
    -DTENSORRT_DIR=${TENSORRT_DIR} \
C
Channingss 已提交
77
    -DPADDLE_DIR=${PADDLE_DIR} \
78
    -DWITH_STATIC_LIB=${WITH_STATIC_LIB} \
C
Channingss 已提交
79 80
    -DCUDA_LIB=${CUDA_LIB} \
    -DCUDNN_LIB=${CUDNN_LIB} \
F
FlyingQianMM 已提交
81
    -DENCRYPTION_DIR=${ENCRYPTION_DIR} \
C
Channingss 已提交
82 83 84
    -DOPENCV_DIR=${OPENCV_DIR}
make
```
J
jiangjiajun 已提交
85
**注意:** linux环境下编译会自动下载OPENCV和YAML,如果编译环境无法访问外网,可手动下载:
C
Channingss 已提交
86

J
jiangjiajun 已提交
87
- [opencv3_aarch.tgz](https://bj.bcebos.com/paddlex/deploy/tools/opencv3_aarch.tgz)
C
Channingss 已提交
88
- [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip)
C
Channingss 已提交
89

J
jiangjiajun 已提交
90
opencv3_aarch.tgz文件下载后解压,然后在script/build.sh中指定`OPENCE_DIR`为解压后的路径。
C
Channingss 已提交
91

C
Channingss 已提交
92
yaml-cpp.zip文件下载后无需解压,在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址,改为下载文件的路径。
C
Channingss 已提交
93 94 95

修改脚本设置好主要参数后,执行`build`脚本:
 ```shell
J
jiangjiajun 已提交
96
 sh ./scripts/jetson_build.sh
C
Channingss 已提交
97 98
 ```

J
jiangjiajun 已提交
99
### Step4: 预测及可视化
F
FlyingQianMM 已提交
100

J
jiangjiajun 已提交
101
**在加载模型前,请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件,请参考[模型导出为Inference文档](export_model.md)将模型导出为部署格式。**  
J
Jason 已提交
102

103
编译成功后,预测demo的可执行程序分别为`build/demo/detector``build/demo/classifier``build/demo/segmenter`,用户可根据自己的模型类型选择,其主要命令参数说明如下:
C
Channingss 已提交
104 105 106 107 108 109 110

|  参数   | 说明  |
|  ----  | ----  |
| model_dir  | 导出的预测模型所在路径 |
| image  | 要预测的图片文件路径 |
| image_list  | 按行存储图片路径的.txt文件 |
| use_gpu  | 是否使用 GPU 预测, 支持值为0或1(默认值为0) |
111
| use_trt  | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) |
C
Channingss 已提交
112
| gpu_id  | GPU 设备ID, 默认值为0 |
J
Jason 已提交
113
| save_dir | 保存可视化结果的路径, 默认值为"output",**classfier无该参数** |
114 115 116
| key | 加密过程中产生的密钥信息,默认值为""表示加载的是未加密的模型 |
| batch_size | 预测的批量大小,默认为1 |
| thread_num | 预测的线程数,默认为cpu处理器个数 |
J
jiangjiajun 已提交
117
| use_ir_optim | 是否使用图优化策略,支持值为0或1(默认值为1,图像分割默认值为0)|
C
Channingss 已提交
118

C
Channingss 已提交
119 120
## 样例

J
jiangjiajun 已提交
121
可使用[小度熊识别模型](export_model.md)中导出的`inference_model`和测试图片进行预测,导出到/root/projects,模型路径为/root/projects/inference_model。
C
Channingss 已提交
122 123 124

`样例一`

125
不使用`GPU`测试图片 `/root/projects/images/xiaoduxiong.jpeg`  
C
Channingss 已提交
126 127

```shell
128
./build/demo/detector --model_dir=/root/projects/inference_model --image=/root/projects/images/xiaoduxiong.jpeg --save_dir=output
C
Channingss 已提交
129 130 131 132 133 134
```
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。


`样例二`:

135
使用`GPU`预测多个图片`/root/projects/image_list.txt`,image_list.txt内容的格式如下:
C
Channingss 已提交
136
```
137 138
/root/projects/images/xiaoduxiong1.jpeg
/root/projects/images/xiaoduxiong2.jpeg
C
Channingss 已提交
139
...
140
/root/projects/images/xiaoduxiongn.jpeg
C
Channingss 已提交
141 142
```
```shell
143
./build/demo/detector --model_dir=/root/projects/inference_model --image_list=/root/projects/images_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2
C
Channingss 已提交
144 145
```
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。