diff --git a/deploy/cpp/scripts/bootstrap.sh b/deploy/cpp/scripts/bootstrap.sh index 9600e9fc1c33dd68af18d7aad2e4c7accc283f67..bb9756204e9e610365f67aa37dc78d1b5eaf80b8 100644 --- a/deploy/cpp/scripts/bootstrap.sh +++ b/deploy/cpp/scripts/bootstrap.sh @@ -7,7 +7,6 @@ if [ ! -d "./paddlex-encryption" ]; then fi # download pre-compiled opencv lib -#OPENCV_URL=https://paddleseg.bj.bcebos.com/deploy/docker/opencv3gcc4.8.tar.bz2 OPENCV_URL=https://bj.bcebos.com/paddleseg/deploy/opencv3.4.6gcc4.8ffmpeg.tar.gz2 if [ ! -d "./deps/opencv3.4.6gcc4.8ffmpeg/" ]; then mkdir -p deps diff --git a/deploy/cpp/scripts/build.sh b/deploy/cpp/scripts/build.sh index 2307f382c54a39342b086134547d5fcb82ab1f5f..6d6ad25b24170a27639f9b1d651888c4027dbeed 100644 --- a/deploy/cpp/scripts/build.sh +++ b/deploy/cpp/scripts/build.sh @@ -1,5 +1,5 @@ # 是否使用GPU(即是否使用 CUDA) -WITH_GPU=ON +WITH_GPU=OFF # 使用MKL or openblas WITH_MKL=ON # 是否集成 TensorRT(仅WITH_GPU=ON 有效) @@ -7,15 +7,14 @@ WITH_TENSORRT=OFF # TensorRT 的路径，如果需要集成TensorRT，需修改为您实际安装的TensorRT路径 TENSORRT_DIR=/root/projects/TensorRT/ # Paddle 预测库路径, 请修改为您实际安装的预测库路径 -#PADDLE_DIR=/rrpn/my/qh_PaddleX/PaddleX/deploy/cpp/fluid_inference -PADDLE_DIR=/rrpn/my/PaddleX/deploy/cpp/fluid_inference +PADDLE_DIR=/root/projects/fluid_inference # Paddle 的预测库是否使用静态库来编译 # 使用TensorRT时，Paddle的预测库通常为动态库 WITH_STATIC_LIB=OFF # CUDA 的 lib 路径 CUDA_LIB=/usr/local/cuda/lib64 # CUDNN 的 lib 路径 -CUDNN_LIB=/usr/lib/x86_64-linux-gnu/ +CUDNN_LIB=/usr/local/cuda/lib64 # 是否加载加密后的模型 WITH_ENCRYPTION=ON @@ -43,4 +42,4 @@ cmake .. \ -DCUDNN_LIB=${CUDNN_LIB} \ -DENCRYPTION_DIR=${ENCRYPTION_DIR} \ -DOPENCV_DIR=${OPENCV_DIR} -make +make -j16 diff --git a/docs/deploy/nvidia-jetson.md b/docs/deploy/nvidia-jetson.md index a707f4689198f0c1c626d75938a53df76ebfa881..874b952fe3e95c04d012f6c44f17779b286c6a55 100644 --- a/docs/deploy/nvidia-jetson.md +++ b/docs/deploy/nvidia-jetson.md @@ -1,7 +1,7 @@ # Nvidia Jetson开发板 ## 说明 -本文档在 `Linux`平台使用`GCC 7.4`测试过，如果需要使用更高G++版本编译使用，则需要重新编译Paddle预测库，请参考: [Nvidia Jetson嵌入式硬件预测库源码编译](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 +本文档在用Jetpack 4.4刷机的`Linux`平台上使用`GCC 7.4`测试过，如果需要使用更高G++版本编译使用，则需要重新编译Paddle预测库，请参考: [Nvidia Jetson嵌入式硬件预测库源码编译](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 ## 前置条件 * G++ 7.4 @@ -57,13 +57,6 @@ CUDA_LIB=/usr/local/cuda/lib64 # CUDNN 的 lib 路径 CUDNN_LIB=/usr/local/cuda/lib64 -# 是否加载加密后的模型 -WITH_ENCRYPTION=OFF - -# OPENCV 路径, 如果使用自带预编译版本可不修改 -sh $(pwd)/scripts/jetson_bootstrap.sh # 下载预编译版本的opencv -OPENCV_DIR=$(pwd)/deps/opencv3/ - # 以下无需改动 rm -rf build mkdir -p build @@ -77,18 +70,13 @@ cmake .. \ -DPADDLE_DIR=${PADDLE_DIR} \ -DWITH_STATIC_LIB=${WITH_STATIC_LIB} \ -DCUDA_LIB=${CUDA_LIB} \ - -DCUDNN_LIB=${CUDNN_LIB} \ - -DENCRYPTION_DIR=${ENCRYPTION_DIR} \ - -DOPENCV_DIR=${OPENCV_DIR} + -DCUDNN_LIB=${CUDNN_LIB} make ``` -**注意：** linux环境下编译会自动下载OPENCV和YAML，如果编译环境无法访问外网，可手动下载： +**注意：** linux环境下编译会自动下载YAML，如果编译环境无法访问外网，可手动下载： -- [opencv3_aarch.tgz](https://bj.bcebos.com/paddlex/deploy/tools/opencv3_aarch.tgz) - [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip) -opencv3_aarch.tgz文件下载后解压，然后在script/build.sh中指定`OPENCE_DIR`为解压后的路径。 - yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址，改为下载文件的路径。 修改脚本设置好主要参数后，执行`build`脚本： @@ -100,7 +88,7 @@ yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https:// **在加载模型前，请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件，请参考[模型导出为Inference文档](export_model.md)将模型导出为部署格式。** -编译成功后，预测demo的可执行程序分别为`build/demo/detector`，`build/demo/classifier`，`build/demo/segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： +* 编译成功后，图片预测demo的可执行程序分别为`build/demo/detector`，`build/demo/classifier`，`build/demo/segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： | 参数 | 说明 | | ---- | ---- | @@ -111,10 +99,26 @@ yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https:// | use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) | | gpu_id | GPU 设备ID, 默认值为0 | | save_dir | 保存可视化结果的路径, 默认值为"output"，**classfier无该参数** | -| key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | | batch_size | 预测的批量大小，默认为1 | | thread_num | 预测的线程数，默认为cpu处理器个数 | -| use_ir_optim | 是否使用图优化策略，支持值为0或1（默认值为1，图像分割默认值为0）| + +* 编译成功后，视频预测demo的可执行程序分别为`build/demo/video_detector`，`build/demo/video_classifier`，`build/demo/video_segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| use_camera | 是否使用摄像头预测，支持值为0或1(默认值为0) | +| camera_id | 摄像头设备ID，默认值为0 | +| video_path | 视频文件的路径 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| show_result | 对视频文件做预测时，是否在屏幕上实时显示预测可视化结果(因加入了延迟处理，故显示结果不能反映真实的帧率)，支持值为0或1(默认值为0) | +| save_result | 是否将每帧的预测可视结果保存为视频文件，支持值为0或1(默认值为1) | +| save_dir | 保存可视化结果的路径, 默认值为"output" | + +**注意：若系统无GUI，则不要将show_result设置为1。当使用摄像头预测时，按`ESC`键可关闭摄像头并推出预测程序。** + ## 样例 @@ -143,3 +147,21 @@ yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https:// ./build/demo/detector --model_dir=/root/projects/inference_model --image_list=/root/projects/images_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2 ``` 图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + +**样例三：** + +使用摄像头预测： + +```shell +./build/demo/video_detector --model_dir=/root/projects/inference_model --use_camera=1 --use_gpu=1 --save_dir=output --save_result=1 +``` +当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。 + +**样例四：** + +对视频文件进行预测： + +```shell +./build/demo/video_detector --model_dir=/root/projects/inference_model --video_path=/path/to/video_file --use_gpu=1 --save_dir=output --show_result=1 --save_result=1 +``` +当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。如果系统有GUI，通过将`show_result`设置为1在屏幕上观看可视化预测结果。 diff --git a/docs/deploy/server/cpp/linux.md b/docs/deploy/server/cpp/linux.md index 2e4b4d414bcadacd2b6a3e909a9406599dedfcfd..d81569e6d280d06e3637dd13a012e38169b615a2 100644 --- a/docs/deploy/server/cpp/linux.md +++ b/docs/deploy/server/cpp/linux.md @@ -142,9 +142,9 @@ yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https:// | use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | | use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) | | gpu_id | GPU 设备ID, 默认值为0 | -| show_result | 是否在屏幕上实时显示预测可视化结果(因加入了延迟处理，故显示结果不能反映真实的帧率)，支持值为0或1(默认值为0) | +| show_result | 对视频文件做预测时，是否在屏幕上实时显示预测可视化结果(因加入了延迟处理，故显示结果不能反映真实的帧率)，支持值为0或1(默认值为0) | | save_result | 是否将每帧的预测可视结果保存为视频文件，支持值为0或1(默认值为1) | -| save_dir | 保存可视化结果的路径, 默认值为"output"，**classfier无该参数** | +| save_dir | 保存可视化结果的路径, 默认值为"output"| | key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | **注意：若系统无GUI，则不要将show_result设置为1。当使用摄像头预测时，按`ESC`键可关闭摄像头并推出预测程序。** @@ -186,7 +186,7 @@ yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https:// ```shell ./build/demo/video_detector --model_dir=/root/projects/inference_model --use_camera=1 --use_gpu=1 --save_dir=output --save_result=1 ``` -当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。如果系统有GUI，通过将`show_result`设置为1在屏幕上观看可视化预测结果。 +当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。 **样例四：** diff --git a/docs/deploy/server/cpp/windows.md b/docs/deploy/server/cpp/windows.md index 5422f786799268def6a5b34c917bd7f49d0bf8f0..4c5ef9e201424cca4b3bcb291ffa74df9c45546b 100644 --- a/docs/deploy/server/cpp/windows.md +++ b/docs/deploy/server/cpp/windows.md @@ -127,7 +127,7 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release | gpu_id | GPU 设备ID, 默认值为0 | | show_result | 对视频文件做预测时，是否在屏幕上实时显示预测可视化结果(因加入了延迟处理，故显示结果不能反映真实的帧率)，支持值为0或1(默认值为0) | | save_result | 是否将每帧的预测可视结果保存为视频文件，支持值为0或1(默认值为1) | -| save_dir | 保存可视化结果的路径, 默认值为"output"，classifier无该参数 | +| save_dir | 保存可视化结果的路径, 默认值为"output" | | key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | **注意：若系统无GUI，则不要将show_result设置为1。当使用摄像头预测时，按`ESC`键可关闭摄像头并推出预测程序。** @@ -180,7 +180,7 @@ D:\images\xiaoduxiongn.jpeg ```shell .\paddlex_inference\video_detector.exe --model_dir=D:\projects\inference_model --use_camera=1 --use_gpu=1 --save_dir=output ``` -当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。如果系统有GUI，通过将`show_result`设置为1在屏幕上观看可视化预测结果。 +当`save_result`设置为1时，`可视化预测结果`会以视频文件的格式保存在`save_dir`参数设置的目录下。 ### 样例五：(使用未加密的模型对视频文件做预测)