Run_On_JETSON_CN.md 1.4 KB
Newer Older
S
ShiningZhang 已提交
1 2 3 4 5 6
## Paddle Serving使用JETSON部署

Paddle Serving支持使用JETSON进行预测部署。目前仅支持Pipeline模式。

### 安装PaddlePaddle

S
ShiningZhang 已提交
7
可以参考[NV Jetson部署示例](https://paddleinference.paddlepaddle.org.cn/demo_tutorial/cuda_jetson_demo.html) 安装python版本的paddlepaddle
S
ShiningZhang 已提交
8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42


### 安装PaddleServing

安装ARM版本的whl包
```
# paddle-serving-server
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_server_xpu-0.0.0.post2-py3-none-any.whl
# paddle-serving-client
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_client-0.0.0-cp36-none-any.whl
# paddle-serving-app
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_app-0.0.0-py3-none-any.whl
```

### 部署使用

[Uci](../examples/Pipeline/simple_web_service/README_CN.md)为例

启动服务
```
python3 web_service.py &>log.txt &
```
其中修改config.yml中的对应配置项
```
            #计算硬件类型: 空缺时由devices决定(CPU/GPU),0=cpu, 1=gpu, 2=tensorRT, 3=arm cpu, 4=kunlun xpu
            device_type: 1

            #计算硬件ID,优先由device_type决定硬件类型。devices为""或空缺时为CPU预测;当为"0", "0,1,2"时为GPU预测,表示使用的GPU卡
            devices: "0,1"
```

## 其他说明

### Jetson支持相关参考资料
* [Jetson运行飞桨](https://paddleinference.paddlepaddle.org.cn/demo_tutorial/cuda_jetson_demo.html)