未验证 提交 5c297748 编写于 作者: T TianXiaogang 提交者: GitHub

update fpga.md (#2365)

* fix: fix fpga_doc

* fix: doc review

* fix: fix develop/fpga md

* fix: update fpga.md

* fix: fix fpga doc

* update fpga.md && test=develop
上级 b8dbe18a
--- ---
layout: post layout: post
title: Lite基于fpga的模型预测 title: Lite基于FPGA的模型预测
--- ---
Paddle Lite支持基于arm的fpga zu3/zu5/zu9的模型预测,提供armv8的交叉编译 Paddle Lite支持基于arm的FPGA zu3/zu5/zu9的模型预测,提供armv8的交叉编译
Lite基于fpga运行模型需要相应的fpga驱动,目前只支持百度edgeboard开发板 Lite基于FPGA运行模型需要相应的FPGA驱动,目前只支持百度[Edgeboard开发板](https://ai.baidu.com/tech/hardware/deepkit)
**Lite实现fpga简介** # Lite实现FPGA简介
Lite支持fpga作为后端硬件进行模型推理,其主要特性如下: Lite支持FPGA作为后端硬件进行模型推理,其主要特性如下:
- Lite中fpga的kernel(feed、fetch除外)均以FP16、NHWC的格式作为输入输出格式,所有的weights和bias仍为FP32、NCHW的格式,feed的输入和fetch的输出均为FP32、NCHW格式的数据,在提升计算速度的同时能做到用户对数据格式无感知 - Lite中FPGA的kernel(feed、fetch除外)均以FP16、NHWC的格式作为输入输出格式,所有的weights和bias仍为FP32、NCHW的格式,feed的输入和fetch的输出均为FP32、NCHW格式的数据,在提升计算速度的同时能做到用户对数据格式无感知
- 对于fpga暂不支持的kernel,均会切回arm端运行,实现arm+fpga混合布署运行 - 对于FPGA暂不支持的kernel,均会切回arm端运行,实现arm+FPGA混合布署运行
- 目前FPGA成本功耗都较低,Lite基于FPGA的模型性能远远好于arm端,可作为边缘设备首选硬件
- 目前fpga成本功耗都较低,Lite基于fpga的模型性能远远好于arm端,可作为边缘设备首选硬件
# 编译 # 编译
需要提前准备带有fpgadrv.ko的fpga开发板(如edgeboard开发板)和Lite代码 需要提前准备带有FPGAdrv.ko的FPGA开发板(如edgeboard开发板)和Lite代码
CMAKE编译选项: CMAKE编译选项:
...@@ -41,7 +42,7 @@ CMAKE编译选项: ...@@ -41,7 +42,7 @@ CMAKE编译选项:
-DARM_TARGET_OS=armlinux -DARM_TARGET_OS=armlinux
make publish_inference -j2 make publish_inference -j2
``` ```
Lite提供fpga编译脚本,位于lite/tools/build_fpga.sh,在Lite根目录执行该脚本即可编译 Lite提供FPGA编译脚本,位于lite/tools/build_FPGA.sh,在Lite根目录执行该脚本即可编译
# 运行示例 # 运行示例
...@@ -55,33 +56,33 @@ screen /dev/cu.SLAB_USBtoUART 115200 ...@@ -55,33 +56,33 @@ screen /dev/cu.SLAB_USBtoUART 115200
#查看开发板ip并ssh登录到开发板,假设开发板ip为192.0.1.1 [本机执行] #查看开发板ip并ssh登录到开发板,假设开发板ip为192.0.1.1 [本机执行]
ssh root@192.0.1.1 ssh root@192.0.1.1
#在开发板上建立目录workspace,拷贝fpga驱动fpgadrv.ko到workspace目录 [开发板执行] #在开发板上建立目录workspace,拷贝FPGA驱动FPGAdrv.ko到workspace目录 [开发板执行]
mkdir workspace && scp $DRIVER_PATH/fpgadrv.ko workspace mkdir workspace && scp $DRIVER_PATH/FPGAdrv.ko workspace
#将Lite中编译好的测试程序拷贝到开发板workspace目录 [本机执行] #将Lite中编译好的测试程序拷贝到开发板workspace目录 [本机执行]
scp $LITE_ROOT/build_fpga/lite/api/test_resnet50_fpga root@$EDGEBOARD_IP:workspace/ scp $LITE_ROOT/build_FPGA/lite/api/test_resnet50_FPGA root@$EDGEBOARD_IP:workspace/
#把Resnet50的模型和参数scp到开发板workspace目录 [本机执行] #把Resnet50的模型和参数scp到开发板workspace目录 [本机执行]
scp -r $LITE_ROOT/build_fpga/lite/third_party/install/resnet50/ root@$EDGEBOARD_IP:workspace/ scp -r $LITE_ROOT/build_FPGA/lite/third_party/install/resnet50/ root@$EDGEBOARD_IP:workspace/
#在运行模型前需要加载fpga驱动 [开发板执行] #在运行模型前需要加载FPGA驱动 [开发板执行]
insmod fpgadrv.ko insmod FPGAdrv.ko
#给测试程序添加可运行权限 [开发板执行] #给测试程序添加可运行权限 [开发板执行]
chmod +x test_resnet50_fpga chmod +x test_resnet50_FPGA
``` ```
- **使用fpga进行模型预测** - **使用FPGA进行模型预测**
```bash ```bash
#以下命令均在开发板上运行 #以下命令均在开发板上运行
#直接运行单测程序 #直接运行单测程序
./test_resnet50_fpga --model_dir=resnet50 ./test_resnet50_FPGA --model_dir=resnet50
#如果需要测试性能,可以用repeats参数设置模型运行次数(如1000),同时可以设置预热次数(如10)来让硬件事先运行到稳定水平 #如果需要测试性能,可以用repeats参数设置模型运行次数(如1000),同时可以设置预热次数(如10)来让硬件事先运行到稳定水平
./test_resnet50_fpga --model_dir=resnet50 --repeats=1000 --warmup=10 ./test_resnet50_FPGA --model_dir=resnet50 --repeats=1000 --warmup=10
``` ```
# 如何在Code中使用 # 如何在Code中使用
在Lite中使用fpga与ARM相似,具体的区别如下: 在Lite中使用FPGA与ARM相似,具体的区别如下:
- 由于fpga运行模式为fp16精度、nhwc布局,所以需要修改相应的`valid_place` - 由于fpga运行模式为fp16精度、nhwc布局,所以需要修改相应的`valid_place`
- fpga不需要device的初始化和运行模式设置 - fpga不需要device的初始化和运行模式设置
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册