Skip to content

P
Paddle-Lite

PaddlePaddle / Paddle-Lite

通知 338
Star 4
Fork 1
P
Paddle-Lite

[Bugfix][OpenCL][Core] fix opencl multi-run result error when using memory_optimize_pass !4410

!4410 已合并 由 saxon_zh@saxon_zh 创建

Created by: zhaoyang-star

【问题】

  • 开启memory_optimize_pass情况下，当使用同一个predictor，循环执行多次Run时，第一次Run结果正常，第二次及之后Run出的结果有 diff；
  • 如上问题在 mobilenetv1 等其他模型上均存在；
  • 关闭memory_optimize_pass情况下，多次Run结果正确。

【原因】

  • 开启memory_optimize_pass情况下，模型中的第一个 layout 为ImageDefault的 output (cl image shape <896,112>) 复用了模型中最后一个layout 为ImageDefault的 output (cl image shape <1792,56>) 的内存空间，但是实际上这两个 output 的内存空间并不能被复用。

【解决方法】

  • 修改 memory 层的 OpenCL 内存空间分配函数ResetLazyImage2D，原则是保证当前空间的 image 宽度和高度分别是模型中使用ImageDefault类型的所有 output tensor 对应 image 宽度和高度的最大值。

【速度】 经测试，该 PR 不影响首次 Run 及之后 Run 的运行速度。

develop 分支，855 芯片	
Model: mobilenetv1

**No pr：**
Note: The output tensor is wrong in this case!
warmup:10	
repeats:100	
max_duration:19.499	
min_duration:11.705	
avg_duration:16.6929	
First warmup time: 530.911	

**Use pr:**
Note: The output tensor is right in this case.
warmup:10
repeats:100
max_duration:18.761
min_duration:16.009
avg_duration:16.8752
First warmup time: 524.615

Mobilenet_v1 内存复用逐层分析比对结果： image