Created by: jiweibo
lite cuda集成多流。
完成工作
- 增加exec多流,一般情况下对存在多输入并行结构的模型,具有一定的收益,在多数视觉开源模型上无收益
- cuda context从 lite/core/context.h中迁移到 lite/backends/cuda/context.h
后续工作
- 测试exec和io的多流,在开源模型上测试性能收益
- 多流和复用相结合
- 多线程情况下的分配流策略
- 目前的exec多流分析部分进一部优化,使得能支持模型内部存在并行结构
Created by: jiweibo
lite cuda集成多流。
完成工作
后续工作