Created by: Shixiaowei02

本提交是预测多流的一部分。 1、因为目前显存池隐式要求单流顺序计算，所以在编译指定 ON_INFER 时，线程独占 GPUBuddyAllocatorList。 2、为支持 Allocation 在不同作用域完成析构，额外保存一个 Allocator 智能指针。

也考虑过重构 CUDADeviceContextAllocator 解决问题；但显存池绑定上下文会延迟归还，一定概率造成显存占用增大。所以采用本提交中的显存池绑定线程。