Created by: jacquesqiao
当处理数据的速度变得非常快的时候,py_reader也常常跟不上数据输入的速度,表现为queue经常为空,这是由于py_reader在python端只有一个python线程来往queue里灌数据,速度不够快,在测试加速比的时候,可以先用这种模式来排除reader的影响(因为可以通过重写c++ reader的方式来加速数据读取的速度)。
在某个单机多线程的case下可以看到提速50%,能测出排除数据干扰的加速比,
Created by: jacquesqiao
当处理数据的速度变得非常快的时候,py_reader也常常跟不上数据输入的速度,表现为queue经常为空,这是由于py_reader在python端只有一个python线程来往queue里灌数据,速度不够快,在测试加速比的时候,可以先用这种模式来排除reader的影响(因为可以通过重写c++ reader的方式来加速数据读取的速度)。
在某个单机多线程的case下可以看到提速50%,能测出排除数据干扰的加速比,