关于训练速度
Created by: foxgaga
https://github.com/PaddlePaddle/book/tree/develop/05.recommender_system
-
trainer_count = 20 和 trainer_count = 1 训练速度差别不大,但是看资源占用是起了多个线程的。
paddle.init(use_gpu=False, trainer_count=20)
I0714 20:27:13.848081 2546738 Util.cpp:166] commandline: --use_gpu=False --trainer_count=20 Pass 0 Batch 0 Cost 1.08 {} 7.2955160141s Pass 0 Batch 10 Cost 0.83 {} 39.6152331829s Pass 0 Batch 20 Cost 0.80 {} 37.5780589581s
I0714 20:20:40.590940 2544095 Util.cpp:166] commandline: --use_gpu=False --trainer_count=1 Pass 0 Batch 0 Cost 1.06 {} 4.85946583748s Pass 0 Batch 100 Cost 0.82 {} 377.929177999s
-
发现当user的数量变大成几百万的时候,速度比几千个时速度慢了100倍,请问,是不是emb layer计算时搜索引起的?
谢谢