Created by: imistyrain

df -h 和df -I检查过，都是有空间的 lsof |grep deleted 在启动第一个任务后显示很多占用，把第一个任务kill掉后消失 使用共享内存的方式加载数据导致无法同时训练多个任务，有没有什么好的解决方案？

Created by: jerrywgz

可以尝试下减小worker_num或是bufsize，你这边两个任务都是检测任务吗

Created by: imistyrain

都是检测的任务，试过不管用

Created by: qingqing01

@imistyrain 把memsize也设置小点试下呢？

还是不行，把共享内存的Queue换成普通的试下：

https://github.com/PaddlePaddle/PaddleDetection/blob/bb409b0b20c661184fc848d64389f4c852868f4b/ppdet/data/parallel_map.py#L101-L106

这段代码改成 ->:

            #from .shared_queue import SharedQueue as Queue
            import multiprocessing
            from multiprocessing import Process as Worker
            from multiprocessing import Event
            #memsize = self._memsize
            #self._inq = Queue(bufsize, memsize=memsize)
            #self._outq = Queue(bufsize, memsize=memsize)
            self._inq = multiprocessing.Queue(bufsize)
            self._outq = multiprocessing.Queue(bufsize)

同时，注意，bufsize是按照batch存储的，YML里默认是设置供应8个卡的，如果你的GPU个数减少，可以适当的调小看下。

Created by: imistyrain

换成普通的可以了. 还是自动检测下吧，普通的机器机械硬盘做内存映射，训练的服务器本来的读取速度就很快了，不用做这个冗余的操作