ppcls/data/reader.py partial_reader()函数bug
Created by: hutao568
if params['mode'] != "test" and len(full_lines) < batch_size: raise SampleNumException('', len(full_lines), batch_size) 对于partial_reader,其读取的数量并不需要比batch_size大吧,drop_last是从所有reader里面读剩下的不足一个batch_size的才丢弃,对于每个reader并不要求都大于batch_size,而且即便partial_reader读取的数量大于batch_size,也有可能会发生丢弃
此外,在分布式训练,如果开的number_worker比较大的情况下,且lines较小的情况下,有可能触发这个异常,导致bug