diff --git a/docs/apis/datasets.md b/docs/apis/datasets.md index 5ab5efa3101725d6947f4c9a826e9f96752eeae5..b40637f2aef586c79bb92b5bce3c5deb4b00893e 100644 --- a/docs/apis/datasets.md +++ b/docs/apis/datasets.md @@ -16,7 +16,7 @@ paddlex.datasets.ImageNet(data_dir, file_list, label_list, transforms=None, num_ > * **transforms** (paddlex.cls.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.cls.transforms](./transforms/cls_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 ## VOCDetection类 @@ -37,7 +37,7 @@ paddlex.datasets.VOCDetection(data_dir, file_list, label_list, transforms=None, > * **transforms** (paddlex.det.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.det.transforms](./transforms/det_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 ## CocoDetection类 @@ -57,7 +57,7 @@ paddlex.datasets.CocoDetection(data_dir, ann_file, transforms=None, num_workers= > * **transforms** (paddlex.det.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.det.transforms](./transforms/det_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 ## SegDataset类 @@ -78,7 +78,7 @@ paddlex.datasets.SegDataset(data_dir, file_list, label_list, transforms=None, nu > * **transforms** (paddlex.seg.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.seg.transforms](./transforms/seg_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 ## EasyDataCls类 @@ -96,7 +96,7 @@ paddlex.datasets.SegDataset(data_dir, file_list, label_list, transforms=None, nu > * **transforms** (paddlex.seg.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.cls.transforms](./transforms/cls_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 ## EasyDataDet类 @@ -116,7 +116,7 @@ paddlex.datasets.EasyDataDet(data_dir, file_list, label_list, transforms=None, n > * **transforms** (paddlex.det.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.det.transforms](./transforms/det_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 @@ -137,5 +137,5 @@ paddlex.datasets.EasyDataSeg(data_dir, file_list, label_list, transforms=None, n > * **transforms** (paddlex.seg.transforms): 数据集中每个样本的预处理/增强算子,详见[paddlex.seg.transforms](./transforms/seg_transforms.md)。 > * **num_workers** (int|str):数据集中样本在预处理过程中的线程或进程数。默认为'auto'。当设为'auto'时,根据系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 > * **buffer_size** (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 -> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 +> * **parallel_method** (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread'线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 > * **shuffle** (bool): 是否需要对数据集中样本打乱顺序。默认为False。 \ No newline at end of file diff --git a/paddlex/cv/datasets/coco.py b/paddlex/cv/datasets/coco.py index 0c0dda0c2c667de4e79408befc686024c988ceb3..0a1cfb90d34c086e85ed5e9ced40509e29607599 100644 --- a/paddlex/cv/datasets/coco.py +++ b/paddlex/cv/datasets/coco.py @@ -34,7 +34,7 @@ class CocoDetection(VOCDetection): 系统的实际CPU核数设置`num_workers`: 如果CPU核数的一半大于8,则`num_workers`为8,否则为CPU核数的一半。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -44,7 +44,7 @@ class CocoDetection(VOCDetection): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): from pycocotools.coco import COCO diff --git a/paddlex/cv/datasets/easydata_cls.py b/paddlex/cv/datasets/easydata_cls.py index a23061e9368ee8f42f94003ffb3f4fc75fc268c7..baff5d9111ab5484f8f0199ba399c55d6c6f3376 100644 --- a/paddlex/cv/datasets/easydata_cls.py +++ b/paddlex/cv/datasets/easydata_cls.py @@ -36,7 +36,7 @@ class EasyDataCls(ImageNet): 数的一半。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -47,7 +47,7 @@ class EasyDataCls(ImageNet): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): super(ImageNet, self).__init__( transforms=transforms, diff --git a/paddlex/cv/datasets/easydata_det.py b/paddlex/cv/datasets/easydata_det.py index 5db31481ed3397e1c3e62484b8e29ede731b431e..1525c336d5d404846c4c9e300d751992c6dae3eb 100644 --- a/paddlex/cv/datasets/easydata_det.py +++ b/paddlex/cv/datasets/easydata_det.py @@ -37,7 +37,7 @@ class EasyDataDet(VOCDetection): 一半。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -48,7 +48,7 @@ class EasyDataDet(VOCDetection): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): super(VOCDetection, self).__init__( transforms=transforms, diff --git a/paddlex/cv/datasets/easydata_seg.py b/paddlex/cv/datasets/easydata_seg.py index 09b434ffcc96a8b071d75a6536c3e8c84b39cb28..4988248d291accc0469494d0f00e16440784ae7a 100644 --- a/paddlex/cv/datasets/easydata_seg.py +++ b/paddlex/cv/datasets/easydata_seg.py @@ -35,7 +35,7 @@ class EasyDataSeg(Dataset): num_workers (int): 数据集中样本在预处理过程中的线程或进程数。默认为4。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -46,7 +46,7 @@ class EasyDataSeg(Dataset): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): super(EasyDataSeg, self).__init__( transforms=transforms, diff --git a/paddlex/cv/datasets/imagenet.py b/paddlex/cv/datasets/imagenet.py index 2d44643e93347ea4e786a31cf2e8fc32c0d6e7b3..99723d3b8f4ec6f8c0b9297f9fe66c1fbc60693f 100644 --- a/paddlex/cv/datasets/imagenet.py +++ b/paddlex/cv/datasets/imagenet.py @@ -35,7 +35,7 @@ class ImageNet(Dataset): 数的一半。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -46,7 +46,7 @@ class ImageNet(Dataset): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): super(ImageNet, self).__init__( transforms=transforms, diff --git a/paddlex/cv/datasets/seg_dataset.py b/paddlex/cv/datasets/seg_dataset.py index 7b78080c773111775c97d5754def603da303d06a..61697e3d799ccb0ca765410a81e7257741acfb44 100644 --- a/paddlex/cv/datasets/seg_dataset.py +++ b/paddlex/cv/datasets/seg_dataset.py @@ -33,7 +33,7 @@ class SegDataset(Dataset): num_workers (int): 数据集中样本在预处理过程中的线程或进程数。默认为4。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -44,7 +44,7 @@ class SegDataset(Dataset): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): super(SegDataset, self).__init__( transforms=transforms, diff --git a/paddlex/cv/datasets/voc.py b/paddlex/cv/datasets/voc.py index a4c73519b523eccdeb2b34774e4fc1d0b959feaf..ca3148b11510f01c5cada38459e24d908c13d78d 100644 --- a/paddlex/cv/datasets/voc.py +++ b/paddlex/cv/datasets/voc.py @@ -37,7 +37,7 @@ class VOCDetection(Dataset): 一半。 buffer_size (int): 数据集中样本在预处理过程中队列的缓存长度,以样本数为单位。默认为100。 parallel_method (str): 数据集中样本在预处理过程中并行处理的方式,支持'thread' - 线程和'process'进程两种方式。默认为'thread'(Windows和Mac下会强制使用thread,该参数无效)。 + 线程和'process'进程两种方式。默认为'process'(Windows和Mac下会强制使用thread,该参数无效)。 shuffle (bool): 是否需要对数据集中样本打乱顺序。默认为False。 """ @@ -48,7 +48,7 @@ class VOCDetection(Dataset): transforms=None, num_workers='auto', buffer_size=100, - parallel_method='thread', + parallel_method='process', shuffle=False): from pycocotools.coco import COCO super(VOCDetection, self).__init__(