Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
fea13563
D
docs
项目概览
MindSpore
/
docs
通知
4
Star
2
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
fea13563
编写于
8月 29, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
8月 29, 2020
浏览文件
操作
浏览文件
下载
差异文件
!827 Modify the official website of the data loading and enhancement of the tutorial.
Merge pull request !827 from chengxiaoli/add_md
上级
12e13752
7e1d4767
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
15 addition
and
15 deletion
+15
-15
tutorials/source_en/use/data_preparation/data_processing_and_augmentation.md
.../use/data_preparation/data_processing_and_augmentation.md
+6
-6
tutorials/source_zh_cn/use/data_preparation/data_processing_and_augmentation.md
.../use/data_preparation/data_processing_and_augmentation.md
+9
-9
未找到文件。
tutorials/source_en/use/data_preparation/data_processing_and_augmentation.md
浏览文件 @
fea13563
...
...
@@ -248,7 +248,7 @@ def zip(self, datasets):
ds2
=
ds
.
GeneratorDataset
(
generator_func2
,
[
"data2"
])
```
2.
Use
`zip()`
to combine the
`data
1
`
column of the dataset
`ds1`
and the
`data2`
column of the dataset
`ds2`
into the dataset
`ds3`
.
2.
Use
`zip()`
to combine the
`data`
column of the dataset
`ds1`
and the
`data2`
column of the dataset
`ds2`
into the dataset
`ds3`
.
```
python
ds3
=
ds
.
zip
((
ds1
,
ds2
))
for
data
in
ds3
.
create_dict_iterator
():
...
...
@@ -256,11 +256,11 @@ def zip(self, datasets):
```
The output is as follows:
```
{'data
1
': array([0, 1, 2], dtype=int64), 'data2': array([-3, -2, -1], dtype=int64)}
{'data
1
': array([1, 2, 3], dtype=int64), 'data2': array([-2, -1, 0], dtype=int64)}
{'data
1
': array([2, 3, 4], dtype=int64), 'data2': array([-1, 0, 1], dtype=int64)}
{'data
1
': array([3, 4, 5], dtype=int64), 'data2': array([0, 1, 2], dtype=int64)}
{'data
1
': array([4, 5, 6], dtype=int64), 'data2': array([1, 2, 3], dtype=int64)}
{'data': array([0, 1, 2], dtype=int64), 'data2': array([-3, -2, -1], dtype=int64)}
{'data': array([1, 2, 3], dtype=int64), 'data2': array([-2, -1, 0], dtype=int64)}
{'data': array([2, 3, 4], dtype=int64), 'data2': array([-1, 0, 1], dtype=int64)}
{'data': array([3, 4, 5], dtype=int64), 'data2': array([0, 1, 2], dtype=int64)}
{'data': array([4, 5, 6], dtype=int64), 'data2': array([1, 2, 3], dtype=int64)}
```
## Data Augmentation
During image training, especially when the dataset size is relatively small, you can preprocess images by using a series of data augmentation operations, thereby enriching the datasets.
...
...
tutorials/source_zh_cn/use/data_preparation/data_processing_and_augmentation.md
浏览文件 @
fea13563
...
...
@@ -54,7 +54,7 @@ ds1 = ds.MnistDataset(MNIST_DATASET_PATH, MNIST_SCHEMA) # Create MNIST dataset.
ds1
=
ds1
.
shuffle
(
buffer_size
=
10000
)
ds1
=
ds1
.
batch
(
32
,
drop_remainder
=
True
)
ds1
=
ds1
.
repeat
(
10
)
```
```
上面操作先对数据进行混洗,再将每32条数据组成一个batch,最后将数据集重复10次。
下面将构造一个简单数据集
`ds1`
,并对其进行数据处理操作,来介绍各类数据处理操作的详细使用。
...
...
@@ -239,7 +239,7 @@ MindSpore提供`zip`函数,可将多个数据集合并成1个数据集。
```
python
def
zip
(
self
,
datasets
):
```
1.
采用前面构造数据集
`ds1`
的方法,
构造1个数据集
`ds2`
。
1.
参考前面
`generator_func`
函数构造数据集
`ds1`
的方法,定义
`generator_func2`
函数用于
构造1个数据集
`ds2`
。
```
python
def
generator_func2
():
for
i
in
range
(
5
):
...
...
@@ -248,7 +248,7 @@ def zip(self, datasets):
ds2
=
ds
.
GeneratorDataset
(
generator_func2
,
[
"data2"
])
```
2.
通过
`zip`
将数据集
`ds1`
的
`data
1
`
列和数据集
`ds2`
的
`data2`
列合并成数据集
`ds3`
。
2.
通过
`zip`
将数据集
`ds1`
的
`data`
列和数据集
`ds2`
的
`data2`
列合并成数据集
`ds3`
。
```
python
ds3
=
ds
.
zip
((
ds1
,
ds2
))
for
data
in
ds3
.
create_dict_iterator
():
...
...
@@ -256,11 +256,11 @@ def zip(self, datasets):
```
输出如下所示:
```
{'data
1
': array([0, 1, 2], dtype=int64), 'data2': array([-3, -2, -1], dtype=int64)}
{'data
1
': array([1, 2, 3], dtype=int64), 'data2': array([-2, -1, 0], dtype=int64)}
{'data
1
': array([2, 3, 4], dtype=int64), 'data2': array([-1, 0, 1], dtype=int64)}
{'data
1
': array([3, 4, 5], dtype=int64), 'data2': array([0, 1, 2], dtype=int64)}
{'data
1
': array([4, 5, 6], dtype=int64), 'data2': array([1, 2, 3], dtype=int64)}
{'data': array([0, 1, 2], dtype=int64), 'data2': array([-3, -2, -1], dtype=int64)}
{'data': array([1, 2, 3], dtype=int64), 'data2': array([-2, -1, 0], dtype=int64)}
{'data': array([2, 3, 4], dtype=int64), 'data2': array([-1, 0, 1], dtype=int64)}
{'data': array([3, 4, 5], dtype=int64), 'data2': array([0, 1, 2], dtype=int64)}
{'data': array([4, 5, 6], dtype=int64), 'data2': array([1, 2, 3], dtype=int64)}
```
## 数据增强
在图片训练中,尤其在数据集较小的情况下,用户可以通过一系列的数据增强操作对图片进行预处理,从而丰富了数据集。
...
...
@@ -336,4 +336,4 @@ MindSpore提供`c_transforms`模块以及`py_transforms`模块函数供用户进
![
avatar
](
../images/image_random_crop.png
)
图2:按500
*
500随机裁剪后的图片
图2:按500
*
500随机裁剪后的图片
\ No newline at end of file
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录