From 531bf6f76875f538c64bd38c6482c96a799eefae Mon Sep 17 00:00:00 2001 From: chengmo Date: Fri, 15 May 2020 17:31:42 +0800 Subject: [PATCH] fix reader --- doc/custom_dataset_reader.md | 13 ++++++++----- 1 file changed, 8 insertions(+), 5 deletions(-) diff --git a/doc/custom_dataset_reader.md b/doc/custom_dataset_reader.md index bf7dfc24..2a630b23 100644 --- a/doc/custom_dataset_reader.md +++ b/doc/custom_dataset_reader.md @@ -11,7 +11,7 @@ * [数据及Reader示例-DNN](#数据及Reader示例-DNN) -# + ## 数据集整理 PaddleRec支持模型自定义数据集。 @@ -87,9 +87,10 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一 3. 在`init(self)`函数中声明一些在数据读取中会用到的变量,必要时可以在`config.yaml`文件中配置变量,利用`env.get_global_env()`拿到。 - 比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现: +比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现: - - 首先更改yaml文件,在某个space下加入该变量 +- 首先更改yaml文件,在某个space下加入该变量 + ```yaml ... train: @@ -98,7 +99,9 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一 ... ``` - - 再更改Reader的init函数 + +- 再更改Reader的init函数 + ```python from paddlerec.core.utils import envs class TrainerReader(Reader): @@ -176,7 +179,7 @@ class: 运行改模型所需reader的路径 train_data_path: 训练数据所在文件夹 reader_debug_mode: 测试reader语法,及输出是否符合预期的debug模式的开关 -# + ## 数据及Reader示例-DNN Reader代码来源于[criteo_reader.py](../models/rank/criteo_reader.py), 组网代码来源于[model.py](../models/rank/dnn/model.py) -- GitLab