提交 0ae5bcac 编写于 作者: C chengmo 提交者: tangwei

fix reader

上级 d6109677
...@@ -11,7 +11,7 @@ ...@@ -11,7 +11,7 @@
* [数据及Reader示例-DNN](#数据及Reader示例-DNN) * [数据及Reader示例-DNN](#数据及Reader示例-DNN)
#
## 数据集整理 ## 数据集整理
PaddleRec支持模型自定义数据集。 PaddleRec支持模型自定义数据集。
...@@ -87,9 +87,10 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一 ...@@ -87,9 +87,10 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一
3.`init(self)`函数中声明一些在数据读取中会用到的变量,必要时可以在`config.yaml`文件中配置变量,利用`env.get_global_env()`拿到。 3.`init(self)`函数中声明一些在数据读取中会用到的变量,必要时可以在`config.yaml`文件中配置变量,利用`env.get_global_env()`拿到。
比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现: 比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现:
- 首先更改yaml文件,在某个space下加入该变量
- 首先更改yaml文件,在某个space下加入该变量
```yaml ```yaml
... ...
train: train:
...@@ -98,7 +99,9 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一 ...@@ -98,7 +99,9 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一
... ...
``` ```
- 再更改Reader的init函数
- 再更改Reader的init函数
```python ```python
from paddlerec.core.utils import envs from paddlerec.core.utils import envs
class TrainerReader(Reader): class TrainerReader(Reader):
...@@ -176,7 +179,7 @@ class: 运行改模型所需reader的路径 ...@@ -176,7 +179,7 @@ class: 运行改模型所需reader的路径
train_data_path: 训练数据所在文件夹 train_data_path: 训练数据所在文件夹
reader_debug_mode: 测试reader语法,及输出是否符合预期的debug模式的开关 reader_debug_mode: 测试reader语法,及输出是否符合预期的debug模式的开关
#
## 数据及Reader示例-DNN ## 数据及Reader示例-DNN
Reader代码来源于[criteo_reader.py](../models/rank/criteo_reader.py), 组网代码来源于[model.py](../models/rank/dnn/model.py) Reader代码来源于[criteo_reader.py](../models/rank/criteo_reader.py), 组网代码来源于[model.py](../models/rank/dnn/model.py)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册