Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
4f6dd9d3
M
models
项目概览
PaddlePaddle
/
models
大约 1 年 前同步成功
通知
222
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
4f6dd9d3
编写于
5月 26, 2017
作者:
S
Superjom
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
change ` -> ~
上级
c126c520
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
9 addition
and
10 deletion
+9
-10
ctr/dataset.org
ctr/dataset.org
+9
-10
未找到文件。
ctr/dataset.org
浏览文件 @
4f6dd9d3
#+title: 数据处理
#+title: 数据处理
* 数据集介绍
* 数据集介绍
数据集使用
`csv`
格式存储,其中各个字段内容如下:
数据集使用
~csv~
格式存储,其中各个字段内容如下:
- id: ad identifier
- id: ad identifier
- click: 0/1 for non-click/click
- click: 0/1 for non-click/click
...
@@ -73,7 +73,7 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
...
@@ -73,7 +73,7 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
'''
'''
Generator category features.
Generator category features.
Register all records by calling
`register` first, then call `gen`
to generate
Register all records by calling
~register~ first, then call ~gen~
to generate
one-hot representation for a record.
one-hot representation for a record.
'''
'''
...
@@ -131,10 +131,10 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
...
@@ -131,10 +131,10 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
return self.max_dim
return self.max_dim
#+END_SRC
#+END_SRC
** 交叉类特征
** 交叉类特征
LR 模型作为 Wide & Deep model 的
`wide`
部分,可以输入很 wide 的数据(特征空间的维度很大),
LR 模型作为 Wide & Deep model 的
~wide~
部分,可以输入很 wide 的数据(特征空间的维度很大),
为了充分利用这个优势,我们将演示交叉组合特征构建成更大维度特征的情况,之后塞入到模型中训练。
为了充分利用这个优势,我们将演示交叉组合特征构建成更大维度特征的情况,之后塞入到模型中训练。
这里我们依旧使用模操作来约束最终组合出的特征空间的大小,具体实现是直接在
`IDfeatureGenerator` 中添加一个`gen_cross_feature`
的方法:
这里我们依旧使用模操作来约束最终组合出的特征空间的大小,具体实现是直接在
~IDfeatureGenerator~ 中添加一个~gen_cross_feature~
的方法:
#+BEGIN_SRC python
#+BEGIN_SRC python
def gen_cross_fea(self, fea1, fea2):
def gen_cross_fea(self, fea1, fea2):
...
@@ -142,7 +142,7 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
...
@@ -142,7 +142,7 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
return self.gen(key)
return self.gen(key)
#+END_SRC
#+END_SRC
比如,我们觉得原始数据中,
`device_id` 和 `site_id`
有一些关联(比如某个 device 倾向于浏览特定 site),
比如,我们觉得原始数据中,
~device_id~ 和 ~site_id~
有一些关联(比如某个 device 倾向于浏览特定 site),
我们通过组合出两者组合来捕捉这类信息。
我们通过组合出两者组合来捕捉这类信息。
** 特征维度
** 特征维度
*** Deep submodel(DNN)特征
*** Deep submodel(DNN)特征
...
@@ -171,12 +171,12 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
...
@@ -171,12 +171,12 @@ ID 类特征的特点是稀疏数据,但量比较大,直接使用 One-hot
| Total | 1,040,000 |
| Total | 1,040,000 |
|---------------------+-----------|
|---------------------+-----------|
* 输入到 PaddlePaddle 中
* 输入到 PaddlePaddle 中
Deep 和 Wide 两部分均以
`sparse_binary_vector`
的格式[1]输入,输入前需要将相关特征拼合,模型最终只接受 3 个 input,
Deep 和 Wide 两部分均以
~sparse_binary_vector~
的格式[1]输入,输入前需要将相关特征拼合,模型最终只接受 3 个 input,
分别是
分别是
1.
`dnn input`
,DNN 的输入
1.
~dnn input~
,DNN 的输入
2.
`lr input`
, LR 的输入
2.
~lr input~
, LR 的输入
3.
`click`
, 标签
3.
~click~
, 标签
拼合特征的方法:
拼合特征的方法:
...
@@ -202,4 +202,3 @@ Deep 和 Wide 两部分均以 `sparse_binary_vector` 的格式[1]输入,输入
...
@@ -202,4 +202,3 @@ Deep 和 Wide 两部分均以 `sparse_binary_vector` 的格式[1]输入,输入
[1] https://github.com/PaddlePaddle/Paddle/blob/develop/doc/api/v1/data_provider/pydataprovider2_en.rst
[1] https://github.com/PaddlePaddle/Paddle/blob/develop/doc/api/v1/data_provider/pydataprovider2_en.rst
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录