README.md 12.3 KB
Newer Older
1
# 点击率预估
S
Superjom 已提交
2

S
Superjom 已提交
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
以下是本例目录包含的文件以及对应说明:

```
├── README.md          # 本教程markdown 文档
├── dataset.md         # 数据集处理教程
├── images             # 本教程图片目录
│   ├── lr_vs_dnn.jpg
│   └── wide_deep.png
├── infer.py           # 预测脚本
├── network_conf.py    # 模型网络配置
├── reader.py          # data provider
├── train.py           # 训练脚本
└── utils.py           # helper functions
```

S
Superjom 已提交
18
## 背景介绍
S
Superjom 已提交
19

20
CTR(Click-Through Rate,点击率预估)\[[1](https://en.wikipedia.org/wiki/Click-through_rate)\] 是用来表示用户点击一个特定链接的概率,
S
Superjom 已提交
21 22 23
通常被用来衡量一个在线广告系统的有效性。

当有多个广告位时,CTR 预估一般会作为排序的基准。
S
Superjom 已提交
24
比如在搜索引擎的广告系统里,当用户输入一个带商业价值的搜索词(query)时,系统大体上会执行下列步骤来展示广告:
S
Superjom 已提交
25 26 27 28

1.  召回满足 query 的广告集合
2.  业务规则和相关性过滤
3.  根据拍卖机制和 CTR 排序
S
Superjom 已提交
29
4.  展出广告
S
Superjom 已提交
30 31

可以看到,CTR 在最终排序中起到了很重要的作用。
S
Superjom 已提交
32

S
Superjom 已提交
33
### 发展阶段
S
Superjom 已提交
34 35
在业内,CTR 模型经历了如下的发展阶段:

S
Superjom 已提交
36
-   Logistic Regression(LR) / GBDT + 特征工程
S
Superjom 已提交
37 38 39
-   LR + DNN 特征
-   DNN + 特征工程

S
Superjom 已提交
40
在发展早期时 LR 一统天下,但最近 DNN 模型由于其强大的学习能力和逐渐成熟的性能优化,
S
Superjom 已提交
41 42 43
逐渐地接过 CTR 预估任务的大旗。


S
Superjom 已提交
44
### LR vs DNN
S
Superjom 已提交
45

S
Superjom 已提交
46
下图展示了 LR 和一个 \(3x2\) 的 DNN 模型的结构:
S
Superjom 已提交
47

S
Superjom 已提交
48 49
<p align="center">
<img src="images/lr_vs_dnn.jpg" width="620" hspace='10'/> <br/>
S
Superjom 已提交
50
Figure 1. LR 和 DNN 模型结构对比
S
Superjom 已提交
51
</p>
S
Superjom 已提交
52

S
Superjom 已提交
53
LR 的蓝色箭头部分可以直接类比到 DNN 中对应的结构,可以看到 LR 和 DNN 有一些共通之处(比如权重累加),
S
Superjom 已提交
54
但前者的模型复杂度在相同输入维度下比后者可能低很多(从某方面讲,模型越复杂,越有潜力学习到更复杂的信息)。
S
Superjom 已提交
55

S
Superjom 已提交
56
如果 LR 要达到匹敌 DNN 的学习能力,必须增加输入的维度,也就是增加特征的数量,
S
Superjom 已提交
57 58
这也就是为何 LR 和大规模的特征工程必须绑定在一起的原因。

S
Superjom 已提交
59
LR 对于 DNN 模型的优势是对大规模稀疏特征的容纳能力,包括内存和计算量等方面,工业界都有非常成熟的优化方法。
S
Superjom 已提交
60

S
Superjom 已提交
61 62
而 DNN 模型具有自己学习新特征的能力,一定程度上能够提升特征使用的效率,
这使得 DNN 模型在同样规模特征的情况下,更有可能达到更好的学习效果。
S
Superjom 已提交
63

S
Superjom 已提交
64
本文后面的章节会演示如何使用 PaddlePaddle 编写一个结合两者优点的模型。
S
Superjom 已提交
65

S
Superjom 已提交
66

S
Superjom 已提交
67
## 数据和任务抽象
S
Superjom 已提交
68

S
Superjom 已提交
69
我们可以将 `click` 作为学习目标,任务可以有以下几种方案:
S
Superjom 已提交
70

S
Superjom 已提交
71
1.  直接学习 click,0,1 作二元分类
S
Superjom 已提交
72
2.  Learning to rank, 具体用 pairwise rank(标签 1>0)或者 listwise rank
S
Superjom 已提交
73
3.  统计每个广告的点击率,将同一个 query 下的广告两两组合,点击率高的>点击率低的,做 rank 或者分类
S
Superjom 已提交
74

S
Superjom 已提交
75
我们直接使用第一种方法做分类任务。
S
Superjom 已提交
76

S
Superjom 已提交
77
我们使用 Kaggle 上 `Click-through rate prediction` 任务的数据集\[[2](https://www.kaggle.com/c/avazu-ctr-prediction/data)\] 来演示模型。
S
Superjom 已提交
78

S
Superjom 已提交
79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98
具体的特征处理方法参看 [data process](./dataset.md)

本教程中演示模型的输入格式如下:

```
# <dnn input ids> \t <lr input sparse values> \t click
1 23 190 \t 230:0.12 3421:0.9 23451:0.12 \t 0
23 231 \t 1230:0.12 13421:0.9 \t 1
```

演示数据集\[[2](#参考文档)\] 可以使用 `avazu_data_processor.py` 脚本处理,具体使用方法参考如下说明:

```
usage: avazu_data_processer.py [-h] --data_path DATA_PATH --output_dir
                               OUTPUT_DIR
                               [--num_lines_to_detect NUM_LINES_TO_DETECT]
                               [--test_set_size TEST_SET_SIZE]
                               [--train_size TRAIN_SIZE]

PaddlePaddle CTR example
S
Superjom 已提交
99

S
Superjom 已提交
100 101 102 103 104 105 106 107 108 109 110 111 112
optional arguments:
  -h, --help            show this help message and exit
  --data_path DATA_PATH
                        path of the Avazu dataset
  --output_dir OUTPUT_DIR
                        directory to output
  --num_lines_to_detect NUM_LINES_TO_DETECT
                        number of records to detect dataset's meta info
  --test_set_size TEST_SET_SIZE
                        size of the validation dataset(default: 10000)
  --train_size TRAIN_SIZE
                        size of the trainset (default: 100000)
```
S
Superjom 已提交
113

S
Superjom 已提交
114
## Wide & Deep Learning Model
S
Superjom 已提交
115

S
Superjom 已提交
116
谷歌在 16 年提出了 Wide & Deep Learning 的模型框架,用于融合适合学习抽象特征的 DNN 和 适用于大规模稀疏特征的 LR 两种模型的优点。
S
Superjom 已提交
117 118


S
Superjom 已提交
119
### 模型简介
S
Superjom 已提交
120

S
Superjom 已提交
121
Wide & Deep Learning Model\[[3](#参考文献)\] 可以作为一种相对成熟的模型框架使用,
S
Superjom 已提交
122
在 CTR 预估的任务中工业界也有一定的应用,因此本文将演示使用此模型来完成 CTR 预估的任务。
S
Superjom 已提交
123

S
Superjom 已提交
124
模型结构如下:
S
Superjom 已提交
125

S
Superjom 已提交
126 127 128 129
<p align="center">
<img src="images/wide_deep.png" width="820" hspace='10'/> <br/>
Figure 2. Wide & Deep Model
</p>
S
Superjom 已提交
130

S
Superjom 已提交
131 132
模型左边的 Wide 部分,可以容纳大规模系数特征,并且对一些特定的信息(比如 ID)有一定的记忆能力;
而模型右边的 Deep 部分,能够学习特征间的隐含关系,在相同数量的特征下有更好的学习和推导能力。
S
Superjom 已提交
133 134


S
Superjom 已提交
135
### 编写模型输入
S
Superjom 已提交
136

S
Superjom 已提交
137
模型只接受 3 个输入,分别是
S
Superjom 已提交
138

S
Superjom 已提交
139 140 141
-   `dnn_input` ,也就是 Deep 部分的输入
-   `lr_input` ,也就是 Wide 部分的输入
-   `click` , 点击与否,作为二分类模型学习的标签
S
Superjom 已提交
142

S
Superjom 已提交
143
```python
S
Superjom 已提交
144 145 146
dnn_merged_input = layer.data(
    name='dnn_input',
    type=paddle.data_type.sparse_binary_vector(data_meta_info['dnn_input']))
S
Superjom 已提交
147

S
Superjom 已提交
148 149 150
lr_merged_input = layer.data(
    name='lr_input',
    type=paddle.data_type.sparse_binary_vector(data_meta_info['lr_input']))
S
Superjom 已提交
151

S
Superjom 已提交
152 153 154
click = paddle.layer.data(name='click', type=dtype.dense_vector(1))
```

S
Superjom 已提交
155
### 编写 Wide 部分
S
Superjom 已提交
156

S
Superjom 已提交
157 158 159
Wide 部分直接使用了 LR 模型,但激活函数改成了 `RELU` 来加速

```python
S
Superjom 已提交
160 161 162 163 164 165
def build_lr_submodel():
    fc = layer.fc(
        input=lr_merged_input, size=1, name='lr', act=paddle.activation.Relu())
    return fc
```

S
Superjom 已提交
166
### 编写 Deep 部分
S
Superjom 已提交
167

S
Superjom 已提交
168
Deep 部分使用了标准的多层前向传导的 DNN 模型
S
Superjom 已提交
169 170

```python
S
Superjom 已提交
171 172 173
def build_dnn_submodel(dnn_layer_dims):
    dnn_embedding = layer.fc(input=dnn_merged_input, size=dnn_layer_dims[0])
    _input_layer = dnn_embedding
S
Superjom 已提交
174
    for i, dim in enumerate(dnn_layer_dims[1:]):
S
Superjom 已提交
175 176 177 178
        fc = layer.fc(
            input=_input_layer,
            size=dim,
            act=paddle.activation.Relu(),
S
Superjom 已提交
179
            name='dnn-fc-%d' % i)
S
Superjom 已提交
180 181 182 183
        _input_layer = fc
    return _input_layer
```

S
Superjom 已提交
184
### 两者融合
S
Superjom 已提交
185

S
Superjom 已提交
186 187
两个 submodel 的最上层输出加权求和得到整个模型的输出,输出部分使用 `sigmoid` 作为激活函数,得到区间 (0,1) 的预测值,
来逼近训练数据中二元类别的分布,并最终作为 CTR 预估的值使用。
S
Superjom 已提交
188 189

```python
S
Superjom 已提交
190 191 192 193 194 195 196
# conbine DNN and LR submodels
def combine_submodels(dnn, lr):
    merge_layer = layer.concat(input=[dnn, lr])
    fc = layer.fc(
        input=merge_layer,
        size=1,
        name='output',
S
Superjom 已提交
197
        # use sigmoid function to approximate ctr, wihch is a float value between 0 and 1.
S
Superjom 已提交
198 199 200 201
        act=paddle.activation.Sigmoid())
    return fc
```

S
Superjom 已提交
202
### 训练任务的定义
S
Superjom 已提交
203
```python
S
Superjom 已提交
204 205 206 207 208 209 210 211 212
dnn = build_dnn_submodel(dnn_layer_dims)
lr = build_lr_submodel()
output = combine_submodels(dnn, lr)

# ==============================================================================
#                   cost and train period
# ==============================================================================
classification_cost = paddle.layer.multi_binary_label_cross_entropy_cost(
    input=output, label=click)
S
Superjom 已提交
213

S
Superjom 已提交
214 215 216

paddle.init(use_gpu=False, trainer_count=11)

S
Superjom 已提交
217
params = paddle.parameters.create(classification_cost)
S
Superjom 已提交
218

S
Superjom 已提交
219
optimizer = paddle.optimizer.Momentum(momentum=0)
S
Superjom 已提交
220

S
Superjom 已提交
221 222
trainer = paddle.trainer.SGD(
    cost=classification_cost, parameters=params, update_equation=optimizer)
S
Superjom 已提交
223

S
Superjom 已提交
224
dataset = AvazuDataset(train_data_path, n_records_as_test=test_set_size)
S
Superjom 已提交
225

S
Superjom 已提交
226 227 228 229 230
def event_handler(event):
    if isinstance(event, paddle.event.EndIteration):
        if event.batch_id % 100 == 0:
            logging.warning("Pass %d, Samples %d, Cost %f" % (
                event.pass_id, event.batch_id * batch_size, event.cost))
S
Superjom 已提交
231

S
Superjom 已提交
232 233 234 235 236 237
        if event.batch_id % 1000 == 0:
            result = trainer.test(
                reader=paddle.batch(dataset.test, batch_size=1000),
                feeding=field_index)
            logging.warning("Test %d-%d, Cost %f" % (event.pass_id, event.batch_id,
                                           result.cost))
S
Superjom 已提交
238 239


S
Superjom 已提交
240 241 242 243 244 245 246 247
trainer.train(
    reader=paddle.batch(
        paddle.reader.shuffle(dataset.train, buf_size=500),
        batch_size=batch_size),
    feeding=field_index,
    event_handler=event_handler,
    num_passes=100)
```
S
Superjom 已提交
248 249 250 251
## 运行训练和测试
训练模型需要如下步骤:

1. 下载训练数据,可以使用 Kaggle 上 CTR 比赛的数据\[[2](#参考文献)\]
S
Superjom 已提交
252 253
    1.[Kaggle CTR](https://www.kaggle.com/c/avazu-ctr-prediction/data) 下载 train.gz
    2. 解压 train.gz 得到 train.txt
S
Superjom 已提交
254 255
    3. `mkdir -p output; python avazu_data_processer.py --data_path train.txt --output_dir output --num_lines_to_detect 1000 --test_set_size 100` 生成演示数据
2. 执行 `python train.py --train_data_path ./output/train.txt --test_data_path ./output/test.txt --data_meta_file ./output/data.meta.txt --model_type=0` 开始训练
S
Superjom 已提交
256 257 258 259 260

上面第2个步骤可以为 `train.py` 填充命令行参数来定制模型的训练过程,具体的命令行参数及用法如下

```
usage: train.py [-h] --train_data_path TRAIN_DATA_PATH
S
Superjom 已提交
261
                [--test_data_path TEST_DATA_PATH] [--batch_size BATCH_SIZE]
S
Superjom 已提交
262
                [--num_passes NUM_PASSES]
S
Superjom 已提交
263 264
                [--model_output_prefix MODEL_OUTPUT_PREFIX] --data_meta_file
                DATA_META_FILE --model_type MODEL_TYPE
S
Superjom 已提交
265 266 267 268 269 270 271

PaddlePaddle CTR example

optional arguments:
  -h, --help            show this help message and exit
  --train_data_path TRAIN_DATA_PATH
                        path of training dataset
S
Superjom 已提交
272 273
  --test_data_path TEST_DATA_PATH
                        path of testing dataset
S
Superjom 已提交
274 275 276 277
  --batch_size BATCH_SIZE
                        size of mini-batch (default:10000)
  --num_passes NUM_PASSES
                        number of passes to train
S
Superjom 已提交
278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318
  --model_output_prefix MODEL_OUTPUT_PREFIX
                        prefix of path for model to store (default:
                        ./ctr_models)
  --data_meta_file DATA_META_FILE
                        path of data meta info file
  --model_type MODEL_TYPE
                        model type, classification: 0, regression 1 (default
                        classification)
```

## 用训好的模型做预测
训好的模型可以用来预测新的数据, 预测数据的格式为

```
# <dnn input ids> \t <lr input sparse values>
1 23 190 \t 230:0.12 3421:0.9 23451:0.12
23 231 \t 1230:0.12 13421:0.9
```

`infer.py` 的使用方法如下

```
usage: infer.py [-h] --model_gz_path MODEL_GZ_PATH --data_path DATA_PATH
                --prediction_output_path PREDICTION_OUTPUT_PATH
                [--data_meta_path DATA_META_PATH] --model_type MODEL_TYPE

PaddlePaddle CTR example

optional arguments:
  -h, --help            show this help message and exit
  --model_gz_path MODEL_GZ_PATH
                        path of model parameters gz file
  --data_path DATA_PATH
                        path of the dataset to infer
  --prediction_output_path PREDICTION_OUTPUT_PATH
                        path to output the prediction
  --data_meta_path DATA_META_PATH
                        path of trainset's meta info, default is ./data.meta
  --model_type MODEL_TYPE
                        model type, classification: 0, regression 1 (default
                        classification)
S
Superjom 已提交
319
```
S
Superjom 已提交
320

S
Superjom 已提交
321 322 323 324 325 326 327 328
示例数据可以用如下命令预测

```
python infer.py --model_gz_path <model_path> --data_path output/infer.txt --prediction_output_path predictions.txt --data_meta_path data.meta.txt
```

最终的预测结果位于 `predictions.txt`

S
Superjom 已提交
329
## 参考文献
S
Superjom 已提交
330
1. <https://en.wikipedia.org/wiki/Click-through_rate>
S
Superjom 已提交
331 332
2. <https://www.kaggle.com/c/avazu-ctr-prediction/data>
3. Cheng H T, Koc L, Harmsen J, et al. [Wide & deep learning for recommender systems](https://arxiv.org/pdf/1606.07792.pdf)[C]//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. ACM, 2016: 7-10.