readme.md 2.5 KB
Newer Older
Z
zhangwenhui03 已提交
1 2 3
# 多任务学习模型库

## 简介
Z
zhangwenhui03 已提交
4
我们提供了常见的多任务学习中使用的模型算法的PaddleRec实现, 单机训练&预测效果指标以及分布式训练&预测性能指标等。实现的多任务模型包括 [MMoE](mmoe)[Share-Bottom](share-bottom)[ESMM](esmm)
Z
zhangwenhui03 已提交
5 6 7 8 9 10 11

模型算法库在持续添加中,欢迎关注。

## 目录
* [整体介绍](#整体介绍)
    * [多任务模型列表](#多任务模型列表)
* [使用教程](#使用教程)
Z
zhangwenhui03 已提交
12
    * [训练&预测](#训练&预测)
Z
zhangwenhui03 已提交
13 14 15 16 17 18 19 20
* [效果对比](#效果对比)
    * [模型效果列表](#模型效果列表)

## 整体介绍
### 多任务模型列表

|       模型        |       简介        |       论文        |
| :------------------: | :--------------------: | :---------: |
Z
zhangwenhui03 已提交
21
| Share-Bottom | share-bottom | [Multitask learning](http://reports-archive.adm.cs.cmu.edu/anon/1997/CMU-CS-97-203.pdf)(1998) |
Z
zhangwenhui03 已提交
22 23 24
| ESMM | Entire Space Multi-Task Model | [Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate](https://arxiv.org/abs/1804.07931)(2018) |
| MMoE | Multi-gate Mixture-of-Experts | [Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts](https://dl.acm.org/doi/abs/10.1145/3219819.3220007)(2018) |

Z
zhangwenhui03 已提交
25 26 27
下面是每个模型的简介(注:图片引用自链接中的论文)


Z
zhangwenhui03 已提交
28
[ESMM](https://arxiv.org/abs/1804.07931):
Z
zhangwenhui03 已提交
29
<p align="center">
Z
zhangwenhui03 已提交
30
<img align="center" src="../../doc/imgs/esmm.png">
Z
zhangwenhui03 已提交
31 32
<p>

Z
zhangwenhui03 已提交
33
[Share-Bottom](http://reports-archive.adm.cs.cmu.edu/anon/1997/CMU-CS-97-203.pdf):
Z
zhangwenhui03 已提交
34
<p align="center">
Z
zhangwenhui03 已提交
35
<img align="center" src="../../doc/imgs/share-bottom.png">
Z
zhangwenhui03 已提交
36 37
<p>

Z
zhangwenhui03 已提交
38
[MMoE](https://dl.acm.org/doi/abs/10.1145/3219819.3220007):
Z
zhangwenhui03 已提交
39 40 41 42
<p align="center">
<img align="center" src="../../doc/imgs/mmoe.png">
<p>

Z
zhangwenhui03 已提交
43
## 使用教程
Z
zhangwenhui03 已提交
44
### 训练&预测
Z
zhangwenhui03 已提交
45
```shell
Z
zhangwenhui03 已提交
46 47 48
python -m paddlerec.run -m paddlerec.models.multitask.mmoe # mmoe
python -m paddlerec.run -m paddlerec.models.multitask.share-bottom # share-bottom
python -m paddlerec.run -m paddlerec.models.multitask.esmm # esmm
Z
zhangwenhui03 已提交
49 50 51 52 53
```

## 效果对比
### 模型效果列表

Z
zhangwenhui03 已提交
54
|       数据集        |       模型       |       loss        |       auc       | 
Z
zhangwenhui03 已提交
55 56 57
| :------------------: | :--------------------: | :---------: |:---------: |
|       Census-income Data     |       Share-Bottom       |       --        |     0.93120/0.99256         |
|       Census-income Data        |       MMoE       |       --        |       0.94465/0.99324         |
F
frankwhzhang 已提交
58
|          Ali-CCP     |    ESMM       |       --        |      0.97181/0.49967          |