From 70952071654f59c4770bc99bd3b21ff2296a8752 Mon Sep 17 00:00:00 2001 From: overlordmax <515707170@qq.com> Date: Mon, 30 Mar 2020 20:56:43 +0800 Subject: [PATCH] edit README.md --- PaddleRec/multi-task/MMoE/README.md | 16 +++++++++++++++- PaddleRec/multi-task/Share_bottom/README.md | 16 +++++++++++++++- 2 files changed, 30 insertions(+), 2 deletions(-) diff --git a/PaddleRec/multi-task/MMoE/README.md b/PaddleRec/multi-task/MMoE/README.md index dbe1cc23..bd44658c 100644 --- a/PaddleRec/multi-task/MMoE/README.md +++ b/PaddleRec/multi-task/MMoE/README.md @@ -17,7 +17,21 @@ 多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。 论文[《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》]( https://www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-learning-with-multi-gate-mixture- )中提出了一个Multi-gate Mixture-of-Experts(MMOE)的多任务学习结构。MMOE模型刻画了任务相关性，基于共享表示来学习特定任务的函数，避免了明显增加参数的缺点。 -我们在Paddlepaddle定义MMOE的网络结构，在开源数据集Census-income Data上验证模型效果。本项目支持GPU和CPU两种单机训练环境。 +我们在Paddlepaddle定义MMOE的网络结构，在开源数据集Census-income Data上验证模型效果，两个任务的auc分别为： + +1.income + +> best：0.94856 +> +> mean：0.944105 + +2.marital + +> best：0.99403 +> +> mean：0.99324 + +本项目支持GPU和CPU两种单机训练环境。 diff --git a/PaddleRec/multi-task/Share_bottom/README.md b/PaddleRec/multi-task/Share_bottom/README.md index 83964c28..9b34c330 100644 --- a/PaddleRec/multi-task/Share_bottom/README.md +++ b/PaddleRec/multi-task/Share_bottom/README.md @@ -17,7 +17,21 @@ share_bottom是多任务学习的基本框架，其特点是对于不同的任务，底层的参数和网络结构是共享的，这种结构的优点是极大地减少网络的参数数量的情况下也能很好地对多任务进行学习，但缺点也很明显，由于底层的参数和网络结构是完全共享的，因此对于相关性不高的两个任务会导致优化冲突，从而影响模型最终的结果。后续很多Neural-based的多任务模型都是基于share_bottom发展而来的，如MMOE等模型可以改进share_bottom在多任务之间相关性低导致模型效果差的缺点。 -我们在Paddlepaddle实现share_bottom网络结构，并在开源数据集Census-income Data上验证模型效果。本项目支持GPU和CPU两种单机训练环境。 +我们在Paddlepaddle实现share_bottom网络结构，并在开源数据集Census-income Data上验证模型效果。两个任务的auc分别为： + +1.income + +>best：0.94899 +> +>mean：0.94402 + +2.marital + +> best：0.99394 +> +> mean：0.99311 + +本项目支持GPU和CPU两种单机训练环境。 -- GitLab