From 459025604374d038c5a3752f7649797309e92cec Mon Sep 17 00:00:00 2001 From: tangwei Date: Thu, 14 May 2020 20:08:38 +0800 Subject: [PATCH] update ctr dnn benchmark --- models/rank/readme.md | 35 +++++++++++++++++++++++------------ 1 file changed, 23 insertions(+), 12 deletions(-) diff --git a/models/rank/readme.md b/models/rank/readme.md index 6334e15e..d23e6bfa 100755 --- a/models/rank/readme.md +++ b/models/rank/readme.md @@ -34,8 +34,8 @@ ### 训练 ### 预测 -## 效果对比(测试) -### 模型效果列表 +## 效果对比 +### 模型效果 (测试) | 数据集 | 模型 | loss | auc | acc | mae | | :------------------: | :--------------------: | :---------: |:---------: | :---------: |:---------: | @@ -46,13 +46,24 @@ | Census-income Data | Wide&Deep | 0.76195(mean) | 0.90577(mean) | -- | -- | | Amazon Product | DIN | 0.47005194 | 0.863794952818 | -- | -- | -## 分布式(样本/秒) -### 模型性能列表 -| 数据集 | 模型 | 单机 | 多机（32节点同步） | 多机（32节点异步） | GPU | -| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: | -| Criteo | DNN | 99821 | 856032 | 2048384 | -- | -| Criteo | DeepFM | -- | -- | -- | -- | -| Criteo | DCN | -- | -- | -- | -- | -| Criteo | xDeepFM | -- | -- | -- | -- | -| Census-income Data | Wide&Deep | -- | -- | -- | -- | -| Amazon Product | DIN | -- | -- | -- | -- | +## 分布式 +### 模型训练性能 (样本/s) +| 数据集 | 模型 | 单机 | 同步 (4节点) | 同步 (8节点) | 同步 (16节点) | 同步 (32节点) | +| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: | +| Criteo | DNN | 99821 | 148788 | 148788 | 507936 | 856032 | +| Criteo | DeepFM | -- | -- | -- | -- | -- | +| Criteo | DCN | -- | -- | -- | -- | -- | +| Criteo | xDeepFM | -- | -- | -- | -- | -- | +| Census-income Data | Wide&Deep | -- | -- | -- | -- | -- | +| Amazon Product | DIN | -- | -- | -- | -- | -- | + +---- + +| 数据集 | 模型 | 单机 | 异步 (4节点) | 异步 (8节点) | 异步 (16节点) | 异步 (32节点) | +| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: | +| Criteo | DNN | 99821 | 316918 | 602536 | 1130557 | 2048384 | +| Criteo | DeepFM | -- | -- | -- | -- | -- | +| Criteo | DCN | -- | -- | -- | -- | -- | +| Criteo | xDeepFM | -- | -- | -- | -- | -- | +| Census-income Data | Wide&Deep | -- | -- | -- | -- | -- | +| Amazon Product | DIN | -- | -- | -- | -- | -- | \ No newline at end of file -- GitLab