Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Oneflow-Inc
OneFlow-Benchmark
提交
c0628f1f
O
OneFlow-Benchmark
项目概览
Oneflow-Inc
/
OneFlow-Benchmark
上一次同步 接近 3 年
通知
1
Star
92
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
O
OneFlow-Benchmark
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
c0628f1f
编写于
8月 11, 2020
作者:
S
ShawnXuan
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
correct
上级
40e6b229
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
10 addition
and
1 deletion
+10
-1
reports/bert_fp32_report.md
reports/bert_fp32_report.md
+10
-1
未找到文件。
reports/bert_fp32_report.md
浏览文件 @
c0628f1f
...
...
@@ -173,7 +173,16 @@ Normally, the first `throughput` value e.g. `52.257` is discarded because the st
## BERT base Pretrain Test Results
All test logs can be found
[
here
](
https://oneflow-public.oss-cn-beijing.aliyuncs.com/OF_benchmark_logs/oneflow_bert_benchmark_logs.tgz
)
### Group: batch size per device = 32
![
image
](
imgs/bert_base_bsz32_fp32.png
)
| node num | gpu num/node | gpu num | bsz/gpu | GPU Memory Usage | Throughput | Speedup |
| -------- | -------- | -------- | -------- | -------- | -------- | -------- |
| 1 | 1 | 1 | 32 | 6207 | 140.034 | 1 |
| 1 | 2 | 2 | 32 | 7081 | 254.304 | 1.82 |
| 1 | 4 | 4 | 32 | 7255 | 506.989 | 3.62 |
| 1 | 8 | 8 | 32 | 7323 | 1010.446 | 7.22 |
| 2 | 8 | 16 | 32 | 7145 | 1571.088 | 11.22 |
| 4 | 8 | 32 | 32 | 7185 | 3136.797 | 22.40 |
BERT Base Pretrain, batch size per device=32, dtype=float32, without XLA
### Group: batch size per device = 64
| node num | gpu num/node | gpu num | bsz/gpu | GPU Memory Usage | Throughput | Speedup |
| -------- | -------- | -------- | -------- | -------- | -------- | -------- |
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录