Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Oneflow-Inc
OneFlow-Benchmark
提交
8b1af84e
O
OneFlow-Benchmark
项目概览
Oneflow-Inc
/
OneFlow-Benchmark
上一次同步 2 年多
通知
1
Star
92
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
O
OneFlow-Benchmark
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
8b1af84e
编写于
12月 24, 2019
作者:
H
hjchen2
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update cnn benchmark
上级
f9ac5f3c
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
18 addition
and
0 deletion
+18
-0
cnn_benchmark/benchmark.md
cnn_benchmark/benchmark.md
+18
-0
未找到文件。
cnn_benchmark/benchmark.md
浏览文件 @
8b1af84e
...
...
@@ -40,6 +40,16 @@ commit: 726c3a12b9d97b57f9fb7e3d212b63564e20e755
2.
oneflow tensorrt没有支持batch normalization,导致整图被分割成多个tensorrt子图。如果oneflow tensorrt支持batch normalization,将减少4ms左右。但同时发现支持了batch normalization后,batch之间的空隙从几乎0ms增加到了5.32ms,导致即使支持了batch normalization后,吞吐并没有明显的变化。
3.
总结:如果对1、2优化后,理论上一个batch的耗时能达到 (10 - 4 =) 6ms。
-
Update 2019.12.24:所有source op都通过device tick代理到cpu tick,减少event次数。
>| - | Oneflow(fp32) | Oneflow(fp16) | TensorRT(fp32) | TensorRT(fp16) | TensorRT(int8) | TensorRT official(fp32) | TensorRT official(fp16) | TensorRT official(int8) |
>| ------------ | ------------- | ------------- | -------------- | -------------- | -------------- | ----------------------- | ----------------------- | ----------------------- |
>| alexnet | 2692 | 2022 | 2679 | 4060 | | | | |
>| vgg16 | 398 | 346 | 425 | 1200 | | 470 | 1629 | |
>| resnet50 | 735 | 570 | 945 | 2120 | | 1025 | 2500 | |
>| inception-v3 | 538 | 510 | 572 | 1356 | | | | |
2.
batch size为50
>| - | Oneflow(fp32) | Oneflow(fp16) | TensorRT(fp32) | TensorRT(fp16) | TensorRT(int8) | TensorRT official(fp32) | TensorRT official(fp16) | TensorRT official(int8) |
...
...
@@ -49,6 +59,14 @@ commit: 726c3a12b9d97b57f9fb7e3d212b63564e20e755
>| resnet50 | 810 | 619 | 830 | 1285 | | 1302 | 3843 | |
>| inception-v3 | 544 | 531 | 717 | 1839 | | | | |
-
Update 2019.12.24:所有source op都通过device tick代理到cpu tick,减少event次数。
>| - | Oneflow(fp32) | Oneflow(fp16) | TensorRT(fp32) | TensorRT(fp16) | TensorRT(int8) | TensorRT official(fp32) | TensorRT official(fp16) | TensorRT official(int8) |
>| ------------ | ------------- | ------------- | -------------- | -------------- | -------------- | ----------------------- | ----------------------- | ----------------------- |
>| alexnet | 6568 | 3341 | 5030 | 9076 | | | | |
>| vgg16 | 528 | 498 | 459 | 1638 | | 498 | 1907 | |
>| resnet50 | 888 | 685 | 1262 | 3989 | | 1302 | 3843 | |
>| inception-v3 | 698 | 589 | 797 | 2363 | | | | |
#### Precision
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录