ReXNet.md 2.4 KB
Newer Older
1
# ReXNet 系列
S
sibo2rr 已提交
2 3
---
## 目录
D
dongshuilong 已提交
4

S
sibo2rr 已提交
5 6
* [1. 概述](#1)
* [2. 精度、FLOPS 和参数量](#2)
S
sibo2rr 已提交
7
* [3. 基于 V100 GPU 的预测速度](#3)
D
dongshuilong 已提交
8

S
sibo2rr 已提交
9
<a name='1'></a>
D
dongshuilong 已提交
10

S
sibo2rr 已提交
11
## 1. 概述
D
dongshuilong 已提交
12

13
ReXNet 是 NAVER 集团 ClovaAI 研发中心基于一种网络架构设计新范式而构建的网络。针对现有网络中存在的 `Representational Bottleneck` 问题,作者提出了一组新的设计原则。作者认为传统的网络架构设计范式会产生表达瓶颈,进而影响模型的性能。为研究此问题,作者研究了上万个随机网络生成特征的 `matric rank`,同时进一步研究了网络层中通道配置方案。基于此,作者提出了一组简单而有效的设计原则,以消除表达瓶颈问题。[论文地址](https://arxiv.org/pdf/2007.00992.pdf)
S
sibo2rr 已提交
14 15 16 17 18

<a name='2'></a>


## 2. 精度、FLOPS 和参数量
D
dongshuilong 已提交
19 20 21 22 23 24 25 26 27

| Models | Top1 | Top5 | Reference<br>top1| FLOPS<br/>(G) | Params<br/>(M) |
|:--:|:--:|:--:|:--:|:--:|----|
| ReXNet_1_0 | 77.46 | 93.70 |       77.9        | 0.415 | 4.838 |
| ReXNet_1_3 | 79.13 | 94.64 |       79.5        | 0.683 | 7.611 |
| ReXNet_1_5 | 80.06 | 95.12 |       80.3        | 0.900 | 9.791 |
| ReXNet_2_0 | 81.22 | 95.36 |       81.6        | 1.561 | 16.449 |
| ReXNet_3_0 | 82.09 | 96.12 |       82.8        | 3.445 | 34.833 |

S
sibo2rr 已提交
28 29 30 31 32 33 34 35 36 37 38 39
<a name='3'></a>

## 3. 基于 V100 GPU 的预测速度

| Models     | Crop Size | Resize Short Size | FP32<br/>Batch Size=1<br/>(ms) | FP32<br/>Batch Size=4<br/>(ms) | FP32<br/>Batch Size=8<br/>(ms) |
| ---------- | --------- | ----------------- | ------------------------------ | ------------------------------ | ------------------------------ |
| ReXNet_1_0 | 224       | 256               | 3.08                           | 4.15                           | 5.49                           |
| ReXNet_1_3 | 224       | 256               | 3.54                           | 4.87                           | 6.54                           |
| ReXNet_1_5 | 224       | 256               | 3.68                           | 5.31                           | 7.38                           |
| ReXNet_2_0 | 224       | 256               | 4.30                           | 6.54                           | 9.19                           |
| ReXNet_3_0 | 224       | 256               | 5.74                           | 9.49                           | 13.62                          |

S
sibo2rr 已提交
40
关于 Inference speed 等信息,敬请期待。