---
title: "AI通用进展"
date: 2018-12-29
lastmod: 2020-01-05
weight: 3
type: 
icon: #
description: "人工智能高阶路线图,AI通用进展"
# search related keywords
---


- 优化器及优化过程
- 神经网络架构搜索
  - 可微分方法
  - 基于增强学习的方法
- encoder refinement 方法
  - 基于Contrast Loss的预训练
  - 基于Self Training的优化
- 表征学习的优化
  - Triplet Loss and Online Triplet Mining
  - 其他优化方法
- Consistency Regularization
  - Unsupervised Data Augmentation
  - Adversarial Training Related Methods
- Mixture of Experts
- 基础网络设计方式
  - 普遍的layer设计trick，如Cascading、Pyramid Networks等
  - 神经网络中的Sparse问题

## 相关学习资源


### 优化器及优化过程

优化器方面创新较多，有代表性的如<https://arxiv.org/abs/1907.08610>,<https://arxiv.org/abs/1908.03265>和<https://arxiv.org/abs/1904.00962>


### 可微分方法

例子较多，见<https://arxiv.org/abs/1910.04465>及后续研究


### 基于增强学习的方法

例子较多，见<https://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_RENAS_Reinforced_Evolutionary_Neural_Architecture_Search_CVPR_2019_paper.pdf>及后续研究


### 基于Contrast Loss的预训练

这类例子很多，例如<https://arxiv.org/abs/2002.05709>及相关研究


### 基于Self Training的优化

这方面研究进展很快，如<https://arxiv.org/abs/2003.10580>


### 表征学习的优化

这方面的研究主要见CV相关比赛的应用


### Unsupervised Data Augmentation

如<https://arxiv.org/abs/1904.12848>和<https://arxiv.org/abs/2001.07685>


### Adversarial Training Related Methods

见<https://arxiv.org/abs/1412.6572>及后续研究


### Mixture of Experts

这方面论文很多，最新可见<https://arxiv.org/abs/2101.03961>

### 普遍的layer设计trick，如Cascading、Pyramid Networks等

主要见CV和NLP领域论文


### 神经网络中的Sparse问题

见https://arxiv.org/abs/1905.05702