Note that the model uses multiple filters (with varying window sizes) to obtain multiple features. After that, there is a max pool operation where the idea is to capture the most important feature-the one with the highest value for each feature map. For regularization, the article proposed to adopt a dropout on the penultimate layer with a constraint on L2-norms of the weight vectors. The final layer will output the sentiment as positive or negative.
除此之外,并行性可用于优化控制器 RNN 的参数。 Quoc Le&Barret Zoph 建议采用参数服务器方案,其中我们有一个 S 碎片的参数服务器,用于存储 K 个控制器副本的共享参数。 每个控制器副本都采样了如下图所示的并行训练的不同子架构,如下图所示,取自*带增强学习的神经架构搜索*,Barret Zoph,Quoc V. Le, [https:// arxiv.org/abs/1611.01578](https://arxiv.org/abs/1611.01578):
除此之外,并行性可用于优化控制器 RNN 的参数。 Quoc Le&Barret Zoph 建议采用参数服务器方案,其中我们有一个 S 碎片的参数服务器,用于存储 K 个控制器副本的共享参数。 每个控制器副本都采样了如下图所示的并行训练的不同子架构,如下图所示,取自[“使用增强学习的神经架构搜索”](https://arxiv.org/abs/1611.01578),Barret Zoph,Quoc V. Le:
*用于快速适应深度网络的模型不可知元学习*,切尔西·芬恩(Chelsea Finn),彼得·阿比尔(Siety Levine),2017 年, [https://arxiv.org/abs/1703.03400](https://arxiv.org/abs/1703.03400)提出了一个模型 -不可知论方法的名称为 MAML,它与经过梯度下降训练的任何模型兼容,并且适用于各种不同的学习问题,包括分类,回归和强化学习。 元学习的目标是针对各种学习任务训练模型,以便仅使用少量训练样本即可解决新的学习任务。 元学习器旨在找到一种可以快速(以很少的步骤)并有效地(仅使用几个示例)快速适应各种问题的初始化。 用参数为θ的参数化函数 f <sub>θ</sub>表示的模型。 当适应新任务 T <sub>i</sub> 时,模型参数θ变为θ <sub>i</sub><sup>〜</sup>。 在 MAML 中,使用对任务 T <sub>i</sub> 的一个或多个梯度下降更新来计算更新的参数向量θ <sub>i</sub><sup>'</sup>。
[用于快速适应深度网络的模型不可知元学习](https://arxiv.org/abs/1703.03400)(切尔西·芬恩(Chelsea Finn),彼得·阿比尔(Siety Levine),2017 年)提出了一个模型 -不可知论方法的名称为 MAML,它与经过梯度下降训练的任何模型兼容,并且适用于各种不同的学习问题,包括分类,回归和强化学习。 元学习的目标是针对各种学习任务训练模型,以便仅使用少量训练样本即可解决新的学习任务。 元学习器旨在找到一种可以快速(以很少的步骤)并有效地(仅使用几个示例)快速适应各种问题的初始化。 用参数为θ的参数化函数 f <sub>θ</sub>表示的模型。 当适应新任务 T <sub>i</sub> 时,模型参数θ变为θ <sub>i</sub><sup>〜</sup>。 在 MAML 中,使用对任务 T <sub>i</sub> 的一个或多个梯度下降更新来计算更新的参数向量θ <sub>i</sub><sup>'</sup>。
例如,当使用一个梯度更新时,θ <sub>i</sub><sup>〜</sup> =θ-α∇<sub>θ</sub> L <sub>Ti</sub> (f <sub>θ</sub> )其中 L <sub>Ti</sub> 是任务 T 的损失函数,而α是元学习参数。 该图报告了 MAML 算法:
![](img/30503d87-ad59-4ec7-8e66-2918624faaf7.png)
MAML 能够在流行的少拍图像分类基准上大大胜过许多现有方法。 旨在从一个或几个概念中学习新概念的镜头很少有挑战性。 例如,*通过概率性程序归纳*进行人级概念学习,Brenden M. Lake,Ruslan Salakhutdinov,Joshua B. Tenenbaum,2015 年, [https://www.cs.cmu.edu/ 〜rsalakhu / papers / LakeEtAl2015Science.pdf](https://www.cs.cmu.edu/~rsalakhu/papers/LakeEtAl2015Science.pdf),建议人们可以学会从单个图片中识别新颖的两轮车,例如红色框中包含的图片,如下所示:
MAML 能够在流行的少拍图像分类基准上大大胜过许多现有方法。 旨在从一个或几个概念中学习新概念的镜头很少有挑战性。 例如,[通过概率性程序归纳进行人级概念学习](https://www.cs.cmu.edu/~rsalakhu/papers/LakeEtAl2015Science.pdf)(Brenden M. Lake,Ruslan Salakhutdinov,Joshua B. Tenenbaum,2015 年),建议人们可以学会从单个图片中识别新颖的两轮车,例如红色框中包含的图片,如下所示:
* Google 在*中提出了采用 RNN 作为控制器的方法,该方法使用机器学习来探索神经网络架构*; Quoc Le & Barret Zoph,2017 年, [https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html](https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html) 。
**带有增强学习的神经体系结构搜索*,Barret Zoph,Quoc V. Le, [https://arxiv.org/abs/1611.01578](https://arxiv.org/abs/1611.01578) 是一篇开创性的论文,它证明了有关 Google 方法的更多细节。 但是,RNN 不是唯一的选择。