提交 0381cc63 编写于 作者: W wizardforcel

2020-08-31 22:33:59

上级 b075e660
......@@ -6,7 +6,7 @@
# 带有递归网络和强化学习的元学习
解决此问题的关键思想是拥有一个控制器网络,该控制器网络会在给定特定网络输入的情况下,以概率`p`提出*子*模型架构。 对孩子进行训练和评估,以解决要解决的特定任务(例如,孩子获得的准确度`R`)。 该评估`R`被传递回控制器,该控制器进而使用 R 来改善下一个候选架构。 在此框架下,可以将候选儿童到控制器的反馈建模为计算`p`的梯度的任务,然后通过`R`缩放此梯度。 控制器可以实现为循环神经网络(请参见下图)。 这样做,控制器将倾向于在迭代之后获得更好的`R`的体系结构候选区域,并倾向于给得分不那么高的候选区域分配较低的概率。
解决此问题的关键思想是拥有一个控制器网络,该控制器网络会在给定特定网络输入的情况下,以概率`p`提出*子*模型架构。 对孩子进行训练和评估,以解决要解决的特定任务(例如,孩子获得的准确度`R`)。 该评估`R`被传递回控制器,该控制器进而使用`R`来改善下一个候选架构。 在此框架下,可以将候选儿童到控制器的反馈建模为计算`p`的梯度的任务,然后通过`R`缩放此梯度。 控制器可以实现为循环神经网络(请参见下图)。 这样做,控制器将倾向于在迭代之后获得更好的`R`的体系结构候选区域,并倾向于给得分不那么高的候选区域分配较低的概率。
![](img/30ccd28f-f08f-4323-aae4-313b11ba8ddb.png)
......@@ -82,7 +82,7 @@ L ![](img/32f13c94-c144-4116-bd64-e97805948eb6.png)
近年来,连体网络已用于许多应用程序。 他们在 LeCun 论文中首次使用的是签名验证。 从那时起,出现了许多应用程序,我们将介绍一些最近的应用程序:
* [与连体网络进行说话人和语音相似性的联合学习](https://pdfs.semanticscholar.org/4ffe/3394628a8a0ffd4cba1a77ea85e197bd4c22.pdf):他们训练了一个多输出连体网络,其中一个输出用于语音相似性,其他用于演讲者相似性。 他们将工作扩展到 Triamese 网络。
* [与连体网络进行说话人和语音相似性的联合学习](https://pdfs.semanticscholar.org/4ffe/3394628a8a0ffd4cba1a77ea85e197bd4c22.pdf):他们训练了一个多输出连体网络,其中一个输出用于语音相似性,其他用于演讲者相似性。 他们将工作扩展到三体网络。
* [用于对象跟踪的全卷积连体网络](https://link.springer.com/chapter/10.1007/978-3-319-48881-3_56):他们使用在 ILSVRC15 数据集上训练的卷积连体网络进行视频中的目标检测。
* 我们站在一起:[连体网络进行类似问题的检索](http://www.aclweb.org/anthology/P16-1036):本文使用连体网络来查找当前问题和已归档问题之间的语义相似性 。 他们还使用了卷积连体网络。
......@@ -90,13 +90,13 @@ L ![](img/32f13c94-c144-4116-bd64-e97805948eb6.png)
# 一个有效的例子-MNIST
工作示例基于 [Github 页面](https://github.com/ywpkwon/siamese_tf_mnist)。 此处的代码使用 Siamese 网络将手写的 MNIST 数字嵌入到 2D 空间中,属于同一类的数字被嵌入在一起。 该代码包含三个主要文件:
工作示例基于 [Github 页面](https://github.com/ywpkwon/siamese_tf_mnist)。 此处的代码使用连体网络将手写的 MNIST 数字嵌入到 2D 空间中,属于同一类的数字被嵌入在一起。 该代码包含三个主要文件:
`run.py`:它包含执行训练的基本包装。 它使用“梯度下降”算法将对比度损失降至最低。
+ `run.py`:它包含执行训练的基本包装。 它使用“梯度下降”算法将对比度损失降至最低。
`inference.py`:包含定义 3 层全连接网络的连体类。 代码中两个网络的输出之间的相似性是欧几里得。 然后,使用部分生成损失和部分赝品损失来计算对比损失。
+ `inference.py`:包含定义 3 层全连接网络的连体类。 代码中两个网络的输出之间的相似性是欧几里得。 然后,使用部分生成损失和部分赝品损失来计算对比损失。
`visualize.py`:这只是用于可视化结果的包装。
+ `visualize.py`:这只是用于可视化结果的包装。
经过前 100,000 个训练步骤,结果是:
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册