提交 3848cee4 编写于 作者: W wizardforcel

2020-08-14 17:43:42

上级 85af5d66
......@@ -20,7 +20,7 @@
![](img/23d54b43-728d-4230-b0ab-4d219de2c679.png)
Quoc 和 Barret 将 AutoML 技术用于神经体系结构搜索应用于 Penn Treebank 数据集( [https://en.wikipedia.org/wiki/Treebank](https://en.wikipedia.org/wiki/Treebank) ),这是语言建模的著名基准。 他们的结果改进了目前被认为是最先进的手动设计网络。 特别是,他们在 Penn Treebank 上实现了 62.4 的测试集困惑,这比以前的最新模型好 3.6 困惑。 同样,在 CIFAR-10 数据集( [https://www.cs.toronto.edu/~kriz/cifar.html](https://www.cs.toronto.edu/~kriz/cifar.html)上,该方法可以设计一种新颖的网络架构,与 测试集准确性方面最好的人类发明架构。 提出的 CIFAR-10 模型实现了 3.65 的测试错误率,比使用类似架构方案的最新技术模型好 0.09%,并且快 1.05 倍。
Quoc 和 Barret 将 AutoML 技术用于神经体系结构搜索应用于 [Penn Treebank 数据集](https://en.wikipedia.org/wiki/Treebank),这是语言建模的著名基准。 他们的结果改进了目前被认为是最先进的手动设计网络。 特别是,他们在 Penn Treebank 上实现了 62.4 的测试集困惑,这比以前的最新模型好 3.6 困惑。 同样,在 [CIFAR-10 数据集](https://www.cs.toronto.edu/~kriz/cifar.html)上,该方法可以设计一种新颖的网络架构,与 测试集准确性方面最好的人类发明架构。 提出的 CIFAR-10 模型实现了 3.65 的测试错误率,比使用类似架构方案的最新技术模型好 0.09%,并且快 1.05 倍。
# 元学习块
......@@ -46,17 +46,17 @@ MAML 能够在流行的少拍图像分类基准上大大胜过许多现有方法
因此,如果您对一个热门话题感兴趣,那么*学习深度学习*当然是一个可以考虑作为下一份工作的空间。
* Google *中提出了采用 RNN 作为控制器的方法,该方法使用机器学习来探索神经网络架构*; Quoc Le & Barret Zoph,2017 年, [https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html](https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html)
* *带有增强学习的神经体系结构搜索*,Barret Zoph,Quoc V. Le, [https://arxiv.org/abs/1611.01578](https://arxiv.org/abs/1611.01578) 是一篇开创性的论文,它证明了有关 Google 方法的更多细节。 但是,RNN 不是唯一的选择。
* *图像分类器的大规模发展*,Esteban Real,Sherry Moore,Andrew Selle,Saurabh Saxena,Yutaka Leon Suematsu,Jie Tan,Quoc Le,Alex Kurakin,2017 年, [https:// arxiv。 org / abs / 1703.01041](https://arxiv.org/abs/1703.01041) 提出在进化遗传算法中使用遗传计算来探索新的候选网络。
* *学习用于可伸缩图像识别的可转移体系结构*,Barret Zoph,Vijay Vasudevan,Jonathon Shlens,Quoc V. Le [https://arxiv.org/abs/1707.07012](https://arxiv.org/abs/1707.07012) 提出了 在 CIFAR 上学习的单元,用于改善 ImageNet 分类。
* *建筑物 A.I. 可以建立人工智能:谷歌和其他公司为争夺一小部分研究人员而奋斗,他们正在寻找自动方法来应对人工智能专家的短缺。* ,《纽约时报》 [https://www.nytimes.com/2017/11/05/technology/machine-learning-artificial-intelligence-ai.html](https://www.nytimes.com/2017/11/05/technology/machine-learning-artificial-intelligence-ai.html)
* *用于快速适应深度网络的模型不可知元学习*,切尔西·芬恩(Chelsea Finn),彼得·阿比耶尔(Pieter Abbeel),谢尔盖·莱文(Sergey Levine),2017 年, [https://arxiv.org/abs/1703.03400](https://arxiv.org/abs/1703.03400)
* *通过梯度下降学习*,Marcin Andrychowicz,Misha Denil,Sergio Gomez,Matthew W. Hoffman,David Pfau,Tom Schaul,Brendan Shillingford,Nando de Freitas, [https:// arxiv.org/abs/1606.04474](https://arxiv.org/abs/1606.04474) 展示了如何将优化算法的设计转换为学习问题,从而使该算法能够自动学习感兴趣的问题中的结构。 LSMT 学习的算法在训练任务上胜过手工设计的竞争对手,并且可以很好地推广到结构相似的新任务。 该算法的代码可在 GitHub 上的 [https://github.com/deepmind/learning-to-learn](https://github.com/deepmind/learning-to-learn) 上获得。
* Google 提出了[采用 RNN 作为控制器的方法](https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html),该方法使用机器学习来探索神经网络架构
* [带有增强学习的神经体系结构搜索](https://arxiv.org/abs/1611.01578)(Barret Zoph,Quoc V. Le)是一篇开创性的论文,它证明了有关 Google 方法的更多细节。 但是,RNN 不是唯一的选择。
* [图像分类器的大规模发展](https://arxiv.org/abs/1703.01041)(Esteban Real,Sherry Moore,Andrew Selle,Saurabh Saxena,Yutaka Leon Suematsu,Jie Tan,Quoc Le,Alex Kurakin,2017 年)提出在进化遗传算法中使用遗传计算来探索新的候选网络。
* [学习用于可伸缩图像识别的可转移体系结构](https://arxiv.org/abs/1707.07012)(Barret Zoph,Vijay Vasudevan,Jonathon Shlens,Quoc V. Le)提出了 在 CIFAR 上学习的单元,用于改善 ImageNet 分类。
* [构建可以建立人工智能的 AI](https://www.nytimes.com/2017/11/05/technology/machine-learning-artificial-intelligence-ai.html):谷歌和其他公司为争夺一小部分研究人员而奋斗,他们正在寻找自动方法来应对人工智能专家的短缺
* [用于快速适应深度网络的模型不可知元学习](https://arxiv.org/abs/1703.03400)(切尔西·芬恩(Chelsea Finn),彼得·阿比耶尔(Pieter Abbeel),谢尔盖·莱文(Sergey Levine),2017 年)
* [通过梯度下降学习](https://arxiv.org/abs/1606.04474)(Marcin Andrychowicz,Misha Denil,Sergio Gomez,Matthew W. Hoffman,David Pfau,Tom Schaul,Brendan Shillingford,Nando de Freitas)展示了如何将优化算法的设计转换为学习问题,从而使该算法能够自动学习感兴趣的问题中的结构。 LSMT 学习的算法在训练任务上胜过手工设计的竞争对手,并且可以很好地推广到结构相似的新任务。 该算法的代码可在 [GitHub](https://github.com/deepmind/learning-to-learn) 上获得。
# 连体网络
暹罗网络是 Yann LeCun 及其同事在 NIPS 1994 中提出的一种特殊类型的神经网络( [http://www.worldscientific.com/doi/pdf/10.1142/S0218001493000339](http://www.worldscientific.com/doi/pdf/10.1142/S0218001493000339)。 它们背后的基本思想是,像“暹罗双胞胎”一样,该网络由两个不同的神经网络组成,它们共享相同的架构和权重。
暹罗网络是 Yann LeCun 及其同事在 NIPS 1994 中提出的[一种特殊类型的神经网络](http://www.worldscientific.com/doi/pdf/10.1142/S0218001493000339)。 它们背后的基本思想是,像“暹罗双胞胎”一样,该网络由两个不同的神经网络组成,它们共享相同的架构和权重。
在这里,您可以看到暹罗建筑:
......@@ -82,15 +82,15 @@ L ![](img/32f13c94-c144-4116-bd64-e97805948eb6.png)
近年来,暹罗网络已用于许多应用程序。 他们在 LeCun 论文中首次使用的是签名验证。 从那时起,出现了许多应用程序,我们将介绍一些最近的应用程序:
* 与暹罗网络进行说话人和语音相似性的联合学习( [https://pdfs.semanticscholar.org/4ffe/3394628a8a0ffd4cba1a77ea85e197bd4c22.pdf](https://pdfs.semanticscholar.org/4ffe/3394628a8a0ffd4cba1a77ea85e197bd4c22.pdf):他们训练了一个多输出暹罗网络,其中一个输出用于语音相似性和 其他为讲者相似。 他们将工作扩展到 Triamese 网络。
* 用于对象跟踪的全卷积暹罗网络( [https://link.springer.com/chapter/10.1007/978-3-319-48881-3_56](https://link.springer.com/chapter/10.1007/978-3-319-48881-3_56):他们使用在 ILSVRC15 数据集上训练的卷积暹罗网络 视频中的目标检测。
* 我们站在一起:暹罗网络进行类似问题的检索( [http://www.aclweb.org/anthology/P16-1036](http://www.aclweb.org/anthology/P16-1036):本文使用暹罗网络来查找当前问题和已归档问题之间的语义相似性 。 他们还使用了卷积暹罗网络。
* [与暹罗网络进行说话人和语音相似性的联合学习](https://pdfs.semanticscholar.org/4ffe/3394628a8a0ffd4cba1a77ea85e197bd4c22.pdf):他们训练了一个多输出暹罗网络,其中一个输出用于语音相似性和 其他为讲者相似。 他们将工作扩展到 Triamese 网络。
* [用于对象跟踪的全卷积暹罗网络](https://link.springer.com/chapter/10.1007/978-3-319-48881-3_56):他们使用在 ILSVRC15 数据集上训练的卷积暹罗网络 视频中的目标检测。
* 我们站在一起:[暹罗网络进行类似问题的检索](http://www.aclweb.org/anthology/P16-1036):本文使用暹罗网络来查找当前问题和已归档问题之间的语义相似性 。 他们还使用了卷积暹罗网络。
除此之外,还对暹罗网络进行了脸部验证/识别( [https://github.com/harveyslash/Facial-Similarity-with-Siamese-Networks-in-Pytorch](https://github.com/harveyslash/Facial-Similarity-with-Siamese-Networks-in-Pytorch) )。 它们已用于问题解答( [https://arxiv.org/pdf/1512.05193v2.pdf](https://arxiv.org/pdf/1512.05193v2.pdf)
除此之外,还对暹罗网络进行了[脸部验证/识别](https://github.com/harveyslash/Facial-Similarity-with-Siamese-Networks-in-Pytorch)[它们已用于问题解答](https://arxiv.org/pdf/1512.05193v2.pdf)
# 一个有效的例子-MNIST
工作示例基于 Github 页面: [https://github.com/ywpkwon/siamese_tf_mnist](https://github.com/ywpkwon/siamese_tf_mnist) 。 此处的代码使用 Siamese 网络将手写的 MNIST 数字嵌入到 2D 空间中,属于同一类的数字被嵌入在一起。 该代码包含三个主要文件:
工作示例基于 [Github 页面](https://github.com/ywpkwon/siamese_tf_mnist)。 此处的代码使用 Siamese 网络将手写的 MNIST 数字嵌入到 2D 空间中,属于同一类的数字被嵌入在一起。 该代码包含三个主要文件:
`run.py`:它包含执行训练的基本包装。 它使用“梯度下降”算法将对比度损失降至最低。
......
......@@ -42,9 +42,9 @@ As compared to CPUs and GPUs, the single-threaded TPU has none of the sophistica
# 访问 TPU
Google 已决定不直接将 TPU 出售给他人; 取而代之的是,将通过 Google 云平台提供 TPU:Cloud TPU Alpha( [https://cloud.google.com/tpu/](https://cloud.google.com/tpu/)。 Cloud TPU Alpha 将提供高达 180 teraflops 的计算性能和 64 GB 的超高带宽内存。 用户将能够从自定义虚拟机连接到这些 Cloud TPU。
Google 已决定不直接将 TPU 出售给他人; 取而代之的是,将通过 Google 云平台提供 TPU:[Cloud TPU Alpha](https://cloud.google.com/tpu/)。 Cloud TPU Alpha 将提供高达 180 teraflops 的计算性能和 64 GB 的超高带宽内存。 用户将能够从自定义虚拟机连接到这些 Cloud TPU。
Google 还决定向全球的机器学习研究人员免费提供 1000 个云 TPU 集群,以加快开放式机器学习研究的步伐。 在有限的计算时间内,将授予选定的个人访问权限; 个人可以使用以下链接进行注册: [https://services.google.com/fb/forms/tpusignup/](https://services.google.com/fb/forms/tpusignup/) 。 根据 Google Blog:
Google 还决定向全球的机器学习研究人员免费提供 1000 个云 TPU 集群,以加快开放式机器学习研究的步伐。 在有限的计算时间内,将授予选定的个人访问权限; [个人可以使用以下链接进行注册](https://services.google.com/fb/forms/tpusignup/)。 根据 Google Blog:
"Since the main goal of the TensorFlow Research Cloud is to benefit the open machine learning research community as a whole, successful applicants will be expected to do the following:
Share their TFRC-supported research with the world through peer-reviewed publications, open-source code, blog posts, or other open media
......@@ -54,4 +54,4 @@ Imagine a future in which ML acceleration is abundant and develop new kinds of m
# TPU 上的资源
* Norman P.Jouppi 等人,*张量处理单元*的数据中心内性能分析,arXiv 预印本 arXiv:1704.04760(2017)。 在本文中,作者将 TPU 与服务器级的 Intel Haswell CPU 和 NVIDIA k80 GPU 进行了比较。 本文以 TPU 与 CPU 和 K80 GPU 的性能为基准。
* 此 Google 博客通过以下简单术语说明了 TPU 及其工作原理: [https://cloud.google.com/blog/big-data/2017/05/an-in-depth-look-at-googles-first 张量处理单元 tpu](https://cloud.google.com/blog/big-data/2017/05/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu)
\ No newline at end of file
* [此 Google 博客通过以下简单术语说明了 TPU 及其工作原理](https://cloud.google.com/blog/big-data/2017/05/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu)
\ No newline at end of file
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册