提交 83cacdcb 编写于 作者: W wizardforcel

2020-08-14 18:26:42

上级 b6158a0e
......@@ -109,9 +109,9 @@ An example of RNN sequences as seen in http://karpathy.github.io/2015/05/21/rnn-
视频分类是输入和输出中同步序列的示例:视频输入是帧序列,并且对于每个帧,输出中都提供了分类标签。
如果您想了解有关 RNN 有趣应用的更多信息,则必须阅读 Andrej Karpathy [http://karpathy.github.io/2015/05/21/rnn-efficiency/上发布的博客。 他训练了网络,以莎士比亚的风格撰写论文(用 Karpathy 的话说:*几乎不能从实际的莎士比亚*中识别出这些样本),撰写有关虚构主题的现实 Wikipedia 文章,撰写关于愚蠢和不现实问题的现实定理证明( 用 Karpathy 的话:*更多的幻觉代数几何*),并写出现实的 Linux 代码片段(用 Karpathy 的话:t *,他首先建模逐个字符地列举 GNU 许可证,其中包括一些示例,然后生成 一些宏,然后深入研究代码*)。](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)
如果您想了解有关 RNN 有趣应用的更多信息,则必须阅读 Andrej Karpathy [发布的博客](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)。 他训练了网络,以莎士比亚的风格撰写论文(用 Karpathy 的话说:*几乎不能从实际的莎士比亚*中识别出这些样本),撰写有关虚构主题的现实 Wikipedia 文章,撰写关于愚蠢和不现实问题的现实定理证明( 用 Karpathy 的话:*更多的幻觉代数几何*),并写出现实的 Linux 代码片段(用 Karpathy 的话:t *,他首先建模逐个字符地列举 GNU 许可证,其中包括一些示例,然后生成 一些宏,然后深入研究代码*)。
以下示例摘自 [http://karpathy.github.io/2015/05/21/rnn-efficiency/](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)
以下示例摘自[这个页面](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)
![](img/bc72f98e-d71c-4703-8fa7-5195a6fc65af.jpg)
......@@ -119,9 +119,9 @@ An example of text generated with RNNs
# 神经机器翻译-训练 seq2seq RNN
序列到序列(seq2seq)是 RNN 的一种特殊类型,已成功应用于神经机器翻译,文本摘要和语音识别中。 在本食谱中,我们将讨论如何实现神经机器翻译,其结果与 Google 神经机器翻译系统( [https://research.googleblog.com/2016/09/a-neural- network-for-machine.html](https://research.googleblog.com/2016/09/a-neural-network-for-machine.html)。 关键思想是输入整个文本序列,理解整个含义,然后将翻译输出为另一个序列。 读取整个序列的想法与以前的体系结构大不相同,在先前的体系结构中,将一组固定的单词从一种源语言翻译成目标语言。
序列到序列(seq2seq)是 RNN 的一种特殊类型,已成功应用于神经机器翻译,文本摘要和语音识别中。 在本食谱中,我们将讨论如何实现神经机器翻译,其结果与 [Google 神经机器翻译系统](https://research.googleblog.com/2016/09/a-neural-network-for-machine.html)。 关键思想是输入整个文本序列,理解整个含义,然后将翻译输出为另一个序列。 读取整个序列的想法与以前的体系结构大不相同,在先前的体系结构中,将一组固定的单词从一种源语言翻译成目标语言。
本节的灵感来自 Minh-Thang Luong( [https://://github.com/lmthang/thesis/blob/master/thesis.pdf](https://github.com/lmthang/thesis/blob/master/thesis.pdf) 的 2016 年博士学位论文*神经机器翻译* ])。 第一个关键概念是编码器-解码器体系结构的存在,其中编码器将源句子转换为代表含义的向量。 然后,此向量通过解码器以产生翻译。 编码器和解码器都是 RNN,它们可以捕获语言中的长期依赖关系,例如性别协议和语法结构,而无需先验地了解它们,并且不需要跨语言进行 1:1 映射。 这是一种强大的功能,可实现非常流畅的翻译:
本节的灵感来自 [Minh-Thang Luong](https://github.com/lmthang/thesis/blob/master/thesis.pdf) 的 2016 年博士学位论文*神经机器翻译* ])。 第一个关键概念是编码器-解码器体系结构的存在,其中编码器将源句子转换为代表含义的向量。 然后,此向量通过解码器以产生翻译。 编码器和解码器都是 RNN,它们可以捕获语言中的长期依赖关系,例如性别协议和语法结构,而无需先验地了解它们,并且不需要跨语言进行 1:1 映射。 这是一种强大的功能,可实现非常流畅的翻译:
![](img/7af9de06-f5cd-4edc-a793-76ad408c579b.png)
......@@ -142,7 +142,7 @@ An example of sequence models for NMT as seen in https://github.com/lmthang/thes
* RNN 可以具有一个嵌入层,该层将单词映射到一个嵌入空间中,在该空间中相似的单词恰好被映射得非常近。
* RNNs 可以使用简单的或者复发的细胞,或 LSTM,或窥视孔 LSTM,或越冬。
仍在考虑博士学位论文*神经机器翻译*[https://github.com/lmthang/thesis/blob/master/thesis.pdf](https://github.com/lmthang/thesis/blob/master/thesis.pdf),我们可以使用嵌入层来映射 将输入语句放入嵌入空间。 然后,有两个 RNN *粘在一起*-源语言的编码器和目标语言的解码器。 如您所见,存在多个隐藏层,并且有两个流程:前馈垂直方向连接这些隐藏层,水平方向是将知识从上一步转移到下一层的递归部分:
仍在考虑博士学位论文[神经机器翻译](https://github.com/lmthang/thesis/blob/master/thesis.pdf),我们可以使用嵌入层来映射 将输入语句放入嵌入空间。 然后,有两个 RNN *粘在一起*-源语言的编码器和目标语言的解码器。 如您所见,存在多个隐藏层,并且有两个流程:前馈垂直方向连接这些隐藏层,水平方向是将知识从上一步转移到下一层的递归部分:
![](img/45216119-cbfa-47f0-9080-b6256eefb995.png)
......
......@@ -30,13 +30,13 @@
# 也可以看看
* Rumelhart,David E.,Geoffrey E. Hinton 和 Ronald J. Williams。 通过错误传播学习内部表示。 编号 ICS-8506。 加州大学圣地亚哥分校拉霍亚认知科学研究所,1985 年。( [http://www.cs.toronto.edu/~fritz/absps/pdp8.pdf](http://www.cs.toronto.edu/~fritz/absps/pdp8.pdf)
* `Rumelhart, David E., Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by error propagation. No. ICS-8506. California Univ San Diego La Jolla Inst for Cognitive Science, 1985. (http://www.cs.toronto.edu/~fritz/absps/pdp8.pdf)`
* Hinton,Geoffrey E.和 Ruslan R. Salakhutdinov。 *用神经网络减少数据的维数*,科学 313.5786(2006):504-507。 ( [https://pdfs.semanticscholar.org/7d76/b71b700846901ac4ac119403aa737a285e36.pdf](https://pdfs.semanticscholar.org/7d76/b71b700846901ac4ac119403aa737a285e36.pdf)
* `Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. Reducing the dimensionality of data with neural networks, science 313.5786 (2006): 504-507. (https://pdfs.semanticscholar.org/7d76/b71b700846901ac4ac119403aa737a285e36.pdf)`
* Masci,Jonathan 等。 *用于分层特征提取的堆叠卷积自编码器*。 人工神经网络和机器学习– ICANN 2011(2011):52-59。 ( [https://www.researchgate.net/profile/Jonathan_Masci/publication/221078713_Stacked_Convolutional_Auto-Encoders_for_Hierarchical_Feature_Extraction/links/0deec518b9c6ed4634000000/Stacked-Convolutional-Auto-Encoders-for-Hierarchical-Feature)。](https://www.researchgate.net/profile/Jonathan_Masci/publication/221078713_Stacked_Convolutional_Auto-Encoders_for_Hierarchical_Feature_Extraction/links/0deec518b9c6ed4634000000/Stacked-Convolutional-Auto-Encoders-for-Hierarchical-Feature-Extraction.pdf)
* `Masci, Jonathan, et al. Stacked convolutional auto-encoders for hierarchical feature extraction. Artificial Neural Networks and Machine Learning–ICANN 2011 (2011): 52-59. (https://www.researchgate.net/profile/Jonathan_Masci/publication/221078713_Stacked_Convolutional_Auto-Encoders_for_Hierarchical_Feature_Extraction/links/0deec518b9c6ed4634000000/Stacked-Convolutional-Auto-Encoders-for-Hierarchical-Feature-Extraction.pdf)`
* Japkowicz,Nathalie,Catherine Myers 和 Mark Gluck。 *一种新颖的分类检测方法*。 IJCAI。 卷 1995 年 1 月。( [http://www.ijcai.org/Proceedings/95-1/Papers/068.pdf](http://www.ijcai.org/Proceedings/95-1/Papers/068.pdf)
* `Japkowicz, Nathalie, Catherine Myers, and Mark Gluck. A novelty detection approach to classification. IJCAI. Vol. 1. 1995. (http://www.ijcai.org/Proceedings/95-1/Papers/068.pdf)`
# 普通自编码器
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册