Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
CoolBran
d2l-zh
提交
21bfd3bd
D
d2l-zh
项目概览
CoolBran
/
d2l-zh
与 Fork 源项目一致
从无法访问的项目Fork
通知
3
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
21bfd3bd
编写于
11月 14, 2021
作者:
R
Rachel Hu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
index polish done
上级
12ef5ea9
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
19 addition
and
12 deletion
+19
-12
chapter_recurrent-modern/index.md
chapter_recurrent-modern/index.md
+19
-12
未找到文件。
chapter_recurrent-modern/index.md
浏览文件 @
21bfd3bd
# 现代循环神经网络
:label:
`chap_modern_rnn`
前文中我们已经介绍了循环神经网络的基础知识,这种网络可以更好地处理序列数据。
为了演示效果,我们在文本数据上实现了基于循环神经网络的语言模型。
但是,对于面对当今各种序列学习问题的从业人员,这些技术可能并不够用。
前一章中我们介绍了循环神经网络的基础知识,
这种网络可以更好地处理序列数据。
我们在文本数据上实现了基于循环神经网络的语言模型,
但是对于当今各种各样的序列学习问题,这些技术可能并不够用。
例如,循环神经网络在实践中一个常见问题是数值不稳定性。
尽管我们已经应用了梯度裁剪等实现阶段的技巧来处理它,但是通过设计更复杂的序列模型可以进一步缓解这个问题。
具体来说,在实践中更常见的门控循环神经网络。
首先,我们将引入两个广泛使用的网络,
即
*门控循环单元*
(gated recurrent units,GRU)和
*长短期记忆网络*
(long short-term memory,LSTM)。
然后,我们将基于迄今为止讨论过的一个单向隐藏层来扩展循环神经网络架构。
我们将描述具有多个隐藏层的深层架构,并讨论基于前向和后向循环计算的双向设计。
尽管我们已经应用了梯度裁剪等技巧来缓解这个问题,
但是仍需要通过设计更复杂的序列模型可以进一步处理它。
具体来说,我们将引入两个广泛使用的网络,
即
*门控循环单元*
(gated recurrent units,GRU)和
*长短期记忆网络*
(long short-term memory,LSTM)。
然后,我们将基于一个单向隐藏层来扩展循环神经网络架构。
我们将描述具有多个隐藏层的深层架构,
并讨论基于前向和后向循环计算的双向设计。
现代循环网络经常采用这种扩展。
在解释这些循环神经网络的变体时,我们将继续考虑 :numref:
`chap_rnn`
中引入的语言建模问题。
在解释这些循环神经网络的变体时,
我们将继续考虑 :numref:
`chap_rnn`
中的语言建模问题。
事实上,语言建模只揭示了序列学习能力的冰山一角。
在各种序列学习问题中,如自动语音识别、文本到语音的转换和机器翻译,输入和输出都是任意长度的序列。
为了解释如何拟合这种类型的数据,我们将以机器翻译为例介绍基于循环神经网络的编码器-解码器架构和束搜索,并用它们来生成序列。
在各种序列学习问题中,如自动语音识别、文本到语音转换和机器翻译,
输入和输出都是任意长度的序列。
为了阐述如何拟合这种类型的数据,
我们将以机器翻译为例介绍基于循环神经网络的
“编码器-解码器”架构和束搜索,并用它们来生成序列。
```
toc
:maxdepth: 2
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录