Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
d2l-zh
提交
9cb3e000
D
d2l-zh
项目概览
OpenDocCN
/
d2l-zh
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
9cb3e000
编写于
1月 04, 2019
作者:
A
Aston Zhang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
gan translate
上级
a576c02c
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
2 addition
and
2 deletion
+2
-2
chapter_introduction/deep-learning-intro.md
chapter_introduction/deep-learning-intro.md
+1
-1
chapter_introduction/index.md
chapter_introduction/index.md
+1
-1
未找到文件。
chapter_introduction/deep-learning-intro.md
浏览文件 @
9cb3e000
...
...
@@ -65,7 +65,7 @@
*
例如记忆网络 [6]和神经编码器—解释器 [7]这样的多阶设计使得针对推理过程的迭代建模方法变得可能。这些模型允许重复修改深度网络的内部状态,这样就能模拟出推理链条上的各个步骤,就好像处理器在计算过程中修改内存一样。
*
另一个重大发展是生成对抗网络的发明 [8]。传统上,用在概率分布估计和生成模型上的统计方法更多地关注于找寻正确的概率分布,以及正确的采样算法。
对抗生成网络的关键创新在于将采样部分替换成了任意的含有可微分参数的算法。这些参数将被训练到使得辨别器不能再分辨真实的和生成的样本。对抗生成网络可使用任意算法来生成输出的特性为许多技巧打开了新的大门。例如生成奔跑的斑马 [9]和生成名流的照片 [10] 都是对抗生成
网络发展的见证。
*
另一个重大发展是生成对抗网络的发明 [8]。传统上,用在概率分布估计和生成模型上的统计方法更多地关注于找寻正确的概率分布,以及正确的采样算法。
生成对抗网络的关键创新在于将采样部分替换成了任意的含有可微分参数的算法。这些参数将被训练到使得辨别器不能再分辨真实的和生成的样本。生成对抗网络可使用任意算法来生成输出的特性为许多技巧打开了新的大门。例如生成奔跑的斑马 [9]和生成名流的照片 [10] 都是生成对抗
网络发展的见证。
*
许多情况下单个GPU已经不能满足在大型数据集上训练的需要。过去十年内我们构建分布式并行训练算法的能力已经有了极大的提升。设计可扩展算法的最大瓶颈在于深度学习优化算法的核心:随机梯度下降需要相对更小的批量。与此同时,更小的批量也会降低GPU的效率。如果我们使用1024个GPU,每个GPU的批量大小为32个样本,那么单步训练的批量大小将是32000个以上。近年来李沐 [11]、Yang You等人 [12]以及Xianyan Jia等人 [13]的工作将批量大小推向多达64000个样例,并将在ImageNet数据集上训练ResNet-50模型的时间降到了7分钟。与之对比,最初的训练时间需要以天来计算。
...
...
chapter_introduction/index.md
浏览文件 @
9cb3e000
# 引言
近年来,深度学习发展极为迅速,
它在智能时代深刻改变着人类的生产生活方式。本章将简要介绍什么是深度学习,以及如何使用本书。
深度学习在近年来发展极为迅速。
它在智能时代深刻改变着人类的生产生活方式。本章将简要介绍什么是深度学习,以及如何使用本书。
```
eval_rst
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录