Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
d2l-zh
提交
b3138a83
D
d2l-zh
项目概览
OpenDocCN
/
d2l-zh
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
b3138a83
编写于
3月 30, 2018
作者:
A
Aston Zhang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
--- rather than --
上级
0520ad4a
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
6 addition
and
6 deletion
+6
-6
chapter_appendix/math.md
chapter_appendix/math.md
+1
-1
chapter_optimization/gd-sgd-gluon.md
chapter_optimization/gd-sgd-gluon.md
+3
-3
chapter_optimization/gd-sgd-scratch.md
chapter_optimization/gd-sgd-scratch.md
+2
-2
未找到文件。
chapter_appendix/math.md
浏览文件 @
b3138a83
...
...
@@ -3,7 +3,7 @@
TODO(@astonzhang)
##
微积分
##
导数和梯度
假设目标函数$f:
\m
athbb{R}^d
\r
ightarrow
\m
athbb{R}$的输入是一个多维向量$
\m
athbf{x} = [x_1, x_2,
\l
dots, x_d]^
\t
op$。目标函数$f(
\m
athbf{x})$有关$
\m
athbf{x}$的梯度是一个由偏导数组成的向量:
...
...
chapter_optimization/gd-sgd-gluon.md
浏览文件 @
b3138a83
# 梯度下降和随机梯度下降
--- 使用Gluon
# 梯度下降和随机梯度下降
——使用`Gluon`
在
`Gluon`
里,使用小批量随机梯度下降很容易。我们无需重新实现该算法。特别地,当批量大小等于训练集大小时,该算法即为梯度下降;批量大小为1即为随机梯度下降。
...
...
@@ -115,8 +115,8 @@ optimize(batch_size=10, trainer=trainer, num_epochs=3, decay_epoch=2,
```
{.python .input n=7}
net.collect_params().initialize(mx.init.Normal(sigma=1), force_reinit=True)
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.002})
utils.
optimize(batch_size=10, trainer=trainer, num_epochs=3, decay_epoch=2,
log_interval=10, X=X, y=y, net=net)
optimize(batch_size=10, trainer=trainer, num_epochs=3, decay_epoch=2,
log_interval=10, X=X, y=y, net=net)
```
## 结论
...
...
chapter_optimization/gd-sgd-scratch.md
浏览文件 @
b3138a83
# 梯度下降和随机梯度下降
(从0开始)
# 梯度下降和随机梯度下降
——从0开始
在之前的章节里,我们通过损失函数$
\e
ll$中参数的梯度$
\n
abla_{
\t
heta}
\e
ll$来决定如何更新模型
$
\t
heta$的参数
。我们也提到过学习率$
\e
ta$,并给出了使用梯度下降算法更新模型参数的步骤:
在之前的章节里,我们通过损失函数$
\e
ll$中参数的梯度$
\n
abla_{
\t
heta}
\e
ll$来决定如何更新模型
的参数$
\t
heta$
。我们也提到过学习率$
\e
ta$,并给出了使用梯度下降算法更新模型参数的步骤:
$$
\t
heta_{t}
\g
ets
\t
heta_{t-1} -
\e
ta
\n
abla_{
\t
heta}
\m
athcal{L}_{t-1}$$
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录