提交 1b5bd450 编写于 作者: W wizardforcel

2020-09-07 11:07:00

上级 77fac971
......@@ -59,7 +59,7 @@ sigmoid 函数如下所示:
![](img/de142212-317a-4975-bac2-8a73d64d08c9.png)
对于中间层,`tanh`通常比 S 型更好。 您可能会看到,`tanh`的输出将在`[-1, 1]`之间,而 S 型曲线的输出将为`[0, 1]`。 这种额外的宽度可为消失或爆炸的梯度问题提供一定的弹性,我们将在后面详细介绍。 到目前为止,仅需知道消失的梯度问题就可以使网络在早期的层中收敛非常慢(如果有的话)。 因此,使用`tanh`的网络趋于比使用 S 型激活的网络收敛更快。 也就是说,它们仍然不如 ReLu 快。
对于中间层,`tanh`通常比 Sigmoid 更好。 您可能会看到,`tanh`的输出将在`[-1, 1]`之间,而 Sigmoid 曲线的输出将为`[0, 1]`。 这种额外的宽度可为消失或爆炸的梯度问题提供一定的弹性,我们将在后面详细介绍。 到目前为止,仅需知道消失的梯度问题就可以使网络在早期的层中收敛非常慢(如果有的话)。 因此,使用`tanh`的网络趋于比使用 Sigmoid 激活的网络收敛更快。 也就是说,它们仍然不如 ReLu 快。
ReLu,或直线激活,简单定义为:
......
......@@ -61,7 +61,7 @@ GAN 的整体体系结构如下图所示。 生成器和判别器分别是单独
# 鉴别器架构
鉴别器的体系结构更像我们在前几章中已经看到的。 它实际上只是一个典型的图像分类器,如下图所示。 输出是 S的,因为鉴别器将预测输入图像是真实图像集的成员的概率。 鉴别器正在解决二分类问题:
鉴别器的体系结构更像我们在前几章中已经看到的。 它实际上只是一个典型的图像分类器,如下图所示。 输出是 Sigmoid 的,因为鉴别器将预测输入图像是真实图像集的成员的概率。 鉴别器正在解决二分类问题:
![](img/68c3560e-2207-409d-94b3-aebcb4b7d247.png)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册