提交 801aca3f 编写于 作者: W wizardforcel

2020-09-03 21:40:37

上级 3783dd28
......@@ -21,7 +21,7 @@
# 激活功能
`activation`函数使**神经网络**成为非线性。 激活功能决定是否应触发感知器。 在训练激活期间,功能在调整梯度中起着重要作用。 下一节所示的`activation`功能(如 S)会衰减较大幅度的值。 `activation`函数的这种非线性行为为学习复杂函数提供了深层网络。 `activation`的大多数功能是连续和微分功能,但整流单元为 0 除外。输入的每一个小变化,连续功能的输出都会有很小的变化。 微分函数在域中的每个点都有一个导数。
`activation`函数使**神经网络**成为非线性。 激活功能决定是否应触发感知器。 在训练激活期间,功能在调整梯度中起着重要作用。 下一节所示的`activation`功能(如 Sigmoid)会衰减较大幅度的值。 `activation`函数的这种非线性行为为学习复杂函数提供了深层网络。 `activation`的大多数功能是连续和微分功能,但整流单元为 0 除外。输入的每一个小变化,连续功能的输出都会有很小的变化。 微分函数在域中的每个点都有一个导数。
为了训练神经网络,功能必须是可微的。 以下是一些`activation`功能。
......@@ -29,15 +29,15 @@
# 乙状结肠
Sigmoid 可以看作是平滑的阶跃函数,因此可以微分。 Sigmoid 可用于将任何值转换为概率,并可用于二进制分类。 S映射将输入映射到 0 到 1 范围内的值,如下图所示:
Sigmoid 可以看作是平滑的阶跃函数,因此可以微分。 Sigmoid 可用于将任何值转换为概率,并可用于二进制分类。 Sigmoid 映射将输入映射到 0 到 1 范围内的值,如下图所示:
![](img/f171c6d5-67e5-4e9c-a168-be794c8e444b.png)
相对于`X``Y`值的变化将很小,因此,梯度将消失。 经过一番学习之后,变化可能很小。 在下一节中介绍的另一个称为`tanh`的激活函数是 S曲线的缩放比例版本,避免了梯度消失的问题。
相对于`X``Y`值的变化将很小,因此,梯度将消失。 经过一番学习之后,变化可能很小。 在下一节中介绍的另一个称为`tanh`的激活函数是 Sigmoid 曲线的缩放比例版本,避免了梯度消失的问题。
# 双曲正切函数
双曲正切函数或 `tanh` 是 S曲线的缩放形式。 像乙状结肠一样,它是光滑且可区分的。 `tanh`将输入映射到 -1 到 1 的值,如下图所示:
双曲正切函数或 `tanh` 是 Sigmoid 曲线的缩放形式。 像乙状结肠一样,它是光滑且可区分的。 `tanh`将输入映射到 -1 到 1 的值,如下图所示:
![](img/623bcab3-b4f7-4ce7-b817-a3f1bad2944d.png)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册