From d2143ab313b76de92ebaea2ce0ac4985c4c56781 Mon Sep 17 00:00:00 2001 From: hong19860320 <9973393+hong19860320@users.noreply.github.com> Date: Thu, 27 Aug 2020 17:53:35 +0800 Subject: [PATCH] Update the formula of SELU/selu (#2495) --- doc/fluid/api_cn/nn_cn/activation_cn/SELU_cn.rst | 10 +++++++--- doc/fluid/api_cn/nn_cn/selu_cn.rst | 10 +++++++--- 2 files changed, 14 insertions(+), 6 deletions(-) diff --git a/doc/fluid/api_cn/nn_cn/activation_cn/SELU_cn.rst b/doc/fluid/api_cn/nn_cn/activation_cn/SELU_cn.rst index 2965c5f30..2bd2ce11b 100644 --- a/doc/fluid/api_cn/nn_cn/activation_cn/SELU_cn.rst +++ b/doc/fluid/api_cn/nn_cn/activation_cn/SELU_cn.rst @@ -8,14 +8,18 @@ SELU激活层 .. math:: - SELU(x) = scale * (max(0,x) + min(0, alpha * (e^{x} - 1))) + SELU(x)= scale * + \begin{cases} + x, \text{if } x > 0 \\ + alpha * e^{x} - alpha, \text{if } x <= 0 + \end{cases} 其中,:math:`x` 为输入的 Tensor 参数 :::::::::: - - scale (float, 可选) - SELU激活计算公式中的scale值。默认值为1.0507009873554804934193349852946。 - - alpha (float, 可选) - SELU激活计算公式中的alpha值。默认值为1.6732632423543772848170429916717。 + - scale (float, 可选) - SELU激活计算公式中的scale值,必须大于1.0。默认值为1.0507009873554804934193349852946。 + - alpha (float, 可选) - SELU激活计算公式中的alpha值,必须大于等于零。默认值为1.6732632423543772848170429916717。 - name (str, 可选) - 操作的名称(可选,默认值为None)。更多信息请参见 :ref:`api_guide_Name`。 形状: diff --git a/doc/fluid/api_cn/nn_cn/selu_cn.rst b/doc/fluid/api_cn/nn_cn/selu_cn.rst index ad02b2dfd..a52d54bad 100644 --- a/doc/fluid/api_cn/nn_cn/selu_cn.rst +++ b/doc/fluid/api_cn/nn_cn/selu_cn.rst @@ -9,15 +9,19 @@ selu激活层 .. math:: - selu(x) = scale * (max(0,x) + min(0, alpha * (e^{x} - 1))) + selu(x)= scale * + \begin{cases} + x, \text{if } x > 0 \\ + alpha * e^{x} - alpha, \text{if } x <= 0 + \end{cases} 其中,:math:`x` 为输入的 Tensor 参数: :::::::::: - x (Tensor) - 输入的 ``Tensor`` ,数据类型为:float32、float64。 - - scale (float, 可选) - selu激活计算公式中的scale值。默认值为1.0507009873554804934193349852946。 - - alpha (float, 可选) - selu激活计算公式中的alpha值。默认值为1.6732632423543772848170429916717。 + - scale (float, 可选) - selu激活计算公式中的scale值,必须大于1.0。默认值为1.0507009873554804934193349852946。 + - alpha (float, 可选) - selu激活计算公式中的alpha值,必须大于等于零。默认值为1.6732632423543772848170429916717。 - name (str, 可选) - 操作的名称(可选,默认值为None)。更多信息请参见 :ref:`api_guide_Name`。 返回 -- GitLab