Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
dffa8fab
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
dffa8fab
编写于
11月 20, 2017
作者:
C
caoying03
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add softsign activation.
上级
c6ec26df
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
46 addition
and
2 deletion
+46
-2
paddle/gserver/activations/ActivationFunction.cpp
paddle/gserver/activations/ActivationFunction.cpp
+31
-0
python/paddle/trainer_config_helpers/activations.py
python/paddle/trainer_config_helpers/activations.py
+15
-2
未找到文件。
paddle/gserver/activations/ActivationFunction.cpp
浏览文件 @
dffa8fab
...
...
@@ -212,6 +212,37 @@ Error __must_check backward(Argument& act) {
}
END_DEFINE_ACTIVATION
(
sequence_softmax
)
/*
* @brief SoftSign Activation.
* \f[
* f(z) = \frac{z}{1 + |z|}
* \f]
*/
BEGIN_DEFINE_ACTIVATION
(
softsign
)
private:
MatrixPtr
denominator_
;
Error
__must_check
forward
(
Argument
&
act
)
{
size_t
height
=
act
.
value
->
getHeight
();
size_t
width
=
act
.
value
->
getWidth
();
Matrix
::
resizeOrCreate
(
denominator_
,
height
,
width
,
false
,
useGpu
(
act
.
deviceId
));
denominator_
->
assign
(
*
act
.
value
);
denominator_
->
abs2
();
denominator_
->
add
(
1.
);
act
.
value
->
dotDiv
(
*
act
.
value
,
*
denominator_
);
return
Error
();
}
Error
__must_check
backward
(
Argument
&
act
)
{
denominator_
->
square2
();
denominator_
->
scalarDiv
(
*
denominator_
,
1.
);
act
.
grad
->
dotMul
(
*
act
.
grad
,
*
denominator_
);
return
Error
();
}
END_DEFINE_ACTIVATION
(
softsign
)
/**
* @brief Relu Activation.
* forward. y = max(0, z)
...
...
python/paddle/trainer_config_helpers/activations.py
浏览文件 @
dffa8fab
...
...
@@ -17,7 +17,8 @@ __all__ = [
"IdentityActivation"
,
"LinearActivation"
,
'SequenceSoftmaxActivation'
,
'ExpActivation'
,
"ReluActivation"
,
"BReluActivation"
,
"SoftReluActivation"
,
"STanhActivation"
,
"AbsActivation"
,
"SquareActivation"
,
"BaseActivation"
,
"LogActivation"
,
"SqrtActivation"
,
"ReciprocalActivation"
"LogActivation"
,
"SqrtActivation"
,
"ReciprocalActivation"
,
"SoftSignActivation"
]
...
...
@@ -243,8 +244,20 @@ class ReciprocalActivation(BaseActivation):
Reciprocal Activation.
.. math::
f(z)
= 1/z
f(z)
=
\\
frac{1}{z}
"""
def
__init__
(
self
):
BaseActivation
.
__init__
(
self
,
'reciprocal'
,
False
)
class
SoftSignActivation
(
BaseActivation
):
"""
SoftSign Activation.
.. math::
f(z)=
\\
frac{1}{1 + |z|}
"""
def
__init__
(
self
):
BaseActivation
.
__init__
(
self
,
'softsign'
,
False
)
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录