Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
stanford-cs234-notes-zh
提交
d8aa63a5
S
stanford-cs234-notes-zh
项目概览
OpenDocCN
/
stanford-cs234-notes-zh
通知
8
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
stanford-cs234-notes-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
d8aa63a5
编写于
9月 14, 2019
作者:
X
xiaowei_xing
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
test
上级
a4c0d594
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
15 addition
and
1 deletion
+15
-1
docs/8&9.md
docs/8&9.md
+15
-1
未找到文件。
docs/8&9.md
浏览文件 @
d8aa63a5
...
...
@@ -110,4 +110,18 @@ $\bullet$ 协方差矩阵自适应(Covariance matrix adaption, CMA)
$
\b
ullet$ 进化策略(Evolution strategies)
与基于梯度的方法相比,这些方法的优点是不需要计算目标函数的梯度,这就允许了参数化策略可以是不可导的,而且通常也很容易并行化这些方法。无梯度方法通常是个有用的基线,有时候这些方法的表现出奇的好 [1]。然而,由于这些方法忽略了奖励的时间结构,即更新只考虑整个片段的总奖励,而不会将奖励分解为轨迹中的每个状态的奖励,因此它们通常不是数据高效的。
\ No newline at end of file
与基于梯度的方法相比,这些方法的优点是不需要计算目标函数的梯度,这就允许了参数化策略可以是不可导的,而且通常也很容易并行化这些方法。无梯度方法通常是个有用的基线,有时候这些方法的表现出奇的好 [1]。然而,由于这些方法忽略了奖励的时间结构,即更新只考虑整个片段的总奖励,而不会将奖励分解为轨迹中的每个状态的奖励,因此它们通常不是数据高效的(见 4.3 节)。
# 4. 策略梯度(Policy Gradient)
定义 $V(
\t
heta)$ 为我们希望基于 $
\t
heta$ 最大化的目标函数。策略梯度的方法通过提升策略的梯度来搜索基于 $
\t
heta$ 的 $V(
\t
heta)$ 的局部最大值:
$$
\D
elta
\t
heta=
\a
lpha
\n
abla_{
\t
heta}V(
\t
heta),
$$
这里 $
\a
lpha$ 为步长,$
\n
abla_{
\t
heta}V(
\t
heta)$ 为策略梯度:
$$
\n
abla_{
\t
heta}V(
\t
heta)=
\b
egin{pmatrix}
\f
rac{
\p
artial V(
\t
heta)}{
\p
artial
\t
heta_1}
\\
\c
dots
\\
\f
rac{
\p
artial V(
\t
heta)}{
\p
artial
\t
heta_n}
\\
\e
nd{pmatrix}。
$$
\ No newline at end of file
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录