Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
stanford-cs234-notes-zh
提交
c6d5d8b7
S
stanford-cs234-notes-zh
项目概览
OpenDocCN
/
stanford-cs234-notes-zh
通知
8
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
stanford-cs234-notes-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
c6d5d8b7
编写于
9月 20, 2019
作者:
X
xiaowei_xing
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
test
上级
1cc38dee
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
23 addition
and
1 deletion
+23
-1
docs/8&9.md
docs/8&9.md
+23
-1
未找到文件。
docs/8&9.md
浏览文件 @
c6d5d8b7
...
...
@@ -415,4 +415,26 @@ $$
$$
= 0。
$$
\ No newline at end of file
$$
## 7.1 普通策略梯度(Vanilla Policy Gradient)
使用前面讨论的基准,这里我们介绍普通策略梯度(vanilla policy gradient)算法。假设基准函数的参数为 $
\m
athbf{w}$。
# 算法2
状态值函数是基准的一个很自然的选择,$b(s_t)=V(s_t)$,这时优势函数为 $A^{
\p
i}(s,a)=Q^{
\p
i}(s,a)-V^{
\p
i}(s)$。然而,由于我们不知道真实的状态值,因此我们使用估计值 $
\h
at{V}(s_t;
\m
athbf{w})$ 来代替,这里 $
\m
athbf{w}$ 为权重向量。我们可以通过蒙特卡洛轨迹采样来同时学习基准函数(状态值函数)的权重向量 $
\m
athbf{w}$ 和策略的参数 $
\t
heta$。
注意,在算法 2 中,我们通常并不单独计算梯度 $
\s
um_t
\h
at{A}_ t
\n
abla_{
\t
heta}
\l
og
\p
i_{
\t
heta}(a_t|s_t)$,而是将一个批的数据累积到损失函数中:
$$
L(
\t
heta)=
\s
um_t
\h
at{A}_ t
\l
og
\p
i_{
\t
heta}(a_t|s_t),
$$
然后通过计算 $
\n
abla_{
\t
heta} L(
\t
heta)$ 来计算梯度。我们也可以在这个损失函数中引入一个分量来拟合基准函数:
$$
L(
\t
heta,
\m
athbf{w})=
\s
um_t (
\h
at{A}_ t
\l
og
\p
i_{
\t
heta}(a_t|s_t) -
\n
orm{b(s_t)-G_t^{(i)}}^2),
$$
然后我们可以计算 $L(
\t
heta,
\m
athbf{w})$ 关于 $
\t
heta$ 和 $
\m
athbf{w}$ 的梯度来执行 SGD 更新。
\ No newline at end of file
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录