Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
stanford-cs234-notes-zh
提交
689fdc3d
S
stanford-cs234-notes-zh
项目概览
OpenDocCN
/
stanford-cs234-notes-zh
通知
8
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
stanford-cs234-notes-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
689fdc3d
编写于
11月 25, 2019
作者:
X
xiaowei_xing
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
test
上级
bb954bf0
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
13 addition
and
1 deletion
+13
-1
docs/10.md
docs/10.md
+13
-1
未找到文件。
docs/10.md
浏览文件 @
689fdc3d
...
...
@@ -388,4 +388,16 @@ V^{\pi}(s) = \frac{1}{1-\gamma} (\mathbb{E}_ {s\sim d^{\pi},a\sim\pi(\cdot|s),s'
\t
ag{5}
$$
这可以被看作奖励改变的一种形式,改变函数是状态的函数而不是动作的函数。注意如果我们令 $f(s)=V^{
\p
i}(s)$,那么我们就得到了优势函数。
\ No newline at end of file
这可以被看作奖励改变的一种形式,改变函数是状态的函数而不是动作的函数。注意如果我们令 $f(s)=V^{
\p
i}(s)$,那么我们就得到了优势函数。
### 5.2 状态分布差异限制(Bounding Difference in State Distributions)
在更新 $
\p
i
\t
o
\p
i'$ 时,我们有不同的衰减状态访问分布 $d^{
\p
i}$ 和 $d^{
\p
i'}$,现在我们来限制它们之间的差异。
**引理 5.1**
$$
\l
Vert d^{
\p
i'}-d^{
\p
i}
\r
Vert_1
\l
eq
\f
rac{2
\g
amma}{1-
\g
amma} (
\m
athbb{E}_ {s
\s
im d^{
\p
i}} [D_{TV}(
\p
i'
\l
Vert
\p
i)[s]])
$$
这一引理的证明可以参见 [4] 以及附录 A.1。
\ No newline at end of file
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录