From 904d8b29f38479bdafc3ca412044bc5ee0f476e7 Mon Sep 17 00:00:00 2001
From: xiaowei_xing <997427575@qq.com>
Date: Fri, 8 Nov 2019 13:19:54 +0900
Subject: [PATCH] test

---
 docs/10.md | 10 +++++++++-
 1 file changed, 9 insertions(+), 1 deletion(-)

diff --git a/docs/10.md b/docs/10.md
index 02d26c5..7d2a67e 100644
--- a/docs/10.md
+++ b/docs/10.md
@@ -2,4 +2,12 @@
 
 # 课时10 高级策略梯度 2019.02.11
 
-## 1. 策略梯度的目标（Policy Gradient Objective）
\ No newline at end of file
+## 1. 策略梯度的目标（Policy Gradient Objective）
+
+在策略梯度中，我们将策略 $\pi_\theta$ 参数化，并使用环境中的经历直接来优化它。我们首先定义基于当前策略 $\pi_\theta$ 的轨迹的概率为 $\pi_\theta(\tau)$：
+
+$$
+\pi_\theta(\tau) = \pi_\theta(s_1,a_1,...,s_T,a_T)=P(s_1)\prod_{t=1}^T \pi_\theta(a_t|s_t)P(s_{t+1}|s_t,a_t)，
+$$
+
+这里 $P(s_1)$ 为起始状态为 $s_1$ 的概率，$\pi_\theta(a_t|s_t)$ 为根据当前的策略在状态 $s_t$ 选择动作 $a_t$ 的概率，$P(s_{t+1}|s_t,a_t)$ 为在状态 $s_t$ 选择动作 $a_t$ 时，状态转移到 $s_{t+1}$ 的概率。注意，$\pi_\theta(\tau)$ 为轨迹的概率而 $\pi_\theta(a|s)$ 为给定状态时选择某个动作的概率。
\ No newline at end of file
-- 
GitLab