test

docs/10.md

@@ -30,4 +30,6 @@ $$
 
 $$
 \theta^* = \mathop{\arg\max}_\theta J(\theta)
-$$
\ No newline at end of file
+$$
+
+我们定义 $P_\theta(s,a)$ 为 $(s,a)$ 出现在轨迹中的概率。注意，若时间步无穷大而且状态的平稳分布存在时，我们可以将 $P_\theta(s,a)$ 写为 $P_\theta(s,a)=d^{\pi_{\theta}}(s)\pi_{\theta}(a|s)$，这里 $d^{\pi_{\theta}}(s)$ 为遵照策略 $\pi_{\theta}$ 时的状态的平稳分布。
\ No newline at end of file