\ No newline at end of file
diff --git a/docs/stanford-cs234-notes-zh/6.md b/docs/stanford-cs234-notes-zh/6.md
new file mode 100644
index 0000000000000000000000000000000000000000..ad438359ebf8ba70bebbeaf24c68f97c0fad2987
--- /dev/null
+++ b/docs/stanford-cs234-notes-zh/6.md
@@ -0,0 +1,231 @@
+# Lecture 6 CNNs and Deep Q-learning
+
+# 课时6 卷积神经网络与深度 Q-学习 2019.01.28
+
+## 7. 基于值的深度强化学习（Value-based Deep Reinforcement Learning）
+
+这一部分我们介绍三种常见的基于值的深度强化学习（RL）算法：深度 Q-网络（Deep Q-network）[[1]](#ref1)，双 DQN（Double DQN）[[2]](#ref2) 和对抗 DQN（Dueling DQN）[[3]](#ref3)。通过端到端的（end-to-end）强化学习，这三种神经网络架构都可以直接从像电子游戏的预处理像素这样的高维输入（high-dimensional inputs）中学习到成功的策略，它们在 Atari 2600 的 49 个游戏中达到了相当于专业的游戏测试员的水平 [[4]](#ref4)。
+
+这些架构都使用了卷积神经网络（Convolutional Neural Networks, CNNs）[[5]](#ref5) 来从像素输入中提取特征。理解 CNNs 特征提取的机制有助于我们理解 DQN 的工作方式。 斯坦福大学 CS231N 课程网站提供了关于 CNNs 的详尽的介绍和例子，通过这个链接，读者可以阅读更多细节：[CS231N](http://cs231n.github.io/convolutional-networks/)。本节的其余部分我们将关注 RL 和 基于值的深度 RL 算法的泛化。
+
+### 7.1 概述：状态-行为值函数近似（Recap: Action-value Function Approximation）
+
+上节课我们用参数化的近似函数来表示状态-行为值函数（Q-函数），若我们将参数记为 $\mathbf{w}$，那么这种设定中，Q-函数可以被表示为 $\hat{q}(s,a,\mathbf{w})$。
+
+假设我们知道 $q(s,a)$，通过最小化真实状态-动作值函数 $q(s,a)$ 和近似估计之间的均方误差 $J(\mathbf{w})$，我们可以得到近似的 Q-函数：
+$$
+J(\mathbf{w})=\mathbb{E}[(q(s,a)-\hat{q}(s,a,\mathbf{w}))^2]。
+\tag{1}
+$$
+
+我们可以通过随机梯度下降（stochastic gradient descent, SGD）找到 $J$ 的关于 $\mathbf{w}$ 的局部最小值，并且以下式来更新 $\mathbf{w}$：
+
+
+$$
+\Delta(\mathbf{w})=-\frac{1}{2}\alpha\nabla_{\mathbf{w}}J(\mathbf{w})=\alpha\mathbb{E}[(q(s,a)-\hat{q}(s,a,\mathbf{w}))\nabla_{\mathbf{w}}\hat{q}(s,a,\mathbf{w})]，
+\tag{2}
+$$
+
+这里 $\alpha$ 为学习率（learning rate）。通常情况下，真实的状态-动作值函数 $q(s,a)$ 是未知的，所以用一个近似的学习目标（learning target）来代替式（[2](#eq2)）中的 $q(s,a)$。
+
+在蒙特卡洛方法中，对于片段式的 MDPs，我们用无偏的回报 $G_t$ 来代替学习目标：
+$$
+\Delta(\mathbf{w})=\alpha(G_t-\hat{q}(s,a,\mathbf{w}))\nabla_{\mathbf{w}}\hat{q}(s,a,\mathbf{w})。
+\tag{3}
+$$
+
+对于 SARSA 方法，我们使用基于推导的 TD 目标 $r+\gamma\hat{q}(s',a',\mathbf{w})$：
+$$
+\Delta(\mathbf{w})=\alpha(r+\gamma\hat{q}(s',a',\mathbf{w})-\hat{q}(s,a,\mathbf{w}))\nabla_{\mathbf{w}}\hat{q}(s,a,\mathbf{w})，
+\tag{4}
+$$
+这里 $a'$ 为在下一状态 $s'$ 执行的动作，$\gamma$ 为衰减因子，TD 目标利用了当前的函数近似值。
+
+对于 Q-学习，我们使用 TD 目标 $r+\gamma\mathop{\max}_{a'}\hat{q}(s',a',\mathbf{w})$，并以下式来更新 $\mathbf{w}$：
+
+$$
+\Delta(\mathbf{w})=\alpha(r+\gamma\mathop{\max}_ {a'}\hat{q}(s',a',\mathbf{w})-\hat{q}(s,a,\mathbf{w}))\nabla_{\mathbf{w}}\hat{q}(s,a,\mathbf{w})。
+\tag{5}
+$$
+
+下面的部分我们将介绍如何使用深度神经网络来近似 $\hat{q}(s,a,\mathbf{w})$，以及如何通过端到端的训练来学习神经网络的参数 $\mathbf{w}$。
+
+### 7.2 泛化：深度 Q-网络（Generalization: Deep Q-network）[[1]](#ref1)
+
+线性近似函数的表现非常依赖于特征的质量，一般来说，手动给出合适的特征很困难，也很耗时。为了在大的空间（large domians）（比如大的状态空间）进行决策并实现特征自动提取，深度神经网络（DNNs）通常被选作近似函数。
+
+#### 7.2.1 DQN 架构（DQN Architecture）
+
+图1展示了 DQN 的结构，图中的网络将 Atari 游戏环境的预处理像素图（预处理见 7.2.2 节）作为输入，为每个可行的动作赋予一个 Q 值，将这些 Q 值作为一个向量输出。预处理的像素输入代表了游戏状态 $s$，单个的输出单元表示动作 $a$ 的 $\hat{q}$ 函数。总的来说，$\hat{q}$ 可以被记为 $\hat{q}(s,\mathbf{w})\in\mathbb{R}^{|A|}$，简单起见，我们仍用 $\hat{q}(s,a,\mathbf{w})$ 来表示对 $(s,a)$ 的状态-行为值估计。
+
+结构细节：输入为一张 $84\times 84\times 4$ 的图片；第一个卷积层有 32 个大小为 $8\times 8$、步幅（stride）为 $4$ 的滤波器，对输入图片进行卷积操作后，将结果输入非线性整流器（ReLU）[[6]](#ref6)；第二个隐藏层有 64 个大小为 $4\times 4$、步幅为 $2$ 的滤波器，同样地，后面接非线性整流器；第三个隐藏层有 64 个大小为 $3\times 3$、步幅为 $1$ 的滤波器，同样地，后面接 ReLU；最后的隐藏层为包含 512 个整流器（ReLU）单元的全连接层（fully-connected layer）；输出层为全连接线性层。
+
+
+
+
+图 1：深度 Q 网络：网络的输入为一张 $84\times 84\times 4$ 的预处理过的图片，后面接三个卷积层和两个全连接层，每个可行动作都对应一个输出，每个隐藏层都接一个非线性整流器（ReLU）[[6]](#ref6)。
+
+
+#### 7.2.2 原始像素预处理（Processing Raw Pixels）
+
+原始的 Atari 2600 画面的大小为 $210\times 160\times 3$，最后的维度指的是 RGB 的通道数。[[1]](#ref1) 中采用的预处理步骤的目的是降低输入的维度以及处理游戏模拟器的一些工件。我们将预处理过程总结如下：
+
+$\bullet$ 单帧图片编码（single frame encoding）：为编码单帧图片，我们将返回所编码帧和上一帧每个像素颜色值的最大值，也就是说，我们返回两帧连续的原始图片的每个像素的最大值（pixel-wise nax-pooling）；
+
+$\bullet$ 降维（dimensionality reduction）：从编码的 RGB 图像中提取 Y 通道（也称为亮度，luminance），将其重新缩放到 $(84\times 84\times 1)$；
+
+对 4 帧最新的原始 RGB 图像应用上述处理过程，并将编码后的图片堆叠在一起，以生成 Q-网络的输入（大小为 $(84\times 84\times 1)$）。将最新的帧堆叠在一起来作为游戏状态也是将游戏环境转换为（近似）马尔科夫世界的一种方法。
+
+#### 7.2.3 DQN 的训练算法（Training Algorithms for DQN）
+
+由于没有理论性的保证，而且学习和训练往往很不稳定，因此过去常常避免使用大型的深度神经网络来近似状态-行为值函数。为使用大型非线性近似函数和大规模在线 Q-学习，DQN 引入了两个主要变化：使用经验回放（experience replay）和一个单独的目标网络（target network），算法 1 展示了完整的算法。本质上，Q-网络是通过最小化以下均方误差来学习的：
+
+$$
+J(\mathbf{w})=\mathbb{E}_ {(s_t,a_t,r_t,s_{t+1})}[(y_t^{DQN}-\hat{q}(s_t,a_t,\mathbf{w}))^2]，
+\tag{6}
+$$
+
+这里 $y_t^{DQN}$ 为提前一步学习目标（one-step ahead learning target）：
+$$
+y_t^{DQN}=r_t+\gamma\mathop{\max}_ {a'}\hat{q}(s_{t+1},a',\mathbf{w}^-)，
+\tag{7}
+$$
+
+$\mathbf{w}^-$ 表示目标网络的参数，在线网络的参数 $\mathbf{w}$ 通过从曾经的状态转移 $(s_t,a_t,r_t,s_{t+1})$ 的小批量中采样梯度来更新。
+
+（注意：尽管目标网络可以根据 $\mathbf{w}^-$ 计算学习的目标，当我们更新 $\mathbf{w}$ 时，仍认为目标 $y_t^{DQN}$ 是固定的。）
+
+
+
+经验回放（Experience Replay）:
+
+行为体在每个时间步的经历（或状态转移）$e_t=(s_t,a_t,r_t,s_{t+1})$ 被存储在一个固定大小的数据集（或回放存储器，replay buffer）中：$D_t={e_1,...,e_t}$，回放存储器保留着最新的 $k=1 million$ 次经历（图2解释了回放存储器）。通过从最小批数据中采样梯度来更新 Q-网络，最小批中的每个状态转移样本都是从经验存储池中随机均匀采样得到的：$(s,a,r,s')\sim U(D)$。对于标准的在线 Q-学习，这个方法有以下优点:
+
+$\bullet$ 更高的数据效率（greater data efficiency）：每一步的经验都可能用于多次更新，从而提高数据效率；
+
+$\bullet$ 去除样本相关性（removing sample correlations）：对状态转移的随机采样打破了连续样本间的联系，因此能降低更新的方差并稳定训练过程；
+
+$\bullet$ 避免震荡或发散（avoiding oscillations or divergence）：表现分布根据许多的历史状态和状态转移做了平均，因此可以平滑学习过程，避免参数的震荡或发散。（注意，在使用经验回放时，应当使用离线策略方法，如 Q-学习，因为当前的参数与用于生成样本的参数不同。）
+
+经验回放的限制（limitations of experience replay）：回放存储器并不区分重要的或能提供有用信息的状态转移；由于存储容量固定，最旧的状态转移总是会被最新的状态转移覆盖；类似地，从存储器均匀采样赋予了存储的经历以同等的重要性。[[7]](#ref7) 提出了一种更为复杂的回放策略，即优先回放（Prioritized Replay），它更频繁地回放重要的状态转移，因此行为体的学习效率更高。
+
+
+
+
+图 2：回放存储器：从回放存储器中对状态转移 $(s,a,r,s')$ 均匀采样，以更新 Q 网络。
+
+
+目标网络（Target Network）：
+
+为了进一步提高学习的稳定性和处理非平稳的学习目标，在 Q-学习的更新中，DQN 采用了一个独立的目标网络来生成目标 $y_i$（算法 1 第 12 行）。具体来说，通过从在线网络 $\hat{q}(s,a,\mathbf{w})$ 复制参数值 $\mathbf{w}^-=\mathbf{w}$，每 $C$ 次更新/时间步更新一次目标网络 $\hat{q}(s,a,\mathbf{w}^-)$，在接下来的 $C$ 次更新中，目标网络保持不变并生成 $y_i$。这项改动使算法相对标准的在线 Q-学习 而言更加稳定，在原始的 DQN 中，$C=10000$。
+
+#### 7.2.4 训练细节（Training Details）
+
+原始的 DQN 论文 [[1]](#ref1) 用每个游戏以相同的结构训练了一个不同的网络（或行为体）来学习算法和超参数。作者们将游戏环境中的正面奖励都设置为 $+1$，负面奖励都设置为 $-1$，这使得行为体可以在不同的游戏中都使用相同的学习率。对于有生命计数器的游戏（例如 Breakout），模拟器还返回游戏中剩余的生命数，然后通过明确地设置未来奖励为零来标志训练期间一个片段的结束。他们还使用了一种简单的跳帧技术（或动作重复）：行为体每 4 帧选择一次动作并重复这个动作直到下一次选择，而非每帧都选择。这降低了做决策的频率而不会对性能造成太大影响，并且使行为体在训练期间可以多玩大约 4 倍的游戏。
+
+[[1]](#ref1) 使用了 RMSProp（https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf ）来训练 DQN，最小批的大小为 32。训练过程中，他们应用了 $\epsilon$-贪婪策略，前一百万时间步中，$\epsilon$ 从 $1.0$ 线性地减小到 $0.1$，后面 $\epsilon$ 一直保持为 $0.1$。回放存储器存储最新的一百万次状态转移。测试过程中，他们使用 $\epsilon=0.05$ 的 $\epsilon$-贪婪策略。
+
+### 7.3 降低偏移：双深度 Q-网络（Reducing Bias: Double Deep Q-network）[[2]](#ref2)
+
+DQN 中的最大值算子（算法 1 第 12 行）使用了相同的网络值来选择并评估一个动作，这个设定使得选择高估计值的可能性更大，并导致目标值估计过于乐观。 H. Van 等人在 [[2]](#ref2) 也展示了 DQN 算法在 Atari 2600 的某些游戏中存在严重的高估问题。为了避免高估并降低偏差，我们可以将动作选择与动作评估分离。
+
+回忆双 Q-学习（Double Q-learning），有两个状态-行为值函数，我们通过随机分配状态转移来更新这两个函数中的一个，从而产生两组不同的函数参数，分别记为 $\mathbf{w}$ 和 $\mathbf{w}'$。为了计算目标，我们用其中一个函数来选择贪婪动作，用另一个函数来评估其价值：
+$$
+y_t^{DoubleQ}=r_t+\gamma \hat{q}(s_{t+1},\mathop{\arg\max}_ {a'}\hat{q}(s_{t+1},a',\mathbf{w}),\mathbf{w}')。
+\tag{8}
+$$
+
+注意，我们根据函数参数 $\mathbf{w}$ 选择动作（$\mathop{\arg\max}$），根据另一组参数 $\mathbf{w}'$ 评估动作价值。
+
+在计算目标的过程中的通过将动作选择与动作评估分离从而避免高估的想法也可以被扩展到深度 Q-学习。DQN 结构中的目标网络在不引入额外网络的情况下，为第二个状态-行为值函数提供了一个自然的候选，同样地，贪婪动作是根据参数为 $\mathbf{w}$ 的在线网络生成的，但其值是根据参数为 $\mathbf{w}^-$ 目标网络估计的，这样产生的算法被称作双 DQN （Double DQN），它仅仅用下式替换了算法 1 的第 12 行：
+$$
+y_t^{DoubleDQN}=r_t+\gamma \hat{q}(s_{t+1},\mathop{\arg\max}_ {a'}\hat{q}(s_{t+1},a',\mathbf{w}),\mathbf{w}^-)。
+\tag{9}
+$$
+
+目标网络的更新与 DQN 保持不变，并定期地复制在线网络参数 $\mathbf{w}$，DQN 算法的其余部分保持不变。
+
+### 7.4 ：将值函数与优势函数分开：对抗网络（Decoupling Value and Advantage: Dueling Network）[[3]](#ref3)
+
+#### 7.4.1 对抗网络结构（The Dueling Network Architecture）
+
+在探索对抗式结构前，我们首先介绍一个重要的量：优势函数（advantage function），这个函数与状态值函数和 Q 函数有关（假设遵循策略 $\pi$）：
+$$
+A^{\pi}(s,a)=Q^{\pi}(s,a)-V^{\pi}(s)。
+\tag{10}
+$$
+
+因为 $V^{\pi}(s)=\mathbb{E}_ {a\sim\pi(s)}[Q^{\pi}(s,a)]$，我们有 $\mathbb{E}_{a\sim\pi(s)}[A^{\pi}(s,a)]=0$。直观地说，优势函数从 Q 函数减去了状态值函数，得到了每个动作的重要性的相对度量。
+
+就像 DQN 那样，对抗网络也是一个为了学习 Q 函数的 DNN 近似函数。不同的是，它通过将值函数和优势函数分开来近似 Q 函数，图 3 比较了对抗网络的结构和 DQN 的结构。
+
+
+
+
+图 3：深度 Q 网路（顶部）和对抗 Q 网络（底部）。对抗网络分别估计状态值函数 $V(s)$（标量）和优势函数 $A(s,a)$（对每个动作）；绿色的输出模块执行式（[13](#eq13)）以将这两个输出合并。两个网络都为每个动作输出 Q 值。
+
+
+对抗网络的底层是卷积神经网络，然而，它使用了两个全连接层来估计 Q 值，而不是用一个全连接层。其中一个层提供状态值函数，另一个层对每个可行的动作估计优势函数，最后，将这两个层合并以得到近似的 Q 函数。像 DQN 那样，网络的输出为 Q 值向量，每个元素对应一个动作。
+
+注意，由于对抗网络的输入和最终输出（两个层的合并）和原始的 DQN 一样，所以上面介绍的训练算法（算法 1）也可以被用来训练对抗网络。分开的两个层是根据作者的观察或灵感来设计的：
+
+$\bullet$ 对于许多状态，我们并不一定要估计所有可能的动作的价值。在某些状态时，动作的选择非常重要；而在很多状态下，选择什么动作对接下来发生的事情并没有影响。另一方面，对每个状态的价值估计对基于引导的算法（如 Q 学习）而言非常重要。
+
+$\bullet$ 确定价值函数所需的特征可能不同于用于准确估计动作价值的特征。
+
+将两个全连接层合并来估计 Q 值并不是一项简单的任务，实际上，这个合并模块（aggregating module）（图 3 中的绿线）需要非常周到的设计，我们将在下一小节介绍这一点。
+
+#### 7.4.2 Q 值估计（Q-value Estimation）
+
+根据优势函数（10）的定义，我们有 $Q^{\pi}(s,a)=A^{\pi}(s,a)+V^{\pi}(s)$，以及 $\mathbb{E}_ {a\sim\pi(s)}[A^{\pi}(s,a)]=0$。另外，对于确定性策略（deterministic policy）（常用于基于值的深度 RL），$a^{\ast}=\mathop{\arg\max}_{a'\in A}Q(s,a')$，由于 $Q(s,a^{\ast})=V(s)$，我们有 $A(s,a^{\ast})=0$，这种情况下，贪婪动作的优势函数为零。
+
+考虑图 3 中的对抗网络结构，记其中一个全连接层的标量值函数输出为 $\hat{v}(s,\mathbf{w},\mathbf{w}_ {\mathbf{V}})$，记另一个全连接层的向量优势函数输出为 $A(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}})$，这里我们用 $\mathbf{w}$ 表示卷积层的共享参数，用 $\mathbf{w}_ {\mathbf{V}}$ 和 $\mathbf{w}_ {\mathbf{A}}$ 表示两个全连接层的参数，那么。合并模块的最简单的设计方式可能就是下式这样：
+
+
+$$
+\hat{q}(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}},\mathbf{w}_ {\mathbf{V}})=\hat{v}(s,\mathbf{w},\mathbf{w}_ {\mathbf{V}})+A(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}})。
+\tag{11}
+$$
+
+
+这样设计的主要问题是式（[11](#eq11)）不是无法确认的，给定 $\hat{q}$，我们不能唯一地得到 $\hat{v}$ 和 $A$，比如，将 $\hat{v}$ 加上一个常数并将 $A$ 减去一个相同的常数，我们能得到一样的 Q 值估计。无法确认的问题在实践中会导致差的表现。
+
+为了使 Q 函数是可以确认的，回忆上面讨论的确定性策略的情况，我们可以强制优势函数在选择的动作下的估计为零，那么，我们有：
+
+
+$$
+\hat{q}(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}},\mathbf{w}_ {\mathbf{V}})=\hat{v}(s,\mathbf{w},\mathbf{w}_ {\mathbf{V}})+(A(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}}) - \mathop{\max}_ {a'\in A}A(s,a',\mathbf{w},\mathbf{w}_{A}))。
+\tag{12}
+$$
+
+
+对于一个确定性策略，$a^{ast}=\mathop{\arg\max}_ {a'\in A}\hat{q}(s,a',\mathbf{w},\mathbf{w}_ {\mathbf{A}},\mathbf{w}_ {\mathbf{V}})=\mathop{\arg\max}_ {a'\in A}A(s,a',\mathbf{w},\mathbf{w}_ {\mathbf{A}})$，式（[12](#eq12)）说明 $\hat{q}(s,a^{ast},\mathbf{w},\mathbf{w}_ {\mathbf{A}}=\hat{v}(s,\mathbf{w},\mathbf{w}_ {\mathbf{V}})$，因此，全连接层输出的 $\hat{v}$ 为值函数的估计，另一个全连接层的输出 $A$ 为优势函数的估计。
+
+[[3]](#ref3) 中作者还提出了另一种合并模块的设计：用平均算子代替最大值算子，
+
+
+$$
+\hat{q}(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}},\mathbf{w}_ {\mathbf{V}})=\hat{v}(s,\mathbf{w},\mathbf{w}_ {\mathbf{V}})+(A(s,a,\mathbf{w},\mathbf{w}_ {\mathbf{A}}) - \frac{1}{|A|}A(s,a',\mathbf{w},\mathbf{w}_{A}))。
+\tag{13}
+$$
+
+
+尽管这种设计在某种意义上失去了 $\hat{v}$ 和 $A$ 的原始含义，但作者认为它提升了学习的稳定性：优势函数只需要随着平均值的变化而变化，而不必对最优动作的优势函数的改变做出补偿，因此，对抗网络 [[3]](#ref3) 中的合并模块是根据式（[13](#eq13)）实现的，当做出动作时，通过评估优势函数便足以做出决策。
+
+对抗网络的优点在于它能够有效地逼近价值函数，动作的数量越多，这一优点相对单个全连接层的 Q 网络而言就越为明显，并且在 2016 年，对抗网络就在 Atari 游戏上取得了最佳结果。
+
+## 参考文献
+
+1. V. Mnih et al., "Human-level control through deep reinforcement learning," *Nature* 518(7540): 529-533, 2015.
+
+2. H. van Hasselt, A. Guez, and D. Silver, "Deep reinforcement learning with double q-learning," *AAAI*, 2016.
+
+3. Z. Wang et al., "Dueling network architectures for deep reinforcement learning," *arXiv preprint arXiv: 1511.06581*, 2015.
+
+4. M. G. Bellemare et al., "The arcade learning environment: an evaluation platform for general agents," *IJCAI*, 2015.
+
+5. A. Krizhevsky, I. Sutskever, and G. F. Hinton, "Imagenet classification with deep convolutional neural networks," *NIPS*, 2012.
+
+6. V. Nair, and G. E. Hinton, "Rectified linear units improve restricted boltzmann machines," *ICML*, 2010.
+
+7. T. Schaul et al., "Prioritized experience replay," *arXiv preprint arXiv: 1511.05952*, 2016.
\ No newline at end of file
diff --git a/docs/stanford-cs234-notes-zh/7.md b/docs/stanford-cs234-notes-zh/7.md
new file mode 100644
index 0000000000000000000000000000000000000000..79cc14d7d96127bb9d805e1594040320378ac461
--- /dev/null
+++ b/docs/stanford-cs234-notes-zh/7.md
@@ -0,0 +1,198 @@
+# Lecture 7 Imitation Learning
+
+# 课时7 模仿学习 2019.01.30
+
+## 8. 介绍（Introduction）
+
+强化学习中有一些必须克服的理论和实践上的障碍，包括优化、延迟的影响、如何探索以及如何归纳。然而，重要的是，我们希望能够处理上述所有困难，同时保证数据效率和计算效率。
+
+我们将在课程后后面部分讨论有效探索的一般方法，这些方法能够处理一般的 MDPs。但是，如果我们知道问题的结构，或者我们有可以使用的外部知识，我们就可以更有效地探索。本次课我们讨论如何模仿和学习人类（专家）在任务上的行为。
+
+## 9. 模仿学习（Imitation Learning）
+
+过去我们的目标是从奖励中学习策略，这些奖励通常非常稀疏（sparse），例如，一个简单的奖励信号可能是行为体是否赢得了一场游戏。这种方法在数据便宜且易于收集的情况下是成功的，然而，当数据收集速度较慢、必须避免失败（如自动驾驶）或必须保证安全时，这种方法就不是可行的。
+
+缓解稀疏奖励问题的一种途径是手动设计在时间上密集的奖励函数，然而，这种方法需要人来手工设计奖励函数，并记住所需的行为，因此，最好通过模仿执行相关任务的行为体来学习。
+
+### 9.1 从示范中学习（Learning from Demonstration）
+
+一般来说，专家们提供了一组演示轨迹（demonstration trajectories），这些轨迹是状态和动作的序列。更正式地，我们假设已知：
+
+$\bullet$ 状态空间，动作空间；
+
+$\bullet$ 状态转移模型 $P(s'|s,a)$；
+
+$\bullet$ 奖励函数 $R$ 未知；
+
+$\bullet$ 一个或多个演示 $(s_0,a_0,s_1,a_1,...)$，这里动作遵循策略 $\pi^{\ast}$。
+
+## 10. 行为克隆（Behavioral Cloning）
+
+
+我们能否通过有监督学习来学习策略？
+
+
+
+行为克隆是为了通过有监督学习去学习策略。具体来说，我们固定一个策略的类，目的是在已知数据 ${(s_0,a_0),(s_1,a_1),...}$ 时，学习一个将状态映射到动作的策略。一个值得注意的例子是 ALVINN，它学会了将传感器输入映射到转向角。
+
+这种方法的一个挑战是状态空间的数据不是 i.i.d.（独立同分布，independent and identically distributed）的，i.i.d. 的假设是有监督学习文献和理论的标准。然而，在 RL 环境中，错误是复杂的；这些错误会随着事件过程不断累积。用于被学习的策略的数据会紧紧围绕专家的轨迹，如果犯了一个错误，而且这个错误使得行为体处于专家没有访问过的状态，那么行为体就没有可以从中学习策略的数据。在这种情况下，与标准 RL 中的线性标度相反，误差在片段中呈四次标度（the error scales quadratically）。
+
+### 10.1 DAGGER：数据聚集（DAGGER: Dataset Aggregation）
+
+数据聚集（DAGGER，算法 1，[[1]](#ref1)）的目的是通过为新访问的状态添加数据来缓解错误的复杂化问题。与假设存在预先定义好的专家演示相反，我们假设我们可以通过专家来生成更多的数据。当然，这么做的局限之处在于，专家必须能够提供标签，有时还应该是实时的。
+
+
+
+## 11. 逆强化学习（Inverse Reinforcement Learning, IRL）
+
+
+我们能否复原奖励函数 $R$？
+
+
+
+在逆强化学习中（也被称为逆最优控制（inverse optimal control）），我们的目标是基于专家演示来学习奖励函数（未知）。如果不假设演示的最优性，这个问题是很难解决的，因为任何奖励函数都可能产生观测到的轨迹。
+
+### 11.1 线性特征奖励的逆强化学习(Linear Feature Reward Inverse RL)
+
+我们考虑表示为特征的线性组合的奖励：
+$$
+R(s)=\omega^{\text{T}}x(s)，
+\tag{1}
+$$
+
+这里 $\omega\in \mathbb{R}^n$，$x:S\rightarrow \mathbb{R}^n$。在这种情况下，IRL 问题是给定一组演示时，确定权重向量 $\omega$。由此生成的关于策略 $\pi$ 的价值函数可以表示为：
+$$
+V^{\pi}(s)=\mathbb{E}_ {\pi}[\sum_{t=0}^{\infty}\gamma^tR(s_t)|s_0=s]
+\tag{2}
+$$
+
+$$
+=\mathbb{E}_ {\pi}[\sum_{t=0}^{\infty}\gamma^t\omega^{\text{T}}x(s_t)|s_0=s]
+\tag{3}
+$$
+
+$$
+=\omega^{\text{T}}\mathbb{E}_ {\pi}[\sum_{t=0}^{\infty}\gamma^tx(s_t)|s_0=s]
+\tag{4}
+$$
+
+$$
+=\omega^{\text{T}}\mu(\pi)，
+\tag{5}
+$$
+
+这里 $\mu(\pi|s_0=s)\in\mathbb{R}^n$ 为基于策略 $\pi$ 的状态特征 $x(s)$ 的衰减加权和。注意：
+$$
+\mathbb{E}_ {\pi^{\ast}}[\sum_{t=0}^{\infty}\gamma^tR^{\ast}(s_t)|s_0=s]\geq \mathbb{E}_ {\pi}[\sum_{t=0}^{\infty}\gamma^tR^{\ast}(s_t)|s_0=s] \quad \forall\pi，
+\tag{6}
+$$
+
+这里 $R^{\ast}$ 为最优奖励函数。因此，如果专家演示是最优的（即动作是基于最优策略生成的），那么我们找到满足下式的 $\omega^{\ast}$ 就能够确定 $\omega$：
+$$
+\omega^{\ast\text{T}}\mu(\pi^{\ast}|s_0=s) \geq \omega^{\ast\text{T}}\mu(\pi|s_0=s) \quad \forall\pi，\forall s。
+\tag{7}
+$$
+
+从某种意义上说，我们希望找到奖励函数的一种参数化形式，使得专家策略的表现优于其他策略。
+
+## 12. 学徒制学习（Apprenticeship Learning）
+
+
+我们能否通过复原的奖励函数来生成好的策略？
+
+
+
+为使策略 $\pi$ 表现得和专家策略 $\pi^{\ast}$ 一样好，只需要这个策略的特征的衰减加权和的期望与专家策略相匹配 [[2]](#ref2)。更准确地说，如果
+$$
+\lVert \mu(\pi|s_0=s)-\mu(\pi^{\ast}|s_0=s) \rVert _1 \leq \epsilon，
+\tag{8}
+$$
+
+那么对于所有满足 $\lVert \omega \rVert _\infty \leq 1$ 的 $\omega$，根据 Cauchy-Schwartz 不等式，我们有
+$$
+|\omega^{\text{T}}\mu(\pi|s_0=s)-\omega^{\text{T}}\mu(\pi^{\ast}|s_0=s)|\leq\epsilon。
+$$
+
+由这一结论我们可以得到算法 2 ，通过算法 2 来学习一个表现得像专家策略一样好的策略（细节请参考 [[2]](#ref2)）。
+
+
+
+在实践中，这种方法存在一些问题：
+
+$\bullet$ 如果专家策略是次优的，那么得到的策略就是一些武断的策略的混合，这些策略在其凸包（convex hull）中具有专家策略的性质。在实践中，实践者可以选择这个集合中的最佳策略并选择对应的奖励函数；
+
+$\bullet$ 这种方法需要在给定奖励函数的情况下，能够计算出最优策略，然而这个要求可能是昂贵或不可能的；
+
+$\bullet$ 有无穷多的奖励函数具有相同的最优策略，并且有无穷多的策略能够匹配特征。
+
+### 12.1 最大熵的逆强化学习（Maximum Entropy Inverse RL）
+
+为解决歧义问题（problem of ambiguity），Ziebart 等人 [[3]](#ref3) 引入了最大熵（Maximum Entropy, MaxEnt）IRL。考虑确定性 MDP 中所有可能的 $H$-步轨迹，对于线性奖励模型，一个策略完全由其在轨迹上的分布来描述。鉴于此，给定 $m$ 个分布，我们应该选择哪种策略？
+
+我们再次假设奖励函数为特征的线性函数 $R(s)=\omega^{\text{T}}x(s)$。记轨迹 $j$ 为 $\tau_j$，我们可以把这个轨迹的特征写成：
+$$
+\mu_{\tau_j}=\sum_{s_i\in\tau_j}x(s_i)。
+\tag{9}
+$$
+
+对 $m$ 个轨迹求平均，我们可以将平均特征写为：
+$$
+\tilde{\mu}=\frac{1}{m}\sum_{j=1}^{m}\mu_{\tau_j}。
+\tag{10}
+$$
+
+最大熵定理（Principle of Maximum Entropy）[[4]](#ref4) 鼓励选择这样一个分布：除了与示范数据集中的特征期望相匹配外，没有其他偏好，即
+$$
+\mathop{\max}_P -\sum _{\tau}P(\tau)\log P(\tau)，
+\tag{11}
+$$
+
+$$
+\text{s.t.} \quad \sum_{\tau}P(\tau)\mu_{\tau}=\tilde{\mu}，
+\tag{12}
+$$
+
+$$
+\sum_{\tau}P(\tau)=1。
+\tag{13}
+$$
+
+在线性奖励的情况下，这相当于指定权重 $\omega$，使 $\omega$ 产生有最大熵的策略同时与特征期望匹配。在观测数据的特征约束下，路径分布的熵的最大化意味着在最大熵（指数族）分布下观测数据可能性的最大化：
+$$
+P(\tau_j|\omega)=\frac{1}{Z(\omega)}\text{exp}(\omega^{\text{T}}\mu_{\tau_j})=\frac{1}{Z(\omega)}\text{exp}(\sum_{s_i\in\tau_j}\omega^{\text{T}}x(s_i))，
+$$
+这里，
+
+$$
+Z(\omega,s)=\sum_{\tau{s}}\text{exp}(\omega^{\text{T}}\mu_{\tau_s})。
+$$
+
+这就产生了对低成本路径的强烈偏好，而等成本路径是同等可能的。许多我们关注的 MDPs 是随机的，在这些情况下，路径的分布取决于奖励权重和动态
+$$
+P(\tau_j|\omega,P(s'|s,a))\approx \frac{\text{exp}(\omega^{\text{T}}\mu_{\tau_j})}{Z(\omega,P(s'|s,a))} \prod_{s_i,a_i\in\tau_j}P(s_{i+1}|s_i,a_i)。
+$$
+
+通过最大化数据的可能性来学习权重 $\omega$：
+
+$$
+\omega^{\ast}=\mathop{\arg\max}_ {\omega}L(\omega)=\mathop{\arg\max}_ {\omega}\sum_{\text{examples}}\log P(\tau|\omega)。
+$$
+
+梯度为经验特征的期望与学习者的特征期望之间的差异，学习者的特征期望可以表示为期望的状态访问频率：
+$$
+\nabla L(\omega)=\tilde{\mu}-\sum_{\tau} P(\tau|\omega)\mu_{\tau} = \tilde{\mu}-\sum_{s_i} D(s_i)x(s_i)，
+$$
+
+这里 $D(s_i)$ 表示状态访问频率。这种方法有深远的影响，它提供了一种在许多可能的奖励函数中进行选择的原则性方法。然而，算法的原始公式需要状态转移模型或能够通过仿真/实际实验来收集状态转移模型的样本。
+
+
+
+## 参考文献
+
+1. S. Ross, G. J. Gordon, and J. A. Bagnell, "A reduction of imitation learning and structured prediction to no-regret online learning," *Proceedings of the 14th International Conference on Artificial Intelligence and Statistics*, 2011.
+
+2. P. Abbeel, and A. Y. Ng, "Apprenticeship learning via inverse reinforcement learning," *Proceedings of the 21st International Conference on Machine Learning*, 2004.
+
+3. B. D. Ziebart et al., "Maximum entropy inverse reinforcement learning," *Association for the Advancement of Artificial Intelligence*, 2008.
+
+4. E. T. Jaynes, "Information theory and statistical mechanics," *Physical Review*, 1957.
\ No newline at end of file
diff --git a/docs/stanford-cs234-notes-zh/8&9.md b/docs/stanford-cs234-notes-zh/8&9.md
new file mode 100644
index 0000000000000000000000000000000000000000..45744ddbdf805701af826c163b8e8208fa9c355d
--- /dev/null
+++ b/docs/stanford-cs234-notes-zh/8&9.md
@@ -0,0 +1,516 @@
+# Lecture 8&9 Policy Gradient
+
+# 课时8&9 策略梯度 2019.02.04 & 2019.02.06
+
+## 1. 策略搜索介绍（Introduction to Policy Search）
+
+到目前为止，为学习策略，我们主要研究了基于值的（value-based）方法，在这类方法中，我们以参数 $\theta$ 的函数来近似最优状态值函数或状态-行为值函数：
+$$
+V_{\theta}(s)\approx V^{\pi}(s)，
+$$
+
+$$
+Q_{\theta}(s,a)\approx Q^{\pi}(s,a)，
+$$
+然后通过 $V_{\theta}$ 或 $Q_{\theta}$ 得到策略，即 $\epsilon$-贪婪策略。我们也可以使用基于策略的（policy-based）方法来直接将策略参数化：
+$$
+\pi_{\theta}(a|s)=\mathbb{P}[a|s;\theta]。
+$$
+
+在这种设定中，我们的目标是根据最大的值函数 $V^{\pi}$ 来直接找到策略，而不是先找到基于最优策略的值函数，再从中得到策略。我们将考虑参数化的随机策略，而不是那种从状态到动作的查表式策略。找到一个好的策略需要以下两点：
+
+$\bullet$ 好的策略参数化形式：我们的函数近似和状态/动作表达形式必须是充分的；
+
+$\bullet$ 有效的搜索：我们必须能够为我们的策略函数近似找到好的参数。
+
+基于策略的 RL 相比基于值的 RL 而言有一些优点：
+
+$\bullet$ 更好的收敛性（见 Sutton and Barto 的第 13.3 章）；
+
+$\bullet$ 高维或连续动作空间下的有效性，比如机器人，第 6.2 节介绍了处理连续动作空间的一种方法；
+
+$\bullet$ 学习随机策略的能力（见后面部分）。
+
+基于策略的 RL 方法的缺点是：
+
+$\bullet$ 由于依赖于梯度下降，它们通常收敛于局部最优策略，而不是全局最优策略；
+
+$\bullet$ 评估一个策略通常是数据效率低下或方差很大的。
+
+## 2. 随机策略（Stochastic Policies）
+
+本节我们将简要介绍两种环境，这两种环境中，随机策略优于任何的确定性策略。
+
+### 2.1 石头-剪刀-布（Rock-paper-scissors）
+
+作为一个相关的例子，在流行的剪刀-石头-布（和为零）游戏中，任何非均匀随机的策略：
+$$
+P(\text{rock}|s)=1/3
+$$
+
+$$
+P(\text{scissors}|s)=1/3
+$$
+
+$$
+P(\text{paper}|s)=1/3
+$$
+都可被利用。
+
+### 2.2 网格世界（Aliased Gridworld）
+
+
+
+
+图 1：在这个部分可观测的网格环境中，行为体无法区分灰色状态。
+
+
+在图 1 的网格世界环境中，假设行为体可以向四个基本的方向移动，即动作空间为 $A={N,S,E,W}$。假设它只能感知当前位置周围的墙，具体而言，它观察每个方向的以下形式的特征：
+$$
+\phi(s)=\begin{bmatrix} \mathbf{1}(\text{wall to N}) \\ \cdots \\ \mathbf{1}(\text{wall to W}) \\ \end{bmatrix}。
+$$
+
+注意，它的观测结果并不能完全代表环境，因为它不能区分两个灰色的方块，这也意味着它的域不是马尔可夫的。因此，确定性策略必须要么学会在灰色方块中一直向左走，要么一直向右走。由于行为体可能陷在环境中的某个角落，所以这两种策略都不是最优的：
+
+
+
+
+图 2：对于这个确定性策略，行为体无法“逃离”左上的两个状态。
+
+
+而随机策略则可以学习在灰色的状态下随机选择一个方向，从而保证对于任何起始位置，它最终都能获得奖励。一般来说，随机策略有助于克服对抗或非平稳域（adversarial or non-stationary domain）以及状态表示为非马尔可夫的情况。
+
+
+
+
+图 3：在灰色状态下以等概率采取动作 $E$ 或 $W$ 的随即策略将在几个时间步内以高概率到达目标处。
+
+
+# 3. 策略优化（Policy Optimization）
+
+## 3.1 策略目标函数（Policy Objective Function）
+
+定义了一个策略 $\pi_{theta}(a|s)$ 后，我们需要能够衡量它的表现，以便优化它。在片段式环境（episodic environment）中，一种度量量是策略的起始价值（start value of the policy），即起始状态的期望价值：
+$$
+J_1(\theta)=V^{\pi_{\theta}}(s_1)=\mathbb{E}_ {\pi_{\theta}}[v_1]。
+$$
+
+在连续环境中，我们可以使用策略的平均价值（average value of the policy）作为度量量，这里 $d^{\pi_{\theta}}(s)$ 为 $\pi_{\theta}$ 的稳态分布（stationary distribution）：
+$$
+J_{avV}(\theta)=\sum_s d^{\pi_{\theta}}(s)V^{\pi_{\theta}}(s)，
+$$
+也可以使用每时间步的平均奖励（average value per time-step）：
+$$
+J_{avR}(\theta)=\sum_s d^{\pi_{\theta}}(s) \sum_a \pi_{\theta}(a|s)R(s,a)。
+$$
+
+本课程中，我们讨论片段式的情况，但我们得到的所有结果都可以很容易地被推广到非片段式的情况。我们还将关注衰减因子 $\gamma=1$ 的情况，同样地，结果也可以很容易地被推广到一般的 $\gamma$。
+
+## 3.2 优化方法（Optimization Methods）
+
+利用目标函数，我们可以将基于策略的强化学习问题转化为优化问题。本课程中，我们关注梯度下降，因为最近这是基于策略的强化学习方法的最常用的优化方法。但一些无梯度优化方法（gradient-free optimization methods）也值得考虑，包括：
+
+$\bullet$ 爬山（Hill climbing）
+
+$\bullet$ 单纯形法 / amoeba / Nelder Mead（Simplex / amoeba / Nelder Mead）
+
+$\bullet$ 遗传算法（Genetic algorithms）
+
+$\bullet$ 交叉熵方法（Cross-entropy methods, CEM）
+
+$\bullet$ 协方差矩阵自适应（Covariance matrix adaption, CMA）
+
+$\bullet$ 进化策略（Evolution strategies）
+
+与基于梯度的方法相比，这些方法的优点是不需要计算目标函数的梯度，这就允许了参数化策略可以是不可导的，而且通常也很容易并行化这些方法。无梯度方法通常是个有用的基线，有时候这些方法的表现出奇的好 [[1]](#ref1)。然而，由于这些方法忽略了奖励的时间结构，即更新只考虑整个片段的总奖励，而不会将奖励分解为轨迹中的每个状态的奖励，因此它们通常不是数据高效的（见 4.3 节）。
+
+# 4. 策略梯度（Policy Gradient）
+
+定义 $V(\theta)$ 为我们希望基于 $\theta$ 最大化的目标函数。策略梯度的方法通过提升策略的梯度来搜索基于 $\theta$ 的 $V(\theta)$ 的局部最大值：
+
+$$
+\Delta\theta=\alpha\nabla_{\theta}V(\theta)，
+$$
+
+这里 $\alpha$ 为步长，$\nabla_{\theta}V(\theta)$ 为策略梯度：
+
+$$
+\nabla_{\theta}V(\theta)=\begin{pmatrix} \frac{\partial V(\theta)}{\partial \theta_1} \\ \cdots \\ \frac{\partial V(\theta)}{\partial \theta_n} \\ \end{pmatrix}。
+$$
+
+## 4.1 梯度计算（Computing the Gradient）
+
+根据以上这些设定，我们需要做的事仅剩下计算目标函数 $V(\theta)$ 的梯度，然后我们就可以将其优化。微积分的有限差分法（finite difference）提供了梯度的近似：
+
+$$
+\frac{\partial V(\theta)}{\partial \theta_k} \approx \frac{V(\theta + \epsilon u_k)-V(\theta)}{\epsilon}，
+$$
+
+这里 $u_k$ 为第 $k$ 个元素为 $1$，其余元素为 $0$ 的单位向量。这个方法使用 $n$ 个评价来计算 $n$ 维的策略梯度，因此效率很低，而且通常仅提供真实策略梯度的有噪声的近似。然而，它的优点是适用于不可导的策略。[[2]](#ref2) 成功使用了该方法去训练 AIBO 机器人步态。
+
+### 4.1.1 解析梯度（Analytic Gradients）
+
+令目标函数 $V(\theta)$ 为一个片段的期望奖励：
+
+$$
+V(\theta)=\mathbb{E}_ {(s_t,a_t)\sim \pi_{\theta}}[\sum_{t=0}^{T}R(s_t,a_t)]=\mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)]=\sum_{\tau}P(\tau;\theta)R(\tau)，
+$$
+
+这里 $\tau$ 为轨迹：
+
+$$
+\tau=(s_0,a_0,r_0,...,s_{T-1},a_{T-1},r_{T-1},s_T)，
+$$
+
+$P(\tau;\theta)$ 为遵循策略 $\pi_{\theta}$ 时轨迹的概率，$R(\tau)$ 为一个轨迹的奖励和。注意这个目标函数与 3.1 节中提到的起始价值（start value）$J_1(\theta)$ 一样（$\gamma=1$ 时）。
+
+如果我们可以用数学方法计算策略梯度 $\nabla_{\theta}\pi_{\theta}(a|s)$，那么我们就可以直接计算这个目标函数相对于 $\theta$ 的梯度：
+
+$$
+\nabla_{\theta}V(\theta)=\nabla_{\theta} \sum_{\tau}P(\tau;\theta)R(\tau)
+\tag{1}
+$$
+
+$$
+=\sum_{\tau}\nabla_{\theta}P(\tau;\theta)R(\tau)
+\tag{2}
+$$
+
+
+$$
+=\sum_{\tau}\frac{P(\tau;\theta)}{P(\tau;\theta)}\nabla_{\theta}P(\tau;\theta)R(\tau)
+\tag{3}
+$$
+
+
+
+$$
+=\sum_{\tau}P(\tau;\theta)R(\tau) \frac{\nabla_{\theta}P(\tau;\theta)}{P(\tau;\theta)}
+\tag{4}
+$$
+
+
+$$
+=\sum_{\tau}P(\tau;\theta)R(\tau) \nabla_{\theta}\log P(\tau;\theta)
+\tag{5}
+$$
+
+
+$$
+=\mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)\nabla_{\theta} \log P(\tau;\theta)]。
+\tag{6}
+$$
+
+
+式（[4](#eq4)）中的 $\frac{\nabla_{\theta}P(\tau;\theta)}{P(\tau;\theta)}$ 也也被称为似然比（likelihood ratio）。
+
+式（[3](#eq3)）~（6）中的技巧有以下两点好处：首先，这些技巧帮助我们将梯度转化为 $\mathbb{E}_ {\tau \sim \pi_{\theta}}[...]$ 的形式，这使得我们可以通过采样轨迹 $\tau^{(i)}$ 来近似梯度：
+
+
+$$
+\nabla_{\theta}V(\theta) \approx \hat{g} = \frac{1}{m}\sum_{i=1}^{m}R(\tau^{(i)})\nabla_{\theta}\log P(\tau^{(i)};\theta)；
+\tag{7}
+$$
+
+
+其次，计算 $\nabla_{\theta}\log P(\tau^{(i)};\theta)$ 比直接计算 $P(\tau^{(i)};\theta)$ 容易：
+
+$$
+\nabla_{\theta}\log P(\tau^{(i)};\theta) = \nabla_{\theta}\log [\underbrace{\mu(s_0)}_ {\text{initial state distribution}} \prod_{t=0}^{T-1} \underbrace{\pi_{\theta}(a_t|s-t)}_ {\text{policy}} \underbrace{P(s_{t+1}|s_t,a_t)}_{\text{dynamics model}}]
+\tag{8}
+$$
+
+$$
+= \nabla_{\theta} [\log \mu(s_0) + \sum_{t=0}^{T-1}\log \pi_{\theta}(a_t|s_t) + \log P(s_{t+1}|s_t,a_t)]
+\tag{9}
+$$
+
+
+$$
+= \sum_{t=0}^{T-1} \underbrace{\nabla_{\theta}\log \pi_{\theta}(a_t|s_t)}_{\text{no dynamics model required!}}。
+\tag{10}
+$$
+
+
+处理 $\log P(\tau^{(i)};\theta)$ 而不是 $P(\tau^{(i)};\theta)$ 使得我们可以在不参考初始状态，甚至不参考环境动态模型的情况下表示梯度！
+
+将式（[7](#eq7)）和式（[10](#eq10)）结合，我们得到：
+
+$$
+\nabla_{\theta}V(\theta) \approx \hat{g} = \frac{1}{m}\sum_{i=1}^{m}R(\tau^{(i)}) \sum_{t=0}^{T-1}\nabla_{\theta}\log \pi_{\theta}(a_t^{(i)}|s_t^{(i)})，
+$$
+
+我们可以将其转化为优化 $\pi_{\theta}$ 的具体算法（第 5 部分）。在这之前，我们要提及这个结果的广义版本，并讨论利用将 $R(\tau^(i))$ 分解为奖励项 $r_t^{(i)}$ 之和来优化上述推导（4.3 节）。
+
+## 4.2 策略梯度定理（The Policy Gradient Theorem）
+
+**定理 4.1** 对于所有的可导策略 $\pi_{\theta}(a|s)$ 和所有的策略目标函数 $V(\theta)=J_1$，$J_{avR}$ 或 $\frac{1}{1-\gamma}J_{avV}$，策略梯度为：
+
+$$
+\nabla_{\theta}V(\theta)=\mathbb{E}_ {\pi_{\theta}}[Q^{\pi_{\theta}}(s,a)\nabla_{\theta}\log \pi_{\theta}(a|s)]。
+$$
+
+我们不详细讨论这个更一般的定理的推导，但本课程中讨论的相同的概念同样适用于非片段式（连续）的环境。到目前为止，我们用片段的总奖励 $R(\tau)$ 代替了这个定理中的 Q 值，但在后面的内容中，我们将使用时间结构来把我们的结果转化为更像这个定理的形式，其中未来的回报 $G_t$（即 $Q(s,a)$ 的无偏估计）将取代 $Q^{\pi_{\theta}}(s,a)$。
+
+## 4.3 用奖励的时间形式求策略梯度（Using Temporal Structure of Rewards for the Policy Gradient）
+
+式（[6](#eq6)）可被表示为：
+
+
+$$
+\nabla_{\theta}V(\theta) = \nabla_{\theta} \mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)] = \mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)\sum_{t=0}^{T-1}\nabla_{\theta}\log \pi_{\theta}(a_t|s_t)]。
+\tag{11}
+$$
+
+
+注意，这里奖励 $R(\tau^{(i)}$ 为整个轨迹 $\tau^{(i)}$ 的函数，我们可以将其拆分为轨迹中得到的所有奖励的和：
+
+$$
+R(\tau) = \sum_{t=1}^{T-1}R(s_t,a_t)。
+$$
+
+这样，我们可以用推导式（[11](#eq11)）的同样的方法来推导单个奖励 $r_{t'}$ 的梯度估计：
+
+$$
+\nabla_{\theta} \mathbb{E}_ {\pi_{\theta}}[r_{t'}] = \mathbb{E}_ {\pi_{\theta}}[r_{t'}\sum_{t=0}^{t'} \nabla_{\theta} \log \pi_{\theta}(a_t|s_t)]。
+$$
+
+由于 $\sum_{t'=t}^{T-1}r_{t'}^{(i)}$ 就是回报 $G_t^{(i)}$，我们可以将其随时间步累加，从而得到：
+
+
+$$
+\nabla_{\theta} V(\theta) = \nabla_{\theta} \mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)] = \mathbb{E}_ {\pi_{\theta}}[\sum_{t'=0}^{T-1}r_{t'}\sum_{t=0}^{t'} \nabla_{\theta} \log \pi_{\theta}(a_t|s_t)]
+\tag{12}
+$$
+
+
+
+$$
+= \mathbb{E}_ {\pi_{\theta}}[\sum_{t=0}^{T-1} \nabla_{\theta} \log \pi_{\theta}(a_t|s_t) \sum_{t'=t}^{T-1}r_{t'}]
+\tag{13}
+$$
+
+
+$$
+= \mathbb{E}_ {\pi_{\theta}}[\sum_{t=0}^{T-1} G_t \nabla_{\theta} \log \pi_{\theta}(a_t|s_t)]。
+\tag{14}
+$$
+
+由于从式（[12](#eq12)）到式（[13](#eq13)）可能并不显而易见，所以我们来举个简单的例子。假设有一个包括三个时间步的轨迹，那么式（[12](#eq12)）就变成了：
+
+$$
+\nabla_{\theta} V(\theta) = \mathbb{E}_ {\pi_{\theta}}[r_0 \nabla_{\theta} \log\pi_{\theta}(a_0|s_0) +
+$$
+
+$$
+r_1(\nabla_{\theta} \log\pi_{\theta}(a_0|s_0) + \nabla_{\theta} \log\pi_{\theta}(a_1|s_1)) +
+$$
+
+$$
+r_2(\nabla_{\theta} \log\pi_{\theta}(a_0|s_0) + \nabla_{\theta} \log\pi_{\theta}(a_1|s_1) + \nabla_{\theta} \log\pi_{\theta}(a_2|s_2))]。
+$$
+
+重新组合这些项，我们可以得到：
+
+$$
+\nabla_{\theta} V(\theta) = \mathbb{E}_ {\pi_{\theta}}[\nabla_{\theta} \log\pi_{\theta}(a_0|s_0) (r_0+r_1+r_2) +
+$$
+
+$$
+\nabla_{\theta} \log\pi_{\theta}(a_1|s_1) (r_1+r_2) +
+$$
+
+$$
+\nabla_{\theta} \log\pi_{\theta}(a_2|s_2) (r_2)]，
+$$
+
+也就是说，式（[13](#eq13)）成立。其主要思想是，策略在特定时间步 $t$ 的选择仅影响在这个片段中的后续时间步获得的奖励，而不会影响先前时间步获得的奖励。式（[11](#eq11)）中的原始表达式并没有考虑这一点。
+
+我们将要在下一节的策略梯度算法中使用的表达式为：
+
+
+$$
+\nabla_{\theta} V(\theta) = \nabla_{\theta} \mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)] \approx \frac{1}{m}\sum_{i=1}^{m}\sum_{t=0}^{T-1}G_t^{(i)} \nabla_{\theta} \log \pi_{\theta}(a_t^{(i)}|s_t^{(i)})。
+\tag{15}
+$$
+
+
+# 5. REINFORCE：一个蒙特卡洛策略梯度算法（REINFORCE: A Monte Carlo Policy Gradient Algorithm）
+
+在前面的部分中，我们已经完成了第一个策略梯度算法的大部分工作，该算法对遵循策略 $\pi_{\theta}$ 的多个轨迹采样，同时根据式（[15](#eq15)）的梯度估计更新 $\theta$。
+
+
+
+# 6. 可导策略类（Differentiable Policy Classes)
+
+## 6.1 离散动作空间：软最大值策略（Discrete Action Space: Softmax Policy）
+
+离散动作空间中，我们通常用软最大值函数（softmax function）来参数化策略：
+
+$$
+\pi_{\theta}(a|s)=\frac{e^{\phi(s,a)^{\text{T}}\theta}}{\sum_{a'} e^{\phi(s,a')^{\text{T}}\theta}}。
+$$
+
+则评价函数变为：
+
+$$
+\nabla_{\theta} \log \pi_{\theta}(a|s) = \nabla_{\theta} [\phi(s,a)^{\text{T}}\theta - \log \sum_{a'}e^{\phi(s,a')^{\text{T}}\theta}]
+$$
+
+$$
+= \phi(s,a) - \frac{1}{\sum_{a'}e^{\phi(s,a')^{\text{T}}\theta}} \nabla_{\theta} \sum_{a'}e^{\phi(s,a')^{\text{T}}\theta}
+$$
+
+$$
+= \phi(s,a) - \frac{1}{\sum_{a'}e^{\phi(s,a')^{\text{T}}\theta}} \sum_{a'} \phi(s,a')e^{\phi(s,a')^{\text{T}}\theta}
+$$
+
+$$
+= \phi(s,a) - \sum_{a'} \phi(s,a') \frac{e^{\phi(s,a')^{\text{T}}\theta}}{\sum_{a''}e^{\phi(s,a'')^{\text{T}}\theta}}
+$$
+
+$$
+= \phi(s,a) - \sum_{a'} \phi(s,a') \pi_{\theta}(a'|s)
+$$
+
+$$
+= \phi(s,a) - \mathbb{E}_ {a'\sim\pi_{\theta}(a'|s)}[\phi(s,a')]
+$$
+
+## 6.2 连续动作空间：高斯策略（Continuous Action Space: Gaussian Policy）
+
+对于连续动作空间，一个常用的选择是高斯策略：$a \sim \cal{N} (\mu(s),\sigma^2)$。
+
+$\bullet$ 动作的平均值为状态特征的线性组合：$\mu(s)=\phi(s)^{\text{T}}\theta$；
+
+$\bullet$ 方差 $\sigma^2$ 可以是固定的，也可以是参数化的。
+
+评价函数为：
+
+$$
+\nabla_{\theta} \log \pi_{\theta}(a|s) = \frac{(a-\mu(s))\phi(s)}{\sigma^2}。
+$$
+
+# 7. 根据基准减小方差（Variance Reduction with a Baseline）
+
+蒙特卡洛策略梯度算法的一个缺点是多个片段的回报 $G_t^{(i)}$ 的方差通常很大。解决这个问题的一种方法是从每个 $G_t^{(i)}$ 减去一个基准（baseline）$b(s)$，这个基准可以是任何函数，只要它不随 $a$ 的变化而变化。
+
+$$
+\nabla_{\theta} V(\theta) = \nabla_{\theta} \mathbb{E}_ {\tau \sim \pi_{\theta}}[R(\tau)] = \mathbb{E}_ {\pi_{\theta}}[\sum_{t=0}^{T-1}(G_t-b(s_t))\nabla_{\theta}\log\pi_{\theta}(a_t|s_t)]。
+$$
+
+首先，为什么我们要这样做？直观地说，我们可以认为 $(G_t-b(s_t))$ 是对时间步 $t$ 之后我们做得比预期的基准 $b(s_t)$ 要好多少的估计。所以，如果基准近似等于期望回报 $b(s_t)\approx \mathbb{E}[r_t+r_{t+1}+...+r_{T-1}]$，那么我们将按照回报 $G_t$ 比期望好多少，成比例地增大动作 $a_t$ 的对数概率（log-probability）。过去，我们按照 $G_t$ 的大小，成比例地增大对数概率，所以即使策略总是能达到期望回报，我们仍会采用梯度更新，这可能导致其发散。$(G_t-b(s_t))$ 通常被称为优势（advantage），$A_t$。我们可以根据一个采样的轨迹 $\tau^{(i)}$ 来估计真实的优势：
+
+$$
+\hat{A}_t=(G_t^{(i)}-b(s_t))。
+$$
+
+第二，为什么我们可以这样做？结果表明，用这种方式减去一个基准并不会在梯度计算中引入任何偏差。$\mathbb{E}_ {\tau}[b(s_t)\nabla_{\theta}\log \pi_{\theta}(a_t|s_t)]$ 为 $0$，因此不会影响梯度更新。
+
+$$
+\mathbb{E}_ {\tau\sim\pi_{\theta}}[b(s_t)\nabla_{\theta}\log \pi_{\theta}(a_t|s_t)]
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[\mathbb{E}_ {s_{(t+1):T},a_{t:(T-1)}}[\nabla_{\theta} \log \pi_{\theta}(a_t|s_t)b(s_t)]] \quad \text{（将期望拆开）}
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t)\mathbb{E}_ {s_{(t+1):T},a_{t:(T-1)}}[\nabla_{\theta} \log \pi_{\theta}(a_t|s_t)]] \quad \text{（提出基准项）}
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t)\mathbb{E}_ {a_t}[\nabla_{\theta} \log \pi_{\theta}(a_t|s_t)]] \quad \text{（移除无关变量）}
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t) \sum_{a_t} \pi_{\theta}(a_t|s_t)\frac{\nabla_{\theta}\pi_{\theta}(a_t|s_t)}{\pi_{\theta}(a_t|s_t)}] \quad \text{（将期望展开 + 对数函数求导）}
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t) \sum_{a_t} \nabla_{\theta}\pi_{\theta}(a_t|s_t)]
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t) \nabla_{\theta} \sum_{a_t} \pi_{\theta}(a_t|s_t)]
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t) \nabla_{\theta} 1]
+$$
+
+$$
+= \mathbb{E}_ {s_{0:t},a_{0:(t-1)}}[b(s_t) \cdot 0]
+$$
+
+$$
+= 0。
+$$
+
+## 7.1 普通策略梯度（Vanilla Policy Gradient）
+
+使用前面讨论的基准，这里我们介绍普通策略梯度（vanilla policy gradient）算法。假设基准函数的参数为 $\mathbf{w}$。
+
+
+
+状态值函数是基准的一个很自然的选择，$b(s_t)=V(s_t)$，这时优势函数为 $A^{\pi}(s,a)=Q^{\pi}(s,a)-V^{\pi}(s)$。然而，由于我们不知道真实的状态值，因此我们使用估计值 $\hat{V}(s_t;\mathbf{w})$ 来代替，这里 $\mathbf{w}$ 为权重向量。我们可以通过蒙特卡洛轨迹采样来同时学习基准函数（状态值函数）的权重向量 $\mathbf{w}$ 和策略的参数 $\theta$。
+
+注意，在算法 2 中，我们通常并不单独计算梯度 $\sum_t \hat{A}_ t \nabla_{\theta} \log \pi_{\theta}(a_t|s_t)$，而是将一个批的数据累积到损失函数中：
+
+$$
+L(\theta)=\sum_t \hat{A}_ t \log \pi_{\theta}(a_t|s_t)，
+$$
+
+然后通过计算 $\nabla_{\theta} L(\theta)$ 来计算梯度。我们也可以在这个损失函数中引入一个分量来拟合基准函数：
+
+$$
+L(\theta,\mathbf{w})=\sum_t (\hat{A}_ t \log \pi_{\theta}(a_t|s_t) - \parallel b(s_t)-G_t^{(i)} \parallel ^2)，
+$$
+
+然后我们可以计算 $L(\theta,\mathbf{w})$ 关于 $\theta$ 和 $\mathbf{w}$ 的梯度来执行 SGD 更新。
+
+## 7.2 N 步估计（N-step Estimators）
+
+在上面的推导中，为近似策略梯度，我们使用了奖励的蒙特卡洛估计。然而，如果我们能知道值函数（例如基准），那么我们也可以 TD 方法、或 TD 与 MC 的混合方法来进行策略梯度更新：
+
+$$
+\hat{G}_{t}^{(1)} = r_t + \gamma V(s_{t+1})
+$$
+
+$$
+\hat{G}_{t}^{(2)} = r_t + \gamma r_{t+1} + \gamma^2 V(s_{t+2})
+$$
+
+$$
+...
+$$
+
+$$
+\hat{G}_t^{(\text{inf})} = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + ...，
+$$
+
+我们也可以用这些方法来计算优势函数：
+
+$$
+\hat{A}_t^{(1)} = r_t + \gamma V(s_{t+1}) - V(s_t)
+$$
+
+$$
+\hat{A}_t^{(2)} = r_t + \gamma r_{t+1} + \gamma^2 V(s_{t+2}) - V(s_t)
+$$
+
+$$
+...
+$$
+
+$$
+\hat{A}_t^{(\text{inf})} = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} - V(s_t)，
+$$
+
+这里 $\hat{A}_t^{(1)}$ 是纯的 TD 估计，具有低方差、高偏移的特点，$\hat{A}_t^{(\text{inf})}$ 是纯的 MC 估计，具有零偏移、高方差的特点。如果我们选择一个中间值 $\hat{A}_t^{(k)}$，那么这个中间值的方差和偏移都是中间量。
+
+## 参考文献
+
+1. https://blog.openai.com/evolution-strategies/.
+
+2. N. Kohl, and P. Stone, "Policy gradient reinforcement learning for fast quadrupedal locomotion," *Proceedings of the IEEE International Conference on Robotics and Automation*, 2004.
\ No newline at end of file
diff --git a/docs/stanford-cs234-notes-zh/README.md b/docs/stanford-cs234-notes-zh/README.md
new file mode 100644
index 0000000000000000000000000000000000000000..1638330ddac0a5faa3c410eeeda534c8dff99e45
--- /dev/null
+++ b/docs/stanford-cs234-notes-zh/README.md
@@ -0,0 +1,38 @@
+# 斯坦福 cs234 强化学习中文讲义
+
+> 课程：[CS234: Reinforcement Learning Winter 2019](https://web.stanford.edu/class/cs234/schedule.html)
+>
+> 协议：[CC BY-NC-SA 4.0](http://creativecommons.org/licenses/by-nc-sa/4.0/)
+>
+> 做事所花费的时间总是比你预期的要长，即使你的预期中考虑了侯世达定律。——侯世达定律
+
++ [斯坦福 CS229 机器学习中文笔记](http://ai-start.com/ml2014/)
++ [DeepLearning.ai 深度学习中文笔记](http://ai-start.com/dl2017/)
++ [斯坦福 CS224n 自然语言处理中文笔记](https://github.com/apachecn/stanford-cs224n-notes-zh)
++ [UCB CS294-112 深度强化学习中文笔记](https://github.com/apachecn/ucb-cs294-112-notes-zh)
++ [ApacheCN 机器学习交流群 629470233](http://shang.qq.com/wpa/qunwpa?idkey=30e5f1123a79867570f665aa3a483ca404b1c3f77737bc01ec520ed5f078ddef)
++ [ApacheCN 学习资源](http://www.apachecn.org/)
+
+## 贡献指南
+
+项目当前处于翻译阶段，请查看[贡献指南](CONTRIBUTING.md)，并在[整体进度](https://github.com/apachecn/seaborn-doc-zh/issues/1)中领取任务。
+
+> 请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美，因此请不要担心因为翻译上犯错——在大部分情况下，我们的服务器已经记录所有的翻译，因此您不必担心会因为您的失误遭到无法挽回的破坏。（改编自维基百科）
+
+## 联系方式
+
+### 负责人
+
++ [飞龙](https://github.com/wizardforcel)：562826179
++ [Everglow0214](https://github.com/Everglow0214)
+
+### 其他
+
+* 认领翻译和项目进度-地址:
+* 在我们的 [apachecn/stanford-cs234-notes-zh](https://github.com/apachecn/stanford-cs234-notes-zh) github 上提 issue.
+* 发邮件到 Email: `apachecn@163.com`.
+* 在我们的 [组织学习交流群](http://www.apachecn.org/organization/348.html) 中联系群主/管理员即可.
+
+## 赞助我们
+
+
diff --git a/docs/stanford-cs234-notes-zh/SUMMARY.md b/docs/stanford-cs234-notes-zh/SUMMARY.md
new file mode 100644
index 0000000000000000000000000000000000000000..2559535b22c8fdd36bb13e5a74c9d5389dcb7812
--- /dev/null
+++ b/docs/stanford-cs234-notes-zh/SUMMARY.md
@@ -0,0 +1,11 @@
++ [斯坦福 cs234 强化学习中文讲义](README.md)
++ [Lecture 1 Introduction to Reinforcement Learning](1.md)
++ [Lecture 3 Model Free Policy Evaluation: Policy Evaluation Without Knowing How the World Works](3.md)
++ [Lecture 4 Model Free Control](4.md)
++ [Lecture 5 Value Function Approximation](5.md)
++ [Lecture 6 CNNs and Deep Q-learning](6.md)
++ [Lecture 7 Imitation Learning](7.md)
++ [Lecture 8&9 Policy Gradient](8&9.md)
++ [Lecture 10 Advanced Policy Gradient](10.md)
++ [Lecture 11&12 Exploration and Exploitation](11&12.md)
++ [Lecture 14 Model Based RL, Monte-Carlo Tree Search](14.md)
diff --git a/docs/stanford-cs234-notes-zh/img/fig11&12_1.png b/docs/stanford-cs234-notes-zh/img/fig11&12_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..8ea51e081328a22676bca33bcc58f60b7eae9d44
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig11&12_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig11&12_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig11&12_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..da7f54863f68c534457d5192a7c5680b22f761f2
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig11&12_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_1.png b/docs/stanford-cs234-notes-zh/img/fig14_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..8ef44bb61005150db7d6277dcb4d481cc1ae2723
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_2.png b/docs/stanford-cs234-notes-zh/img/fig14_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..aeca766d5962d39b1189ba7d52da0dd9c6c68d2e
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_3.png b/docs/stanford-cs234-notes-zh/img/fig14_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..58473c04abd654c1381c04d8b07e2279728d12bb
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_4.png b/docs/stanford-cs234-notes-zh/img/fig14_4.png
new file mode 100644
index 0000000000000000000000000000000000000000..78f3a50201279ce4352d2b8219f26c9542c1e57a
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_4.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig14_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..9be283abdd7460fe3a97694d28a9ce7bf6581072
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_alg_2.png b/docs/stanford-cs234-notes-zh/img/fig14_alg_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..46c79e3762044dd1c7bbadcebe6bfc66b6f81752
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_alg_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig14_alg_3.png b/docs/stanford-cs234-notes-zh/img/fig14_alg_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..3ec21516b114249bab5a1d1750a55e9b31534a1f
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig14_alg_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig1_1.png b/docs/stanford-cs234-notes-zh/img/fig1_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..91861553a4ff07461d8bc79e38ddf3d5cbb5f736
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig1_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig1_2.png b/docs/stanford-cs234-notes-zh/img/fig1_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..0b63264dd770c3e2af537664f0a94dcae01a0ae0
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig1_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig1_tab_1.png b/docs/stanford-cs234-notes-zh/img/fig1_tab_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..7ab310c57684c50136f78cd69e6bef0e7d05ea1b
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig1_tab_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_1.png b/docs/stanford-cs234-notes-zh/img/fig3_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..09b14490c08e6da2049198ed0a157a60c61c3240
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_2.png b/docs/stanford-cs234-notes-zh/img/fig3_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..bcbc4bf7b39ff1ea0ddbd09cac6a486acdfb948d
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_3.png b/docs/stanford-cs234-notes-zh/img/fig3_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..d170f9fd152de03cd33a81250e59d6a4d0ec19d6
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_4.png b/docs/stanford-cs234-notes-zh/img/fig3_4.png
new file mode 100644
index 0000000000000000000000000000000000000000..76a6b552edc21b1de50331d6a2ebc99976639655
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_4.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_5.png b/docs/stanford-cs234-notes-zh/img/fig3_5.png
new file mode 100644
index 0000000000000000000000000000000000000000..a93509a917f7d72e5ab679a4d74c318982251e6c
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_5.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..a6089a35c5f1094abe8814fb35540cc2a05b1906
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_2.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..1050f79ff507bfb543f1c6760930680cac5f0e34
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_3.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..ebe05b95b98da78a2c8229d5d4ea3181e3f4349d
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_4.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_4.png
new file mode 100644
index 0000000000000000000000000000000000000000..85f093488847de6227b738f9b8ef89d22e7749c6
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_4.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_5.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_5.png
new file mode 100644
index 0000000000000000000000000000000000000000..9009f6abeb4441e87c4709bda5d7311e02f3a8a2
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_5.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_alg_6.png b/docs/stanford-cs234-notes-zh/img/fig3_alg_6.png
new file mode 100644
index 0000000000000000000000000000000000000000..2691c632b642927cccc8c896b2155bb9b19c90b6
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_alg_6.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig3_tab_1.png b/docs/stanford-cs234-notes-zh/img/fig3_tab_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..cb920617b3cd04a40ca757db5b2fdedffd7ff2e3
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig3_tab_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..727548caa2694be2dc03428fcc568e1fc261baa4
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_2.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..7d49fc179414b17fbb720414a1859787f16cd44f
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_3.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..84476bad77615fff871495f7514e96e809ad8e31
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_4.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_4.png
new file mode 100644
index 0000000000000000000000000000000000000000..86bc6477603e55e3d343de529fa5a4155899f3e6
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_4.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_5.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_5.png
new file mode 100644
index 0000000000000000000000000000000000000000..6972c821f53db3db0c240ae9365be7d813564933
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_5.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig4_alg_6.png b/docs/stanford-cs234-notes-zh/img/fig4_alg_6.png
new file mode 100644
index 0000000000000000000000000000000000000000..ce2096528f7f0fabcc52c3a77e85d20f1d5bdbcc
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig4_alg_6.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig5_1.png b/docs/stanford-cs234-notes-zh/img/fig5_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..de3d0babf483644860dfa35e227ae1188f3c0689
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig5_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig5_2.png b/docs/stanford-cs234-notes-zh/img/fig5_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..8ec3ee3684a0ced36caa13f60d112db959f9659a
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig5_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig5_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig5_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..2d9b08cf979668bcbbf3e1c7fd2e6644f0d2baee
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig5_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig5_tab_1.png b/docs/stanford-cs234-notes-zh/img/fig5_tab_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..5c870e58615beb08178ce23ef81d72a2cf0f1e17
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig5_tab_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig6_1.png b/docs/stanford-cs234-notes-zh/img/fig6_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..90cb70a3a2ae177a9362db3c7bbf4487ddcc8589
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig6_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig6_2.png b/docs/stanford-cs234-notes-zh/img/fig6_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..102d8f145783c8cf2b5e6e13fc732ebe30abc70f
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig6_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig6_3.png b/docs/stanford-cs234-notes-zh/img/fig6_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..c710762a8fbddccd120c213866d8dfa00e246fe3
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig6_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig6_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig6_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..aa61e570b1bd09ddc220811a1b72cdfa65c00c72
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig6_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig7_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig7_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..305ed91cbca5db2cd9a9af5ad0a02243087f57b6
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig7_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig7_alg_2.png b/docs/stanford-cs234-notes-zh/img/fig7_alg_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..3cf1bcb75314f79469505029d5027c7bc1cc7781
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig7_alg_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig7_alg_3.png b/docs/stanford-cs234-notes-zh/img/fig7_alg_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..4048ceef70ca3eeb3837c738fb9a0a692a84a10d
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig7_alg_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig8&9_1.png b/docs/stanford-cs234-notes-zh/img/fig8&9_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..8ea8f2d82aee10ac6e401d45cce54cda57ff3a04
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig8&9_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig8&9_2.png b/docs/stanford-cs234-notes-zh/img/fig8&9_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..a2ee8cc7903db5f80c500682bf4eb7779b3b36ae
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig8&9_2.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig8&9_3.png b/docs/stanford-cs234-notes-zh/img/fig8&9_3.png
new file mode 100644
index 0000000000000000000000000000000000000000..33b1c9eae59a1011654b63cd9e8b920ec5f3db4f
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig8&9_3.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig8&9_alg_1.png b/docs/stanford-cs234-notes-zh/img/fig8&9_alg_1.png
new file mode 100644
index 0000000000000000000000000000000000000000..f8449d3346f6c00aba1a6c6484bfd96a203c8cdd
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig8&9_alg_1.png differ
diff --git a/docs/stanford-cs234-notes-zh/img/fig8&9_alg_2.png b/docs/stanford-cs234-notes-zh/img/fig8&9_alg_2.png
new file mode 100644
index 0000000000000000000000000000000000000000..4caf490f0b8d6986678e854f9825e47f453ade3b
Binary files /dev/null and b/docs/stanford-cs234-notes-zh/img/fig8&9_alg_2.png differ
