till forward prop

chapter_deep-learning-basics/backprop.md

 # 正向传播、反向传播和计算图
 
-前面几节里我们使用了基于梯度下降的优化算法来训练模型。在实现中我们只提供了模型的正向传播（forward propagation）的计算，即对输入计算模型输出。然后通过autograd模块来调用系统自动生成的`backward`函数计算导数。自动求导极大的简化了深度学习模型训练算法的实现。但求导，又称反向传播（back-propagation），是深度学习的一个重要概念。这一节我们将使用数学和计算图两个方式来描述正向传播和反向传播。具体的，我们将一个简单的带$L_2$范数正则化的单隐藏层感知机为例解释正向传播和反向传播。
+前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播（forward propagation）的计算，即对输入计算模型输出，然后通过`autograd`模块来调用系统自动生成的`backward`函数计算梯度。自动求梯度极大简化了深度学习模型训练算法的实现。除了利用正向传播的计算结果以外，深度学习模型的梯度计算还需要使用反向传播（back-propagation）算法。这一节我们将使用数学和计算图两个方式来描述正向传播和反向传播。具体地，我们将以带$L_2$范数正则化的单隐藏层感知机为例解释正向传播和反向传播。
 
 ## 正向传播