diff --git a/06.understand_sentiment/README.cn.md b/06.understand_sentiment/README.cn.md index 8548aab82e0f6c5a00de58f562d0b9f8e602c451..0764b18b3f0a2d697987ecf18ce0322a7af23a63 100755 --- a/06.understand_sentiment/README.cn.md +++ b/06.understand_sentiment/README.cn.md @@ -22,7 +22,7 @@ 本章我们所要介绍的深度学习模型克服了BOW表示的上述缺陷,它在考虑词顺序的基础上把文本映射到低维度的语义空间,并且以端对端(end to end)的方式进行文本表示及分类,其性能相对于传统方法有显著的提升\[[1](#参考文献)\]。 ## 硬件环境的要求 -本文档支持GPU训练,如果您使用了本文配套的docker镜像,请注意:该镜像对GPU的支持仅限于CUDA 8,cuDNN 5 +本文档支持CPU和GPU训练,如果您使用了本文配套的docker镜像,请注意:该镜像对GPU的支持仅限于CUDA 8,cuDNN 5 ## 模型概览 @@ -67,15 +67,14 @@ 相比于简单的循环神经网络,LSTM增加了记忆单元$c$、输入门$i$、遗忘门$f$及输出门$o$。这些门及记忆单元组合起来大大提升了循环神经网络处理长序列数据的能力。若将基于LSTM的循环神经网络表示的函数记为$F$,则其公式为:

-
+

$F$由下列公式组合而成\[[7](#参考文献)\]:

-
+

其中,$i_t, f_t, c_t, o_t$分别表示输入门,遗忘门,记忆单元及输出门的向量值,带角标的$W$及$b$为模型参数,$tanh$为双曲正切函数,$\odot$表示逐元素(elementwise)的乘法操作。输入门控制着新输入进入记忆单元$c$的强度,遗忘门控制着记忆单元维持上一时刻值的强度,输出门控制着输出记忆单元的强度。三种门的计算方式类似,但有着完全不同的参数,它们各自以不同的方式控制着记忆单元$c$,如图3所示: @@ -88,8 +87,7 @@ $F$由下列公式组合而成\[[7](#参考文献)\]: LSTM通过给简单的循环神经网络增加记忆及控制门的方式,增强了其处理远距离依赖问题的能力。类似原理的改进还有Gated Recurrent Unit (GRU)\[[8](#参考文献)\],其设计更为简洁一些。**这些改进虽然各有不同,但是它们的宏观描述却与简单的循环神经网络一样(如图2所示),即隐状态依据当前输入及前一时刻的隐状态来改变,不断地循环这一过程直至输入处理完毕:**

-
+

其中,$Recrurent$可以表示简单的循环神经网络、GRU或LSTM。 diff --git a/06.understand_sentiment/image/formula_lstm_1.png b/06.understand_sentiment/image/formula_lstm.png similarity index 100% rename from 06.understand_sentiment/image/formula_lstm_1.png rename to 06.understand_sentiment/image/formula_lstm.png diff --git a/06.understand_sentiment/image/formula_lstm_2.png b/06.understand_sentiment/image/formula_lstm_more.png similarity index 100% rename from 06.understand_sentiment/image/formula_lstm_2.png rename to 06.understand_sentiment/image/formula_lstm_more.png diff --git a/06.understand_sentiment/image/formula_recurrent.png b/06.understand_sentiment/image/formula_recurrent.png new file mode 100755 index 0000000000000000000000000000000000000000..74df7224cc0cb14e29a72735be66df2dd3df0f70 Binary files /dev/null and b/06.understand_sentiment/image/formula_recurrent.png differ diff --git a/06.understand_sentiment/image/formula_rnn_2.png b/06.understand_sentiment/image/formula_rnn_2.png deleted file mode 100755 index ca8ffc8bbb2efdba3cd582dfc23ef9c136e582d5..0000000000000000000000000000000000000000 Binary files a/06.understand_sentiment/image/formula_rnn_2.png and /dev/null differ