diff --git a/chapter_recurrent-neural-networks/gru.md b/chapter_recurrent-neural-networks/gru.md index feb3de86a64dd5417f70ad324bcbf9b1401c093d..7c91a6ddaa278ee0c265daa80160fa6cd161a4bc 100644 --- a/chapter_recurrent-neural-networks/gru.md +++ b/chapter_recurrent-neural-networks/gru.md @@ -143,7 +143,7 @@ num_epochs, num_steps, batch_size, lr, clipping_theta = 160, 35, 32, 1e2, 1e-2 pred_period, pred_len, prefixes = 40, 50, ['分开', '不分开'] ``` -设置好超参数后,我们将训练模型并跟据前缀“分开”和“不分开”分别创作长度为50个字符的一段歌词。我们每过30个迭代周期便根据当前训练的模型创作一段歌词。。 +设置好超参数后,我们将训练模型并跟据前缀“分开”和“不分开”分别创作长度为50个字符的一段歌词。我们每过30个迭代周期便根据当前训练的模型创作一段歌词。 ```{.python .input} gb.train_and_predict_rnn(gru, get_params, init_gru_state, num_hiddens, diff --git a/chapter_recurrent-neural-networks/lstm.md b/chapter_recurrent-neural-networks/lstm.md index bbb4214834d8d088acbc8f8ac4cb7eecc0e41feb..7ecdc22f533f4e3ee8e4eb5fd31417d377ad7e21 100644 --- a/chapter_recurrent-neural-networks/lstm.md +++ b/chapter_recurrent-neural-networks/lstm.md @@ -11,7 +11,7 @@ LSTM 中引入了三个门:输入门(input gate)、遗忘门(forget gate ### 输入门、遗忘门和输出门 -同门控循环单元中的重置门和更新门一样,如图6.7所示,LSTM的门均由输入为当前时间步输入$\boldsymbol{X}_t$与上一时间步隐藏状态$\boldsymbol{H}_{t-1}$,且激活函数为sigmoid函数的全连接层计算得出。如此一来,这三个门元素的值域均为$[0,1]$。 +同门控循环单元中的重置门和更新门一样,如图6.7所示,LSTM的门的输入均为当前时间步输入$\boldsymbol{X}_t$与上一时间步隐藏状态$\boldsymbol{H}_{t-1}$,且激活函数为sigmoid函数的全连接层计算得出。如此一来,这三个门元素的值域均为$[0,1]$。 ![长短期记忆中输入门、遗忘门和输出门的计算。](../img/lstm_0.svg)