其他流行的激活函数包括双曲正切![What is deep learning?](img/00120.jpeg)和**整流线性单位**(**ReLu**):![What is deep learning?](img/00121.jpeg)。 ReLu 在有很多层时效果更好,因为可以激发*神经元的稀疏性*,从而降低噪音并加快学习速度。
然后,我们使用[`tf.Variable` API](https://www.tensorflow.org/programmers_guide/variables) 初始化矩阵![Getting started with TensorFlow](img/00125.jpeg)的随机值,而![Getting started with TensorFlow](img/00126.jpeg)对应于隐藏层和输出层:
![Time series forecasting using the ARIMA model](img/00185.jpeg)
其中![Time series forecasting using the ARIMA model](img/00186.jpeg)是从先前观察值和![Time series forecasting using the ARIMA model](img/00187.jpeg)中获知的模型的权重,是观察值`t`的残差。
![Time series forecasting using the ARIMA model](img/00190.jpeg)和![Time series forecasting using the ARIMA model](img/00191.jpeg)对于任何`t`,`m`和`k`都是相同的,其中`F`是联合概率分布 。
![Time series forecasting using the ARIMA model](img/00194.jpeg)
是时间序列的平均值,![Time series forecasting using the ARIMA model](img/00187.jpeg)是序列中的残差,![Time series forecasting using the ARIMA model](img/00195.jpeg)是滞后残差的权重。
是时间序列的平均值,`ε[t]`是序列中的残差,`θ[q]`是滞后残差的权重。
我们将`q`称为移动平均窗口的大小。
...
...
@@ -1426,7 +1426,7 @@ max 5.023380e+00
dtype:float64
```
平均残留误差为![Build an ARIMA model for the MSFT stock time series](img/00201.jpeg),非常接近零,因此表明该模型可能过拟合了训练数据。
![Build an ARIMA model for the MSFT stock time series](img/00204.jpeg)
其中![Build an ARIMA model for the MSFT stock time series](img/00205.jpeg)是实际值,![Build an ARIMA model for the MSFT stock time series](img/00206.jpeg)是预测值。