在稀疏自编码器中,将稀疏惩罚项添加到重构错误中,以确保在任何给定时间触发瓶颈层中较少的单元。 如果 *m* 是输入模式的总数,那么我们可以定义一个数量`ρ_hat`(您可以在[的 Andrew Ng 的讲座中检查数学细节 https://web.stanford.edu/ class / cs294a / sparseAutoencoder_2011new.pdf](https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf)),它测量每个隐藏层单位的净活动(平均触发多少次)。 基本思想是放置一个约束`ρ_hat`,使其等于稀疏性参数ρ*。* 这导致损失函数中添加了稀疏性的正则项,因此现在`loss`函数如下:
在稀疏自编码器中,将稀疏惩罚项添加到重构错误中,以确保在任何给定时间触发瓶颈层中较少的单元。 如果 *m* 是输入模式的总数,那么我们可以定义一个数量`ρ_hat`(您可以在[Andrew Ng 的讲座](https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf)中检查数学细节),它测量每个隐藏层单位的净活动(平均触发多少次)。 基本思想是放置一个约束`ρ_hat`,使其等于稀疏性参数ρ*。* 这导致损失函数中添加了稀疏性的正则项,因此现在`loss`函数如下: