提交 c6c24dff 编写于 作者: W wizardforcel

2020-12-15 18:22:52

上级 058c8631
......@@ -126,7 +126,7 @@
SVD 的一个重要应用是**增白**程序,该程序强制以空平均值(即`E[X] = 0`)对数据集`X`或零中心),以具有恒等式的协方差矩阵`C`。 该方法对提高许多监督算法的性能非常有帮助,这可以受益于所有组件共享的统一单一方差。
SVD 的一个重要应用是**白化**程序,该程序强制以空平均值(即`E[X] = 0`)对数据集`X`或零中心),以具有恒等式的协方差矩阵`C`。 该方法对提高许多监督算法的性能非常有帮助,这可以受益于所有组件共享的统一单一方差。
将分解应用于`C`,我们获得以下信息:
......@@ -301,7 +301,7 @@ print(np.sum(pca.explained_variance_ratio_))
![](img/febdde35-860f-4ead-b585-97c81169aa6a.png)
可以看到,转换需要计算点积`f(x[i])^T f(x[i])`。 在这些情况下,我们可以采用所谓的**核技巧**,该技巧指出存在称为核且具有有趣特性的特定功能`K(·, ·)`,如下:
可以看到,转换需要计算点积`f(x[i])^T f(x[i])`。 在这些情况下,我们可以采用所谓的**核技巧**,该技巧指出存在称为核且具有有趣特性的特定功能`K(·, ·)`,如下:
![](img/d4f72e86-05e8-4d2e-8030-cc028ce9c8c1.png)
......@@ -427,7 +427,7 @@ Factor Analysis log-likelihood(Xnz): 1459.2912218162423
![](img/6d321ec9-2ff5-4b21-8c88-e47d435bf51a.png)
在前面的表达式中,系数`$1[$2]`几乎总是不为零,因此所有组件都参与重建过程。 出于降维的目的,这不是问题,因为为了限制它们,我们对每个组件解释的方差更感兴趣。 但是,在某些任务下,分析每个较大的**建筑原子**很有帮助,并假设每个向量都可以表示为它们的稀疏组合。 最经典的例子是文本语料库,其中词典包含的术语比每个文档中涉及的术语更多。 这些类型的模型通常称为**字典学习**算法,因为原子集定义了一种字典,其中包含可用于创建新样本的所有单词。 当原子数`k`大于样本的维数`n`时,该字典被称为**过度完成**,其表示通常是稀疏的。 相反,当`k < n`时,字典被称为**未完全完成**,并且向量需要更密集。
在前面的表达式中,系数`$1[$2]`几乎总是不为零,因此所有组件都参与重建过程。 出于降维的目的,这不是问题,因为为了限制它们,我们对每个组件解释的方差更感兴趣。 但是,在某些任务下,分析每个较大的**构建原子**很有帮助,并假设每个向量都可以表示为它们的稀疏组合。 最经典的例子是文本语料库,其中词典包含的术语比每个文档中涉及的术语更多。 这些类型的模型通常称为**字典学习**算法,因为原子集定义了一种字典,其中包含可用于创建新样本的所有单词。 当原子数`k`大于样本的维数`n`时,该字典被称为**过度完成**,其表示通常是稀疏的。 相反,当`k < n`时,字典被称为**尚未完成**,并且向量需要更密集。
通过对函数的最小化,对解决方案的`L[1]`范数施加惩罚,可以轻松解决此类学习问题。 这种限制导致稀疏性的原因不在本书的讨论范围之内,但是有兴趣的人可以在《Mastering Machine Learning Algorithms》中找到更长的讨论范围。
......@@ -533,7 +533,7 @@ NNMF 算法提取的原子
![](img/56c4514e-1b79-48f0-92ed-c4b0596ede4c.png)
对于高斯分布,峰度为 3。由于这通常是一个参考值,因此所有具有`peak(X) > 3`的分布都称为超高斯或**变质**。 ,将具有`peak(X) < 3`的人称为亚高斯性或**桔梗**。 前一个分配类别的示例是 Laplace 分配类别,如以下屏幕截图所示:
对于高斯分布,峰度为 3。由于这通常是一个参考值,因此所有具有`Kurtosis(X) > 3`的分布都称为超高斯或**尖峰**。 ,将具有`Kurtosis(X) < 3`的人称为亚高斯性或**平峰**。 前一个分配类别的示例是 Laplace 分配类别,如以下屏幕截图所示:
![](img/fd260b15-bd75-4638-8be4-1f69c6c4d9a5.png)
......@@ -589,7 +589,7 @@ ica.fit(faces['data'])
50 (out of 100) independent components extracted by FastICA
如您所见,每个组成部分都类似于**元人脸**(有时称为征人脸),由于所有其余部分(即使它们无法在精确的样本集中立即识别出来)。 当组件的数量增加到 350 时,效果将更加明显,如下所示:
如您所见,每个组成部分都类似于**元人脸**(有时称为征人脸),由于所有其余部分(即使它们无法在精确的样本集中立即识别出来)。 当组件的数量增加到 350 时,效果将更加明显,如下所示:
![](img/59bedc09-a9d7-4314-8e2b-85d92e82d73f.png)
......
......@@ -842,7 +842,7 @@ Sanger 网络的最终配置
Rubner 和 Tavan 提出了另一种可以执行 PCA 的神经网络(在《主成分分析的自组织网络》)。 但是,他们的方法基于协方差矩阵的去相关,这是 PCA 的最终结果(也就是说,就像使用自下而上的策略,而标准过程是自上而下的操作一样)。 让我们考虑一个零中心数据集`X`和一个网络,其输出为 *y∈^m* 向量。 因此,输出分布的协方差矩阵如下:
Rubner 和 Tavan 提出了另一种可以执行 PCA 的神经网络(在《主成分分析的自组织网络》)。 但是,他们的方法基于协方差矩阵的去相关,这是 PCA 的最终结果(也就是说,就像使用自下而上的策略,而标准过程是自上而下的操作一样)。 让我们考虑一个零中心数据集`X`和一个网络,其输出为`y ∈ R^m`向量。 因此,输出分布的协方差矩阵如下:
![](img/0a6cd2b9-0661-43cb-baeb-186e98dbda5e.png)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册