# 1. 监督学习
* [1.1. 广义线性模型](2.md#11-广义线性模型)
    * [1.1.1. 普通最小二乘法](2.md#111-普通最小二乘法)
    * [1.1.2. 岭回归](2.md#112-岭回归)
    * [1.1.3. Lasso](2.md#113-lasso)
    * [1.1.4. 多任务 Lasso](2.md#114-多任务-lasso)
    * [1.1.5. 弹性网络](2.md#115-弹性网络)
    * [1.1.6. 多任务弹性网络](2.md#116-多任务弹性网络)
    * [1.1.7. 最小角回归](2.md#117-最小角回归)
    * [1.1.8. LARS Lasso](2.md#118-lars-lasso)
    * [1.1.9. 正交匹配追踪法（OMP）](2.md#119-正交匹配追踪法（omp）)
    * [1.1.10. 贝叶斯回归](2.md#1110-贝叶斯回归)
    * [1.1.11. logistic 回归](2.md#1111-logistic-回归)
    * [1.1.12. 随机梯度下降， SGD](2.md#1112-随机梯度下降，-sgd)
    * [1.1.13. Perceptron（感知器）](2.md#1113-perceptron（感知器）)
    * [1.1.14. Passive Aggressive Algorithms（被动攻击算法）](2.md#1114-passive-aggressive-algorithms（被动攻击算法）)
    * [1.1.15. 稳健回归（Robustness regression）: 处理离群点（outliers）和模型错误](2.md#1115-稳健回归（robustness-regression）--处理离群点（outliers）和模型错误)
    * [1.1.16. 多项式回归：用基函数展开线性模型](2.md#1116-多项式回归：用基函数展开线性模型)
* [1.2. 线性和二次判别分析](3.md#12-线性和二次判别分析)
    * [1.2.1. 使用线性判别分析来降维](3.md#121-使用线性判别分析来降维)
    * [1.2.2. LDA 和 QDA 分类器的数学公式](3.md#122-lda-和-qda-分类器的数学公式)
    * [1.2.3. LDA 的降维数学公式](3.md#123-lda-的降维数学公式)
    * [1.2.4. Shrinkage（收缩）](3.md#124-shrinkage（收缩）)
    * [1.2.5. 预估算法](3.md#125-预估算法)
* [1.3. 内核岭回归](4.md#13-内核岭回归)
* [1.4. 支持向量机](5.md#14-支持向量机)
    * [1.4.1. 分类](5.md#141-分类)
    * [1.4.2. 回归](5.md#142-回归)
    * [1.4.3. 密度估计, 异常（novelty）检测](5.md#143-密度估计,-异常（novelty）检测)
    * [1.4.4. 复杂度](5.md#144-复杂度)
    * [1.4.5. 使用诀窍](5.md#145-使用诀窍)
    * [1.4.6. 核函数](5.md#146-核函数)
    * [1.4.7. 数学公式](5.md#147-数学公式)
    * [1.4.8. 实现细节](5.md#148-实现细节)
* [1.5. 随机梯度下降](6.md#15-随机梯度下降)
    * [1.5.1. 分类](6.md#151-分类)
    * [1.5.2. 回归](6.md#152-回归)
    * [1.5.3. 稀疏数据的随机梯度下降](6.md#153-稀疏数据的随机梯度下降)
    * [1.5.4. 复杂度](6.md#154-复杂度)
    * [1.5.5. 停止判据](6.md#155-停止判据)
    * [1.5.6. 实用小贴士](6.md#156-实用小贴士)
    * [1.5.7. 数学描述](6.md#157-数学描述)
    * [1.5.8. 实现细节](6.md#158-实现细节)
* [1.6. 最近邻](7.md#16-最近邻)
    * [1.6.1. 无监督最近邻](7.md#161-无监督最近邻)
    * [1.6.2. 最近邻分类](7.md#162-最近邻分类)
    * [1.6.3. 最近邻回归](7.md#163-最近邻回归)
    * [1.6.4. 最近邻算法](7.md#164-最近邻算法)
    * [1.6.5. 最近质心分类](7.md#165-最近质心分类)
    * [1.6.6. 邻域成分分析](7.md#166-邻域成分分析)
* [1.7. 高斯过程](8.md#17-高斯过程)
    * [1.7.1. 高斯过程回归（GPR）](8.md#171-高斯过程回归（gpr）)
    * [1.7.2. GPR 示例](8.md#172-gpr-示例)
    * [1.7.3. 高斯过程分类（GPC）](8.md#173-高斯过程分类（gpc）)
    * [1.7.4. GPC 示例](8.md#174-gpc-示例)
    * [1.7.5. 高斯过程内核](8.md#175-高斯过程内核)
* [1.8. 交叉分解](9.md#18-交叉分解)
* [1.9. 朴素贝叶斯](10.md#19-朴素贝叶斯)
    * [1.9.1. 高斯朴素贝叶斯](10.md#191-高斯朴素贝叶斯)
    * [1.9.2. 多项分布朴素贝叶斯](10.md#192-多项分布朴素贝叶斯)
    * [1.9.3. 补充朴素贝叶斯](10.md#193-补充朴素贝叶斯)
    * [1.9.4. 伯努利朴素贝叶斯](10.md#194-伯努利朴素贝叶斯)
    * [1.9.5. 基于外存的朴素贝叶斯模型拟合](10.md#195-基于外存的朴素贝叶斯模型拟合)
* [1.10. 决策树](11.md#110-决策树)
    * [1.10.1. 分类](11.md#1101-分类)
    * [1.10.2. 回归](11.md#1102-回归)
    * [1.10.3. 多值输出问题](11.md#1103-多值输出问题)
    * [1.10.4. 复杂度分析](11.md#1104-复杂度分析)
    * [1.10.5. 实际使用技巧](11.md#1105-实际使用技巧)
    * [1.10.6. 决策树算法: ID3, C4.5, C5.0 和 CART](11.md#1106-决策树算法--id3,-c45,-c50-和-cart)
    * [1.10.7. 数学表达](11.md#1107-数学表达)
* [1.11. 集成方法](12.md#111-集成方法)
    * [1.11.1. Bagging meta-estimator（Bagging 元估计器）](12.md#1111-bagging-meta-estimator（bagging-元估计器）)
    * [1.11.2. 由随机树组成的森林](12.md#1112-由随机树组成的森林)
    * [1.11.3. AdaBoost](12.md#1113-adaboost)
    * [1.11.4. Gradient Tree Boosting（梯度树提升）](12.md#1114-gradient-tree-boosting（梯度树提升）)
    * [1.11.5. Voting Classifier（投票分类器）](12.md#1115-voting-classifier（投票分类器）)
    * [1.11.6. 投票回归器(Voting Regressor)](12.md#1116-投票回归器)
* [1.12. 多类和多标签算法](13.md#112-多类和多标签算法)
    * [1.12.1. 多标签分类格式](13.md#1121-多标签分类格式)
    * [1.12.2. 1对其余](13.md#1122-1对其余)
    * [1.12.3. 1对1](13.md#1123-1对1)
    * [1.12.4. 误差校正输出代码](13.md#1124-误差校正输出代码)
    * [1.12.5. 多输出回归](13.md#1125-多输出回归)
    * [1.12.6. 多输出分类](13.md#1126-多输出分类)
    * [1.12.7. 链式分类器](13.md#1127-链式分类器)
* [1.13. 特征选择](14.md#113-特征选择)
    * [1.13.1. 移除低方差特征](14.md#1131-移除低方差特征)
    * [1.13.2. 单变量特征选择](14.md#1132-单变量特征选择)
    * [1.13.3. 递归式特征消除](14.md#1133-递归式特征消除)
    * [1.13.4. 使用 SelectFromModel 选取特征](14.md#1134-使用-selectfrommodel-选取特征)
    * [1.13.5. 特征选取作为 pipeline（管道）的一部分](14.md#1135-特征选取作为-pipeline（管道）的一部分)
* [1.14. 半监督学习](15.md#114-半监督学习)
    * [1.14.1. 标签传播](15.md#1141-标签传播)
* [1.15. 等式回归](16.md#115-等式回归)
* [1.16. 概率校准](17.md#116-概率校准)
* [1.17. 神经网络模型（有监督）](18.md#117-神经网络模型（有监督）)
    * [1.17.1. 多层感知器](18.md#1171-多层感知器)
    * [1.17.2. 分类](18.md#1172-分类)
    * [1.17.3. 回归](18.md#1173-回归)
    * [1.17.4. 正则化](18.md#1174-正则化)
    * [1.17.5. 算法](18.md#1175-算法)
    * [1.17.6. 复杂度](18.md#1176-复杂度)
    * [1.17.7. 数学公式](18.md#1177-数学公式)
    * [1.17.8. 实用技巧](18.md#1178-实用技巧)
    * [1.17.9. 使用 warm_start 的更多控制](18.md#1179-使用-warm_start-的更多控制)