# 风险和损失最小化

> 原文：[https://www.textbook.ds100.org/ch/15/bias_risk.html](https://www.textbook.ds100.org/ch/15/bias_risk.html)

```
# HIDDEN
# Clear previously defined variables
%reset -f

# Set directory for data loading to work properly
import os
os.chdir(os.path.expanduser('~/notebooks/15'))

```

```
# HIDDEN
import warnings
# Ignore numpy dtype warnings. These warnings are caused by an interaction
# between numpy and Cython and can be safely ignored.
# Reference: https://stackoverflow.com/a/40846742
warnings.filterwarnings("ignore", message="numpy.dtype size changed")
warnings.filterwarnings("ignore", message="numpy.ufunc size changed")

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
%matplotlib inline
import ipywidgets as widgets
from ipywidgets import interact, interactive, fixed, interact_manual
import nbinteract as nbi

sns.set()
sns.set_context('talk')
np.set_printoptions(threshold=20, precision=2, suppress=True)
pd.options.display.max_rows = 7
pd.options.display.max_columns = 8
pd.set_option('precision', 2)
# This option stops scientific notation for pandas
# pd.set_option('display.float_format', '{:.2f}'.format)

```

```
# HIDDEN
def df_interact(df, nrows=7, ncols=7):
    '''
    Outputs sliders that show rows and columns of df
    '''
    def peek(row=0, col=0):
        return df.iloc[row:row + nrows, col:col + ncols]
    if len(df.columns) <= ncols:
        interact(peek, row=(0, len(df) - nrows, nrows), col=fixed(0))
    else:
        interact(peek,
                 row=(0, len(df) - nrows, nrows),
                 col=(0, len(df.columns) - ncols))
    print('({} rows, {} columns) total'.format(df.shape[0], df.shape[1]))

```

为了使用数据进行预测，我们定义了一个模型，在整个数据集中选择一个损失函数，并通过最小化损失来拟合模型的参数。例如，为了进行最小二乘线性回归，我们选择模型：

$$ \begin{aligned} f_\hat{\theta} (x) &= \hat{\theta} \cdot x \end{aligned} $$

损失函数：

$$ \begin{aligned} L(\hat{\theta}, X, y) &= \frac{1}{n} \sum_{i}(y_i - f_\hat{\theta} (X_i))^2\\ \end{aligned} $$

和以前一样，我们使用$\hat \theta$作为模型参数的向量，$x$作为包含一行数据矩阵的向量，$x$和$y$作为观测值的向量进行预测。$X$I$是$X$的第$I$行，$Y$I$是 Y 的第$I$项。

注意，我们在数据集中丢失的函数是每行数据的丢失函数值的平均值。如果我们定义平方损失函数：

$$ \begin{aligned} \ell(y_i, f_\hat{\theta} (x)) &= (y_i - f_\hat{\theta} (x))^2 \end{aligned} $$

然后我们可以更简单地重写平均损失函数：

$$ \begin{aligned} L(\hat{\theta}, X, y) &= \frac{1}{n} \sum_{i} \ell(y_i, f_\hat{\theta} (X_i)) \end{aligned} $$

上面的表达式抽象了特定的损失函数；不管我们选择什么损失函数，我们的整体损失都是平均损失。

通过最小化平均损失，我们选择最适合我们观测数据集的模型参数。到目前为止，我们已经避免对生成数据集的总体进行陈述。然而，在现实中，我们非常有兴趣对整个人口做出良好的预测，而不仅仅是我们已经看到的数据。

## 风险[¶](#Risk)

如果我们的观测数据集$X$和$Y$是从给定的人群中随机抽取的，那么我们的观测数据就是随机变量。如果我们观察到的数据是随机变量，我们的模型参数也是随机变量，每次我们收集一组新的数据并拟合一个模型时，模型$f_ \hat \theta（x）$的参数将略有不同。

假设我们从人群中随机抽取一对输入输出对$Z、\gamma$。我们的模型在这个值上产生的损失是：

$$ \begin{aligned} \ell(\gamma, f_\hat{\theta} (z)) \end{aligned} $$

请注意，这个损失是一个随机变量；不同的观测数据集$X$和$Y$以及来自我们的人口的不同点$Z、\gamma$的损失都会发生变化。

模型$F \Theta 的**风险**是上述所有训练数据$X$、$Y$和所有点$Z$、$Gamma$在人群中的预期损失值：

$$ \begin{aligned} R(f_\hat{\theta}(x)) = \mathbb{E}[ \ell(\gamma, f_\hat{\theta} (z)) ] \end{aligned} $$

请注意，风险是对随机变量的期望，因此 _ 不是 _ 随机本身。公平的六面模具辊的预期值为 3.5，即使辊本身是随机的。

上面的风险有时被称为**真正的风险**，因为它说明了一个模型在整个人群中的作用。如果我们能够计算出所有模型的真实风险，我们就可以简单地选择风险最小的模型，并确定在我们选择损失函数时，模型的长期性能将优于所有其他模型。

## 经验风险

然而，现实并非如此善良。如果我们将期望的定义代入真实风险的公式，我们得到：

$$ \begin{aligned} R(f_\hat{\theta}) &= \mathbb{E}[ \ell(\gamma, f_\hat{\theta} (z)) ] \\ &= \sum_\gamma \sum_z \ell(\gamma, f_\hat{\theta} (z)) P(\gamma, z) \\ \end{aligned} $$

为了进一步简化这个表达式，我们需要知道$P（\gamma，z）$，观察人口中任何点的全局概率分布。不幸的是，这并不容易。假设我们正试图根据表的大小预测提示量。一张三人桌给 14.50 美元小费的概率是多少？如果我们准确地知道点的分布，我们就不必收集数据或拟合模型，我们就已经知道任何给定表的最大可能提示量。

虽然我们不知道人口的确切分布，但是我们可以使用观测数据集$X$和$Y$来近似它。如果从我们的人口中随机抽取$X$和$Y$点，则$X$和$Y$点的分布与人口分布类似。因此，我们将 x 美元和 y 美元视为我们的人口。然后，任何输入输出对$x_i$，$y_i$出现的概率是$\frac 1 n，因为每对输入输出对在$n$积分总数中出现一次。

这允许我们计算**经验风险**，这是真实风险的近似值：

$$ \begin{aligned} \hat R(f_\hat{\theta}) &= \mathbb{E}[ \ell(y_i, f_\hat{\theta} (X_i)) ] \\ &= \sum_{i=1}^n \ell(y_i, f_\hat{\theta} (X_i)) \frac{1}{n} \\ &= \frac{1}{n} \sum_{i=1}^n \ell(y_i, f_\hat{\theta} (X_i)) \end{aligned} $$

如果我们的数据集很大，并且数据是随机从人群中提取的，那么经验风险$\hat R（f \theta）$接近真实风险$R（f \hat \theta）$。这使我们能够选择最小化经验风险的模型。

请注意，此表达式是节开头的平均损失函数！通过最小化平均损失，我们也可以最小化经验风险。这解释了为什么我们经常使用平均损失作为我们的整体损失函数，而不是最大损失，例如。

## 摘要[¶](#Summary)

预测模型的真实风险描述了模型将为人口带来的总体长期损失。由于我们通常不能直接计算真实风险，因此我们计算的是经验风险，并使用经验风险找到一个合适的预测模型。由于经验风险是观测数据集上的平均损失，因此在拟合模型时，我们通常将平均损失最小化。