提交 896ef9df 编写于 作者: W wizardforcel

2020-04-22 00:15:09

上级 a1519d78
......@@ -2,25 +2,25 @@
> 原文: [https://serialmentor.com/dataviz/visualizing-uncertainty.html](https://serialmentor.com/dataviz/visualizing-uncertainty.html)
数据可视化最具挑战性的方面之一是不确定性的可视化。当我们看到在特定位置绘制的数据点时,我们倾向于将其解释为真实数据值的精确表示。很难想象数据点实际上可能位于尚未绘制的某个位置。然而,这种情况在数据可视化中无处不在。几乎我们使用的每个数据集都有一些不确定性,我们选择表示这种不确定性的方式和方式可以对我们的受众如何准确地感知数据的含义产生重大影响。
数据可视化最具挑战性的方面之一是不确定性的可视化。当我们看到在特定位置绘制的数据点时,我们倾向于将其解释为真实数据值的精确表示。很难想象数据点实际上可能位于尚未绘制的某个位置。然而,这种情况在数据可视化中无处不在。几乎我们使用的每个数据集都有一些不确定性,我们选择表示这种不确定性的方式,对我们的受众多么准确地感知数据的含义,可能产生重大影响。
指示不确定性的两种常用方法是误差条和置信带。这些方法是在科学出版物的背景下制定的,它们需要正确解释一些专业知识。然而,它们精确且节省空间。例如,通过使用误差线,我们可以在单个图中显示许多不同参数估计的不确定性。然而,对于非专业观众而言,可视化策略可以产生对不确定性的强烈直观印象,即使它们以降低可视化精度或数据密集度较低的显示器为代价。这里的选项包括频率成帧,我们明确地以近似比例绘制不同的可能场景,或者循环通过不同可能场景的动画。
指示不确定性的两种常用方法,是误差条和置信带。这些方法是在科学出版物的背景下开发的,它们需要正确解释一些专业知识。然而,它们精确且节省空间。例如,通过使用误差条,我们可以在单个图中显示许多不同参数估计的不确定性。然而,对于非专业读者而言,产生不确定性的强烈直观印象的可视化策略可能更好,即使它们的代价是降低可视化精度或减少密集数据的展示。这里的选项包括频率成帧,我们以近似比例明确绘制不同的可能场景,或者循环不同可能场景的动画。
## 16.1 将概率框架化为频率
## 16.1 将概率表现为频率
在我们讨论如何可视化不确定性之前,我们需要定义它实际上是什么。我们可以在未来事件的背景下直观地直观地掌握不确定性的概念。如果我要翻硬币,我不知道结果会是什么样的结果。最终的结果是不确定的。不过,我也不确定过去的事件。如果昨天我从我的厨房窗口看了两次,一次是在早上 8 点,一次是在下午 4 点,我看到一辆红色汽车停在街对面,早上 8 点而不是下午 4 点,然后我可以在八点之间的某个时刻结束汽车离开 - 小时窗口,但我不确切知道什么时候。可能是上午 8:01,上午 9:30,下午 2 点,或者在这八个小时的任何其他时间。
在我们讨论如何可视化不确定性之前,我们需要定义它实际上是什么。我们可以在未来事件的背景下直观掌握不确定性的概念。如果我要翻硬币,我不知道结果会是什么样。最终的结果是不确定的。不过,我也不确定过去的事件。如果昨天我从我的厨房窗户向外看了两次,一次是在早上 8 点,一次是在下午 4 点,我在早上 8 点看到一辆红色汽车停在街对面,下午 4 点没有,然后我可以总结,汽车在八小时的时间窗口中的某个时间点离开了,但我不确切知道是什么时候。可能是上午 8:01,上午 9:30,下午 2 点,或者在这八个小时的任何其他时间。
在数学上,我们通过使用概率概念来处理不确定性。概率的精确定义很复杂,远远超出了本书的范围。然而,我们可以在不了解所有数学错综复杂的情况下成功地推理概率。对于许多实际相关的问题,考虑相对频率就足够了。假设您执行某种随机试验,例如掷硬币或掷骰子,并寻找特定结果(例如,头部或滚动六个)。你可以称这个结果 _ 成功,_ 和任何其他结果 _ 失败。_ 然后,如果你一遍又一遍地重复随机试验,成功的概率大约由你看到结果的一小部分给出。例如,如果特定结果以 10%的概率发生,那么我们预计在许多重复试验中,结果将在大约十分之一的病例中出现。
在数学上,我们通过使用概率概念来处理不确定性。概率的精确定义很复杂,远远超出了本书的范围。然而,我们可以在不了解数学的所有错综复杂的细节的情况下,成功地推导概率。对于许多实际相关的问题,考虑相对频率就足够了。假设您执行某种随机试验,例如掷硬币或掷骰子,并寻找特定结果(例如,正面或六点)。你可以称这个结果为成功,和任何其他结果为失败。然后,如果你一遍又一遍地重复随机试验,成功的概率大约由你看到结果的一小部分给出。例如,如果特定结果以 10% 的概率发生,那么我们预计在许多重复试验中,结果将在大约十分之一的情况中出现。
可视化单个概率很困难。你如何看待在彩票中获胜的机会,或者是否有机会在公平的模具中掷出六个?在这两种情况下,概率都是单个数字。我们可以将该数字视为一个数量,并使用章节 [6](visualizing-amounts.html#visualizing-amounts) 中讨论的任何技术显示它,例如条形图或点图,但结果不会非常有用。大多数人缺乏对概率值如何转化为经验现实的直观理解。将概率值显示为条形或放在一条线上的点无助于此问题。
可视化单个概率很困难。你如何可视化在彩票中获胜,或者用匀质的骰子掷出六点的几率?在这两种情况下,概率都是单个数字。我们可以将该数字视为一个数量,并使用第六章中讨论的任何技术显示它,例如条形图或点图,但结果不会非常有用。大多数人缺乏概率值如何转化为经验现实的直观理解。将概率值显示为条形或作为点放在一条线上,无助于此问题。
我们可以通过创建一个强调随机试验的频率方面和不可预测性的图来使概率概念变得有形,例如通过随机排列绘制不同颜色的方块。在图 16.1 中,我使用这种技术可视化三种不同的概率,1%的成功几率,10%的成功几率和 40%的成功率。为了阅读这个图,想象一下,你可以通过选择一个正方形来选择一个黑色正方形,然后才能看到哪个正方形将变暗,哪个正方形变亮。 (如果你愿意的话,你可以考虑闭着眼睛挑选一个正方形。)直观地说,你可能会理解在 1%-chance 情况下不太可能选择一个黑暗的正方形。同样,在 10%-chance 的情况下,仍然不太可能选择黑色方块。然而,在 40%的情况下,赔率看起来并不那么糟糕。这种可视化风格,我们显示特定的潜在结果,被称为 _ 离散结果可视化,_ 和将概率可视化为频率的行为被称为 _ 频率成帧。_ 我们根据易于理解的结果频率来构建结果的概率性质。
我们可以通过创建一个图表,强调随机试验的频率切面和不可预测性,来使概率概念变得有形,例如通过绘制随机排列的不同颜色的方块。在图 16.1 中,我使用这种技术可视化三种不同的概率,1% 的成功几率,10% 的成功几率和 40% 的成功率。为了阅读这个图,想象一下,你得到了一个选择深色方块的任务,通过选择一个方块,然后看到哪个方块是深色,哪个方块是浅色。 (如果你愿意的话,你可以考虑闭着眼睛挑选一个方块。)直观地说,你可能会理解在 1% 几率情况下,不太可能选择一个深色的方块。同样,在 10% 几率 的情况下,仍然不太可能选择深色的方块。然而,在 40% 的情况下,胜率看起来并不那么糟糕。这种可视化风格,其中我们显示特定的潜在结果,被称为离散结果可视化,并且将概率可视化为频率的行为被称为频率成帧。我们根据易于理解的结果的频率来表现结果的概率性质。
![](img/d1b4ef2fa53ff80fc4bf47fddd3c6c7a.jpg)
图 16.1:将概率可视化为频率。每个网格中有 100 个正方形,每个正方形表示在某些随机试验中成功失败。 1%的成功几率对应于一个黑暗和 99 个光方块,10%的成功几率对应于十个暗方和 90 个光方块,并且 40%的成功几率对应于 40 个暗方和 60 个方格。通过在浅色方块中随机放置黑色方块,我们可以创建随机性的视觉印象,强调单个试验结果的不确定性。
图 16.1:将概率可视化为频率。每个网格中有 100 个方块,每个方块表示在某些随机试验中成功或失败。 1% 的成功几率对应于一个深色和 99 个浅色方块,10% 的成功几率对应于十个深色和 90 个浅色方块,并且 40% 的成功几率对应于 40 个深色和 60 个浅色方块。通过在浅色方块中随机放置深色方块,我们可以创建随机性的视觉印象,强调单个试验结果的不确定性。
如果我们只对两个不连续的结果(成功或失败)感兴趣,那么诸如图 16.1 之类的可视化就可以正常工作。然而,我们经常处理更复杂的情况,其中随机试验的结果是数字变量。一个常见的情况是选举预测,我们不仅对谁将获胜而且对多少人感兴趣。让我们考虑一个假设的例子,即即将举行的选举,包括黄方和蓝方。假设您在广播中听到蓝方预计比黄方有一个百分点优势,误差率为 1.76 个百分点。这些信息告诉你选举的可能结果是什么?听到“蓝党会赢”是人性,但现实更为复杂。首先,最重要的是,有一系列不同的可能结果。蓝党最终可能以 2 个百分点的领先优势赢得胜利,或者黄方最终以半个百分点的领先优势获胜。可能的结果及其相关可能性的范围称为概率分布,我们可以将其绘制为平滑曲线,该曲线上升然后落在可能结果的范围内(图 16.2 )。特定结果的曲线越高,结果越可能。概率分布与章 [7](histograms-density-plots.html#histograms-density-plots) 中讨论的直方图和内核密度密切相关,您可能需要重新阅读该章以刷新记忆。
如果我们只对两个不连续的结果(成功或失败)感兴趣,那么诸如图 16.1 之类的可视化就可以正常工作。然而,我们经常处理更复杂的情况,其中随机试验的结果是数字变量。一个常见的情况是选举预测,我们不仅对谁将获胜而且对多少人感兴趣。让我们考虑一个假设的例子,即即将举行的选举,包括黄方和蓝方。假设您在广播中听到蓝方预计比黄方有一个百分点的优势,误差率为 1.76 个百分点。这些信息告诉你选举的可能结果是什么?听到“蓝方会赢”是人类本性,但现实更为复杂。首先,最重要的是,有一系列不同的可能结果。蓝方最终可能以 2 个百分点的领先优势赢得选举,或者黄方最终以半个百分点的领先优势获胜。可能结果的范围及其相关可能性称为概率分布,我们可以将其绘制为平滑曲线,该曲线上升然后落在可能结果的范围内(图 16.2 )。特定结果的曲线越高,结果越可能。概率分布与第七章中讨论的直方图和核密度密切相关,您可能需要重新阅读该章以刷新记忆。
![](img/1ec8f5e0275a6df7a45b112fa10967d2.jpg)
......@@ -34,7 +34,7 @@
图 16.3:图 16.2 的选举结果分布的分位数点图表示。 (a)平滑分布用 50 个点近似,每个代表 2%的几率。因此,六个黄点对应的概率为 12%,合理地接近 12.9%的真实值。 (b)平滑分布近似为 10 个点,每个点几率为 10%。因此,一个黄点对应 10%的几率,仍然接近真实值。具有较少数量点的分位数点图往往更容易阅读,因此在该示例中,10 点版本可能优于 50 点版本。
作为一般原则,分位点点图应使用小到中等数量的点。如果点太多,那么我们倾向于将它们视为连续体而不是单独的离散单元。这否定了离散图的优点。图 16.3 显示具有 50 个点的变体(图 16.3 a)和 10 个点(图 16.3 b)。虽然具有 50 个点的版本更准确地捕获真实的概率分布,但是点的数量太大而不能容易地区分各个点。十点的版本立即传达了蓝色或黄色获胜的相对机会。对十点版本的一个反对意见可能是它不是很精确。我们对黄色获胜的可能性不足 2.9 个百分点。然而,通常值得交换一些数学精度以获得对所得到的可视化的更准确的人类感知,特别是在与非专业观众进行交流时。在数学上正确但未正确感知的可视化在实践中没有用。
作为一般原则,分位点点图应使用小到中等数量的点。如果点太多,那么我们倾向于将它们视为连续体而不是单独的离散单元。这否定了离散图的优点。图 16.3 显示具有 50 个点的变体(图 16.3 a)和 10 个点(图 16.3 b)。虽然具有 50 个点的版本更准确地捕获真实的概率分布,但是点的数量太大而不能容易地区分各个点。十点的版本立即传达了蓝色或黄色获胜的相对机会。对十点版本的一个反对意见可能是它不是很精确。我们对黄色获胜的可能性不足 2.9 个百分点。然而,通常值得交换一些数学精度以获得对所得到的可视化的更准确的人类感知,特别是在与非专业读者进行交流时。在数学上正确但未正确感知的可视化在实践中没有用。
## 16.2 可视化点估计的不确定性
......@@ -52,13 +52,13 @@
所有统计学家都使用样本来计算参数估计值及其不确定性。然而,他们将这些计算方式分为贝叶斯主义者和频率论者。贝叶斯假设他们对世界有一些先验知识,他们使用样本来更新这些知识。相比之下,频率论者试图在没有任何先验知识的情况下对世界做出精确的陈述。幸运的是,当涉及可视化不确定性时,贝叶斯和频率论者通常可以采用相同类型的策略。在这里,我将首先讨论频率论方法,然后描述贝叶斯环境特有的一些特定问题。
频繁使用者最常用误差条来表示不确定性。虽然误差条可用作不确定性的可视化,但它们并非没有问题,正如我在第 [9 章](boxplots-violins.html#boxplots-violins)中已经提到的那样(见图 9.1 )。读者很容易对错误条代表什么感到困惑。为了突出这个问题,在图 16.5 中,我展示了同一数据集的误差条的五种不同用法。该数据集包含巧克力棒的专家评级,对于在许多不同国家制造的巧克力棒,评级为 1 至 5。对于图 16.5 ,我提取了加拿大制造的巧克力棒的所有等级。在样本下方,显示为抖动点的条形图,我们看到样本平均值加/减样本的标准差,样本平均值加/减标准误差,以及 80%,95%和 99%置信区间。所有五个误差线都来自样本中的变化,它们都是数学上相关的,但它们具有不同的含义。它们在视觉上也非常独特。
频繁使用者最常用误差条来表示不确定性。虽然误差条可用作不确定性的可视化,但它们并非没有问题,正如我在第 [9 章](boxplots-violins.html#boxplots-violins)中已经提到的那样(见图 9.1 )。读者很容易对错误条代表什么感到困惑。为了突出这个问题,在图 16.5 中,我展示了同一数据集的误差条的五种不同用法。该数据集包含巧克力棒的专家评级,对于在许多不同国家制造的巧克力棒,评级为 1 至 5。对于图 16.5 ,我提取了加拿大制造的巧克力棒的所有等级。在样本下方,显示为抖动点的条形图,我们看到样本平均值加/减样本的标准差,样本平均值加/减标准误差,以及 80%,95%和 99%置信区间。所有五个误差都来自样本中的变化,它们都是数学上相关的,但它们具有不同的含义。它们在视觉上也非常独特。
![](img/d86ce7bc20104ee68b9b8ab25307c97d.jpg)
图 16.5:巧克力棒评级示例中样本,样本均值,标准差,标准误差和置信区间之间的关系。组成样本的观察结果(显示为抖动的绿点)代表来自加拿大制造商的 125 个巧克力棒的专家评级,评级从 1(令人不愉快)到 5(精英)。大橙色点代表评级的平均值。误差棒从上到下表示标准偏差的两倍,标准误差的两倍(平均值的标准偏差),以及平均值的 80%,95%和 99%置信区间。数据来源:曼哈顿巧克力学会 Brady Brelinski
每当您使用误差线显示不确定性时,您必须指定误差线表示的数量和/或置信度。
每当您使用误差条显示不确定性时,您必须指定误差条表示的数量和/或置信度。
标准误差近似由样本标准偏差除以样本大小的平方根给出,置信区间是通过将标准误差乘以小的常数值来计算的。例如,95%置信区间在平均值的任一方向上延伸约为标准误差的两倍。因此,较大的样本往往具有较窄的标准误差和置信区间,即使它们的标准偏差相同。当我们比较加拿大巧克力棒和瑞士巧克力棒的评级时,我们可以看到这种效应(图 16.6 )。加拿大和瑞士巧克力棒的平均评级和样品标准偏差相当,但我们对 125 加拿大棒和 38 瑞士棒进行评级,因此瑞士棒的平均置信区间要宽得多。
......@@ -68,7 +68,7 @@
在图 16.6 中,我同时显示三个不同的置信区间,使用较暗的颜色和较粗的线条表示较低置信度的区间。我将这些可视化称为 _ 分级误差条 _。评分有助于读者认识到存在一系列不同的可能性。如果我向一组人显示简单的误差条(没有分级),则至少其中一些人可能会确定性地感知误差条,例如表示数据的最小值和最大值。或者,他们可能认为误差条描绘了可能的参数估计的范围,即,估计值永远不会落在误差条之外。这些类型的误解称为 _ 确定性构造误差。_ 我们越能将确定性构造误差的风险降至最低,我们对不确定性的可视化就越好。
误差线很方便,因为它们允许我们同时显示许多估计值及其不确定性。因此,它们通常用于科学出版物,其主要目标通常是向专家观众传达大量信息。作为此类应用的一个例子,图 16.7 显示了在六个不同国家生产的巧克力棒的平均巧克力等级和相关置信区间。
误差条很方便,因为它们允许我们同时显示许多估计值及其不确定性。因此,它们通常用于科学出版物,其主要目标通常是向专家读者传达大量信息。作为此类应用的一个例子,图 16.7 显示了在六个不同国家生产的巧克力棒的平均巧克力等级和相关置信区间。
![](img/f2d8b4115e098d56a3cf5afe134861fd.jpg)
......@@ -82,7 +82,7 @@
图 16.8:来自五个不同国家的制造商的平均巧克力风味等级,相对于美国巧克力棒的平均等级。加拿大巧克力棒的评级明显高于美国棒。对于其他四个国家,在 95%置信水平下,对美国的平均评级没有显着差异。使用 Dunnett 方法对多重比较调整了置信水平。数据来源:曼哈顿巧克力学会 Brady Brelinski
在前面的图中,我使用了两种不同类型的误差线,分级和简单。更多变化是可能的。例如,我们可以在末尾绘制带或不带上限的误差条(图 16.9 a,c 对比图 16.9 b,d)。所有这些选择都有优点和缺点。渐变误差条突出显示对应于不同置信水平的不同范围的存在。然而,这些附加信息的另一面是增加了视觉噪声。根据图形的复杂程度和信息密集程度,简单的误差条可能优于分级条形图。是否绘制带有或不带帽的误差棒主要是个人品味的问题。一个上限突出显示一个错误栏的结束位置(图 16.9 a,c),而没有上限的错误栏同样强调整个区间范围(图 16.9 b, d)。此外,再次,帽增加了视觉噪声,因此在具有许多误差条的图中省略帽可能是优选的。
在前面的图中,我使用了两种不同类型的误差,分级和简单。更多变化是可能的。例如,我们可以在末尾绘制带或不带上限的误差条(图 16.9 a,c 对比图 16.9 b,d)。所有这些选择都有优点和缺点。渐变误差条突出显示对应于不同置信水平的不同范围的存在。然而,这些附加信息的另一面是增加了视觉噪声。根据图形的复杂程度和信息密集程度,简单的误差条可能优于分级条形图。是否绘制带有或不带帽的误差棒主要是个人品味的问题。一个上限突出显示一个错误栏的结束位置(图 16.9 a,c),而没有上限的错误栏同样强调整个区间范围(图 16.9 b, d)。此外,再次,帽增加了视觉噪声,因此在具有许多误差条的图中省略帽可能是优选的。
![](img/90e58c814edf53c1e255f80ffac5a873.jpg)
......@@ -98,7 +98,7 @@
![](img/c09cae468f608d7f8c2bd71500b7c36f.jpg)
图 16。11:宾夕法尼亚州 67 个县的中位数收入与中位年龄。误差线表示 90%置信区间。数据来源:2015 年五年美国社区调查
图 16。11:宾夕法尼亚州 67 个县的中位数收入与中位年龄。误差表示 90%置信区间。数据来源:2015 年五年美国社区调查
让我们回到频率论者和贝叶斯主义者的话题。频繁人员用置信区间评估不确定性,而贝叶斯学家计算 _ 后验分布 _ 和 _ 可信区间。_ 贝叶斯后验分布告诉我们给出输入数据的特定参数估计的可能性。可信区间表示一个值范围,其中参数值以给定概率预期,如从后验分布计算的。例如,95%的可信区间对应于后验分布的中心 95%。真实参数值有 95%的可能性处于 95%可信区间。
......@@ -148,7 +148,7 @@
## 16.4 假设结果图
所有不确定性的静态可视化都受到以下问题的困扰:观众可能将不确定性可视化的某些方面解释为数据的确定性特征(确定性构造误差)。我们可以通过动画可视化不确定性,通过循环通过许多不同但同样可能的情节来避免这个问题。这种可视化被称为假设结果图(Hullman,Resnick 和 Adar [2015](#ref-Hullman_et_al_2015) )或 HOP。虽然在打印介质中不可能有 HOP,但它们在可以以 GIF 或 MP4 视频形式提供动画可视化的在线设置中非常有效。 HOP 在口头陈述的背景下也可以很好地运作。
所有不确定性的静态可视化都受到以下问题的困扰:读者可能将不确定性可视化的某些方面解释为数据的确定性特征(确定性构造误差)。我们可以通过动画可视化不确定性,通过循环通过许多不同但同样可能的情节来避免这个问题。这种可视化被称为假设结果图(Hullman,Resnick 和 Adar [2015](#ref-Hullman_et_al_2015) )或 HOP。虽然在打印介质中不可能有 HOP,但它们在可以以 GIF 或 MP4 视频形式提供动画可视化的在线设置中非常有效。 HOP 在口头陈述的背景下也可以很好地运作。
为了说明 HOP 的概念,让我们再回到巧克力棒评级。当您站在杂货店考虑购买一些巧克力时,您可能不关心某些巧克力棒组的平均风味等级和相关的不确定性。相反,你可能想知道一个更简单的问题的答案,例如:如果我随机拿起一个加拿大和美国制造的巧克力棒,我应该期望哪两个更好?为了得到这个问题的答案,我们可以从数据集中随机选择加拿大和美国的条形,比较他们的评级,记录结果,然后多次重复这个过程。如果我们这样做,我们会发现在大约 53%的情况下,加拿大条形将排名更高,47%的情况下美国条形排名更高或两个条形并列。我们可以通过在这些随机抽取中的几个之间循环显示这个过程,并显示每个抽取的两个柱的相对排名(图 16.19 /图 16.20 )。
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册