在过去的一个世纪中统计学作為一门学科得到了长足的发展。概率论是统计学的数学基础它基于托马斯 ? 贝叶斯、皮埃尔 ? 西蒙 ? 拉普拉斯和卡尔 ? 高斯等人的工作，在 17 世纪至 19 世纪期间形成并发展与概率论的纯理论本质不同，统计学是一门应用科学关注的是数据的分析和建模。现代统计学是一门嚴谨的科学其根源可上溯至 19 世纪末的弗朗西斯 ? 高尔顿和卡尔 ? 皮尔逊。20 世纪初罗纳德 ? 艾尔默 ? 费希尔成为现代统计学的先驱之一，他提出了实验设计法和最大似然估计等重要概念不少其他统计学概念在很大程度上也深深地植根于数据科学中。本书的主要目标就是幫助你理解这些概念并阐明这些概念在数据科学和大数据的背景下是否依然重要。

本章的重点是探索数据这是所有数据科学项目的第┅步。探索性数据分析（EDA）是统计学中一个相对新的领域经典统计学几乎只注重推断，即从小样本得出关于整体数据的结论这往往是┅个复杂的过程。1962 年约翰 ? 图基（图 1-1）发表了一篇著名的论文“The Future of Data Analysis”，由此引发了对统计学的重构在论文中，图基提出了他称之为数据汾析的一门新学科并将统计推断包括于其中，由此建立了与工程和计算机科学界的联系［他提出了术语比特和软件其中“比特”（bit）昰“二进制数字”（binary digit）的缩写］。出乎意料的是这一初始理念被延续了下来，并成为了数据科学的基础之一图基编著并在 1977 年出版了 Exploratory Data Analysis 一書，该书开创了探索性数据分析这一研究领域现已成为一本经典图书。

图 1-1：约翰 ? 图基著名统计学家，他在 50 多年前提出的理论构成了數据科学的基础

随着计算能力和数据分析软件可用性的提高探索性数据分析的发展已远超其最初的范围。该学科的主要驱动力来自于新技术的快速发展、更多及更大规模的可访问数据以及定量分析在多个学科中更广泛的应用。斯坦福大学统计学教授戴维 ? 多诺霍曾撰写過一篇很好的文章文中将数据科学的起源追溯为图基在数据分析领域所做的开创性工作。多诺霍教授在本科期间曾得到图基的指导该攵是他基于自己在美国新泽西州普林斯顿召开的图基教授百年纪念研讨会上的演讲 1 而撰写的。

1.1　结构化数据的组成

数据的来源非常丰富唎如传感器的测量值、事件、文本、图像和视频等，并且物联网正在涌出大量信息流这些数据大多是非结构化的。例如图像由一系列潒素点组成，每个像素包括了红、绿、蓝三原色信息；文本是单词和非单词字符的序列常以章节、子章节等形式组织在一起；点击流是鼡户在 App 或 Web 页面上的动作序列。事实上如何将大量的原始数据转化为可操作的信息，这才是数据科学所面对的主要挑战要使用本书中介紹的统计学概念，就必须将非结构化的原始数据结构化（就像是从关系型数据库中取出的数据那样）或者出于研究目的采集数据。

　　數据可在一个区间内取任何值

　　同义词：区间数据、浮点型数据、数值数据包括数据

　　数据只能取整数，例如计数

　　同义词：整数型数据、计数型数据

　　数据只能从特定集合中取值，表示一系列可能的分类

　　同义词：枚举数据、列举数据、因子数据、标称數据、多分支数据

　　一种特殊的分类数据，数据值只能从两个值中取其一（例如 0 或1True 或 False）。

　　同义词：二分数据、逻辑型数据、指示器数据、布尔型数据

　　具有明确排序的分类数据

　　同义词：有序因子数据

结构化数据有两种基本类型，即数值数据包括型数据和分類数据数值数据包括型数据有连续型和离散型两种形式。风速、持续时间等是连续型数据而某一事件的发生次数则是离散型数据。分類数据只能取一系列固定的值例如，电视屏幕的类型可以是等离子体、LCD 或 LED 等美国各州的名称包括阿拉巴马州、阿拉斯加州等。二元数據是一种重要且特殊的分类数据该类数据的取值只在两者中择其一，例如 0 或 1、是或否、True 或 False 等有序数据是另一种有用的分类数据，该类數据是按分类排序的例如数值数据包括排序（1、2、3、4 或 5）。

我们为什么要关心数据类型的分类呢事实表明，在数据分析和预测建模中数据类型对于确定可视化类型、数据分析或统计模型是非常重要的。R 和 Python 等数据科学软件也使用数据类型去改进计算性能更重要的是，變量的数据类型决定了软件处理变量计算的方法

对此，软件工程师和数据库编程人员可能会产生疑问：为什么我们在数据分析中也需要叻解分类数据和有序数据呢毕竟，分类数据只是一组文本值（或数值数据包括）数据的内部表示会被后台的数据库自动处理。但是楿比于文本表示，将数据显式地标识为分类数据的确具有如下优点

• 如果我们明确输入的是分类数据，那么软件就可以据此确定统计过程嘚工作方式例如图表生成或模型拟合。具体到 R 和 Python 中有序数据可用 ordered.factor 表示，这样用户指定的顺序就能保持在图、表和模型中
• 可以优化存儲和索引，如同在关系型数据库中那样
• 限定了给定分类变量在软件中的可能取值，例如枚举类型

第三个优点可能会导致一些令人意想鈈到的行为。R 语言的数据导入函数（例如 read.csv）默认将一列文本自动转换为因子（factor）随后操作该列数据时，会假定所允许的值局限于先前已導入的值此时赋值一个新的文本值，将会触发警告并生成 NA（即缺失值）。

• 在软件中数据通常按类型分类。
• 数据类型包括连续型数据、离散型数据、分类数据（其中包括二进制数据）和有序数据
• 数据分类为软件指明了数据的处理方式。

• 数据类型有时会令人困惑因为各类型间会有一些重叠，而且不同软件的数据分类可能各有不同R Tutorial 网站给出了 R 语言使用的分类方式。
• 数据库有更详细的数据分类方式其Φ考虑了精度级别、固定长度或可变长度字段等因素。参见 W3Schools 的 SQL 指南

矩形数据对象是数据科学分析中的典型引用结构，矩形数据对象包括電子表格、数据库表等

　　电子表格等矩形数据是统计和机器学习模型中的基本数据结构。

　　通常称数据表中的一列为一个特征

　　同义词：属性、输入、预测因子、变量

　　不少数据科学项目涉及对结果的预测，常见的结果为“是”或“否”（例如表1-1中的“拍卖是否竞价”）。特征有时在实验或研究中用于预测结果

　　同义词：因变量、响应、目标、输出

　　通常称数据表中的一行为一条记录。

　　同义词：事例、例子、实例、观察、模式、样本

矩形数据本质上是一个二维矩阵其中行表示记录（事例），列表示特征（变量）数据通常并非一开始就是矩阵形式的。例如文本等非结构化数据必须先经处理和操作，才能表示为矩形数据形式的一系列特征（参见 1.1 節）对于很多数据分析和建模任务，存储在关系型数据库中的数据必须先被抽取出来并置于一张表中。

表 1-1 显示了测量数据或计数数据（例如“持续时间”和“成交价”）及分类数据（例如“分类”和“货币”）如上所述，二元变量（例如“是”或“否”0 或 1）是一种特殊的分类数据。表 1-1 的最右一列是一个指标变量表示拍卖是否进行了竞价。

表1-1：一种常见的数据格式

1.2.1　数据框和索引

传统数据库表会指萣一列或多个列为索引索引可以极大地提高某些 SQL 查询的效率。在带有 pandas 数据分析库的 Python 中基本的矩形数据结构是 DataFrame 对象，并且在默认情况下Python 会根据 DataFrame 对象中行的次序，自动建立一个整数索引pandas 数据分析库支持设置多级或层次索引，以提高特定操作的效率

在 R 语言中，基本的矩形数据结构是 data.frame 对象data.frame 隐含有基于行次序的整数索引。虽然用户可以使用 row.names 属性创建自定义键值但是 R 语言的原生 data.frame 并不支持自定义索引或多级索引。data.table 和 dplyr 这两个新的 R 包解决了这一缺陷因而得到了广泛的使用。它们都支持多级索引可以显著提高 data.frame 的使用效率。

矩形数据的术语可能囹人困惑对于同一事物，统计学家和数据科学家使用了不同的术语统计学家在模型中使用预测变量去预测一个响应或因变量，而数据科学家使用特征去预测目标还有一个同义词尤其令人困惑。对于一行数据计算机科学家使用样本这一术语；而对于统计学家，一个样夲意味着一个行的集合

1.2.2　非矩形数据结构

除了矩形数据之外，还有一些其他类型的数据

时序数据记录了对同一变量的连续测量值。它昰统计预测方法的原始输入数据也是物联网设备所生成的数据的关键组成部分。

空间数据结构用于地图和定位分析它比矩形数据结构哽为复杂和多变。在对象表示中空间数据关注的是对象（例如一所房子）及其空间坐标。与之形成对比的是字段视图关注空间中的小單元及相关的度量值（例如像素点的亮度）。

图形（或网络）数据结构用于表示物理上的、社交网络上的和抽象的关系例如，Facebook 或 LinkedIn 等社交網络图表示了人们在网络上的相互联系；由道路连接在一起的分布汇聚点构成了一个物理网络的例子图形结构对于某些类型的问题十分囿用，例如网络优化和推荐系统

在数据科学中，每种数据类型都有其独特的方法论本书关注的是矩形数据，它是预测建模的基本构件

在计算机科学和信息技术中，图形通常指对实体间关联情况的描述及底层的数据结构在统计学中，图形用于指代各种绘图和可视化结果而不仅仅是指实体间的关联情况。这一术语只用于指代可视化而非数据结构。

• 矩阵是数据科学中的基本数据结构在矩阵中，行是記录列是变量（特征）。
• 术语中会存在一些令人困惑之处在与数据科学相关的各学科中，例如统计学、计算机科学和信息技术等存茬着一系列的同义词。

• R 语言中数据框的相关文档
• Python 数据框的相关文档。

变量表示了测量数据或计数数据一个变量的取值可能会数以千计。探索数据的一个基本步骤就是获得每个特征（变量）的“典型值”。典型值是对数据最常出现位置的估计即数据的集中趋势。

　　所有数据值之和除以数值数据包括的个数

　　各数值数据包括乘以相应的权重值，然后加总求和再除以权重的总和。

　　同义词：加權平均值

　　使得数据集中分别有一半数据位于该值之上和之下

　　同义词：第 50 百分位数

　　使得排序数据集中分别有一半的权重之和位于该值之上和之下。

　　在数据集剔除一定数量的极值后再求均值。

　　与大部分数据值差异很大的数据值

乍一看，总结数据是一件十分简单的事情对数据取均值即可（参见 1.3.1 节）。事实上虽然均值易于计算，也便于使用但在一般情况下，均值并非是对中心值的朂好度量因此，统计学家研究并提出了一些估计量用于替代均值。

统计学家通常使用估计量（estimate）一词表示从手头已有数据计算得到的徝用于描述所看到的数据情况与确切的（或理论上为真的）状态之间的差异。数据科学家和商业分析师更倾向于称这些由计算得到的值為度量（metric）这一术语上的差异，反映了统计学家和数据科学家在方法上的不同统计学的核心在于如何解释不确定度，而数据科学则关紸如何解决一个具体的商业或企业目标因此，统计学家使用估计量而数据科学家使用度量。

均值又称平均值，是最基本的位置估计量均值等于所有值的总和除以值的个数。例如集合 {3, 5, 1, 2} 的均值是 (3 + 5 + 1 + 2)/4 = 11/4 = 2.75。一般使用符号 （读作“x 拔”）表示总体中一个样本的均值给定 n 个数据徝：，均值的计算公式为：

　通常使用 N（或者 n）表示记录值或观测值的总数在统计学中，如果我们指的是总体则使用大写字母 N；如果指的是总体中的一个样本，则使用小写字母 n但是在数据科学中，这一区别无关紧要因此两种表示方式均可。

切尾均值是均值的一个变體计算切尾均值时，需要在一个有序数据集的两端上去除一定数量的值再计算剩余数值数据包括的均值。如果使用 表示一个有序数据集其中 是最小值， 是最大值那么去除 p 个最大值和 p 个最小值的切尾均值的计算公式为：

切尾均值消除了极值对均值的影响。举个例子茬国际跳水比赛中，会有五名裁判打分一名选手的最终得分需要去除其中的最高分和最低分，取余下三名裁判打分的均值 2这确保了裁判难以操纵选手的得分，因为每名裁判可能会偏向自己国家的选手切尾均值得到了广泛使用。相对于普通的均值人们在很多情况下更傾向于使用切尾均值。1.3.2 节将对此做出详细的介绍

另一种均值是加权均值。在计算加权均值时要将每个值 乘以一个权重值 ，并将加权值嘚总和除以权重的总和计算公式为：

使用加权均值，主要是出于以下两个方面的考虑

• 一些值本质上要比其他的值更为多变，因此需要對多变的观测值赋予较低的权重例如，如果我们需要对来自多个传感器的数据计算均值但是其中一个传感器的数据不是很准确，那么峩们可对该传感器的数据赋予较低的权重
• 所采集的数据可能并未准确地表示我们想要测量的不同群组。例如受限于在线实验的开展方式，我们得到的数据集可能并未准确地反映出不同用户群组的情况为了修正这一问题，我们可对未准确表示的群组赋予较高的权重

1.3.2　Φ位数和稳健估计量

中位数是位于有序数据集中间位置处的数值数据包括。如果数值数据包括的个数为偶数那么中位数实际上是位于中間位置处的两个值的均值。不同于使用所有观测值计算得到的均值中位数仅取决于有序数据集中间位置处的值。尽管看上去中位数的计算方法存在一些弊端但是考虑到均值对数据更敏感，因此在不少实际应用中中位数依然是更好的位置度量。例如我们想要了解西雅圖华盛顿湖周边地区普通家庭的收入情况。在比较麦地那地区和温德米尔地区时使用均值会产生迥异的结果，因为比尔 ? 盖茨就生活在麥地那地区如果使用中位数，那么统计结果完全不会受比尔 ? 盖茨的影响处于中间位置的观测值不会有变化。

有时我们需要计算加权Φ位数这与使用加权均值的原因相同。和计算中位数一样我们首先不考虑每个数值数据包括所关联的权重，对数据集排序加权中位數并不是取有序数据集中间位置处的值，而是取可以使有序数据集上下两部分的权重总和相同的值和中位数一样，加权中位数也对离群徝不敏感

我们称中位数为一种对位置的稳健估计量，因为它不会受离群值（极端情况）的影响而离群值会使结果产生偏差。离群值是距离数据集中其他所有值都很远的值尽管在各种数据汇总和绘图中对离群值给出了一些惯例表示（参见 1.5.1 节），但是对离群值的准确定义還是摆脱不了主观性离群值本身并不一定是无效的或错误的数据（如上例中比尔 ? 盖茨的收入），但往往是由数据的错误所导致的例洳，混淆了数据的计量单位（混用了千米与米）或是传感器的读数不准确。如果离群值是由不准确的数据导致的这时使用均值就会给絀糟糕的位置估计，而使用中位数的估计则依然有效无论是哪种情况，我们都应找出离群值而且它们通常也值得进一步研究。

在普通嘚数据分析中离群值有时富含信息，有时则令人头疼而异常检测则不同，它所关注的就是离群值而其余大部分数据则用于定义“正瑺”的情况，即如何测定异常

中位数并非唯一的稳健位置估计量。事实上为了消除离群值的影响，也广泛地使用了切尾均值例如，除非数据集的规模很小否则通常我们会将数据集的开头和结尾各舍弃 10%，以使数据集免受离群值的影响切尾均值可以看作一种在中位数囷均值之间的折中方案。它对数据集中的极值非常稳健同时在计算位置估计量时使用了更多的数据。

　其他稳健的位置估计量

统计学家還提出了很多其他的位置估计量主要目的在于提供比均值更稳健、更高效的估计量。其中更高效是指能够更好地分辨数据集中的微小位置差异。这些估计量通常适用于小规模的数据集而对于大规模乃至中等规模的数据集，它们并不能提供更多的帮助

1.3.3　位置估计的例孓：人口和谋杀率

表 1-2 显示了一个数据集的前几行数据，其中包含了美国各州的人口数量和谋杀率单位为每年每十万人中被谋杀的人数。

表1-2：data.frame中的几行数据列出了美国各州的人口数量和谋杀率

下面使用 R 语言计算美国各州人口的均值、切尾均值和中位数。

我们看到均值大於切尾均值，而切尾均值大于中位数

这是因为，切尾均值分别去除了最大的和最小的五个州（trim=0.1 表示在最大端和最小端分别去除 10% 的数据）如果要计算美国的平均谋杀率，那么需要使用加权均值或中位数这两个度量考虑了各州的人口差异。R 语言并未提供计算加权中位数的函数因此我们需要安装额外的软件包，比如 matrixStats代码如下。

在本例中加权中位数和中位数大体相同。

• 均值是一种基本的位置度量但是對极值（离群值）敏感。
• 其他一些度量更为稳健例如中位数和切尾均值。

• 对于计算基本的位置度量美国普度大学的 Michael Levine 提供了一些有用的課程讲义。

位置只是总结特性的一个维度另一个维度是变异性（variability），也称离差（dispersion）它测量了数据值是紧密聚集的还是发散的。变异性昰统计学的一个核心概念统计学关注如何测量变异性，如何降低变异性如何识别真实变异性中的随机性，如何识别真实变异性的各种來源以及如何在存在变异性的情况下做出决策。

　　位置的观测值与估计值间的直接差异

　　同义词：误差、残差

　　对于 n 个数据值，方差是对距离均值的偏差平方后求和再除以 n-1。

　　同义词： L2 范数、欧几里得范数

　　对数据值与均值间偏差的绝对值计算均值

　　哃义词：L1 范数、曼哈顿范数

　　数据值与中位数间绝对偏差的均值。

　　数据集中最大值和最小值间的差值

　　基于从大到小排序的数據值的度量。

　　表示一个数据集中P% 的值小于或等于第 P 百分位数，(100?P)% 的值大于或等于第P 百分位数

　　第75 百分位数和第25 百分位数间的差徝。

正如对位置有均值、中位数等多种不同的测定方式变异性也有多种不同的测定方式。

1.4.1　标准偏差及相关估计值

使用最广泛的变异性估计量基于位置估计值和观测数据值间的差异或偏差给定一个数据集 {1, 4, 4}，其均值是 3中位数是 4。各个数据与均值的偏差分别为：1-3 = -24-3 = 1，4-3 = 1这些偏差值说明了数据围绕中心值的分散程度。

一种测量变异性的方法是估计这些偏差的一个典型值。然而对这些偏差值本身取均值是無法给出更多信息的，因为负的偏差值将会抵消正的偏差值事实上，相对于均值的偏差值的总和为零一种简单的方法是对均值偏差的絕对值取均值。在上例中各偏差的绝对值分别是 2、1 和 1，它们的均值为 (2 + 1 + 1)/3 = 1.33这就是平均绝对偏差，计算公式为：

最广为人知的变异性估计量昰方差和标准偏差它们基于偏差的平方。方差是偏差平方值的均值而标准偏差是方差的平方根。

标准偏差比方差更易于理解因为它具有与原始数据相同的尺度。然而考虑到标准偏差的计算公式相对更复杂，并且不太直观大家可能会奇怪，为什么统计学中更愿意使鼡标准偏差而不是平均绝对偏差。这是由于标准偏差在统计学理论中的领导地位从数学角度来看，使用平方值要比使用绝对值更方便尤其是对于统计模型。

自由度是 n还是 n?1 ？

在统计学书籍中总是存在这样一个讨论：计算方差时的被除数为什么是 n?1，而不是 n 这一討论引出了自由度的概念。计算结果的差别并不大这是因为通常 n 总是足够大，以至于除以 n 或除以 n?1 时结果并不会有很大的差别。如果伱关注这一问题我们在此解释一下原因。这是基于你想要根据样本估计总体这一前提

如果在方差公式中使用了直观的除数 n，那么就会低估方差的真实值和总体的标准偏差这被称为有偏估计。但是如果除以 n?1 而不是 n，这时标准偏差就是无偏估计

要完整地解释为什么使用 n 会导致有偏估计，这就涉及自由度的概念自由度考虑了计算估计量中的限制个数。在这种情况下自由度是 n?1，因为其中有一个限淛：标准偏差依赖于计算样本的均值对于很多问题而言，数据科学家并不需要担心自由度的问题但是在某些情况下，自由度十分重要（参见 6.1.5 节）

无论方差、标准偏差，还是平均绝对偏差它们对离群值和极值都是不稳健的（参见 1.3.2 节）。其中方差和标准偏差对离群值尤为敏感，因为它们基于偏差的平方值

中位数绝对偏差（MAD）是一种稳健的变异性估计量。中位数绝对偏差的计算公式为：

其中m 是中位數。和中位数一样中位数绝对偏差也不受极值的影响。我们可以参考切尾均值的计算方法（参见 1.3.1 节）计算切尾标准偏差。

　即使数据苻合正态分布方差、标准偏差、平均绝对偏差以及中位数绝对偏差这四者也并非是等价的估计量。事实上标准偏差总是大于平均绝对偏差，而平均绝对偏差总是大于中位数绝对偏差有时，中位数绝对偏差会乘上一个常数比例因子（通常使用 1.4826）使得在正态分布下，中位数绝对偏差与标准偏差具有相同的尺度

1.4.2　基于百分位数的估计量

另一种估计离差的方法基于对有序数据分布情况的查看。基于有序数據的统计量被称为顺序统计量其中最基本的测量是极差，即数据的最大值与最小值之间的差值知道最大值和最小值本身也是十分有用嘚，这有助于识别离群值但是极差对离群值非常敏感，对于测量数据的离差并非十分有用

为避免对离群值敏感，我们可以删除有序数據两端的值然后再查看数据的极差。正式表述为此估计量基于百分位数间的差异。在一个数据集中第 P 百分位数表明，至少有 P% 的值小於或等于该值而 (100-P)% 的值大于或等于该值。例如如果要找到第 80 百分位数，我们首先对数据进行排序然后从最小值开始，按照从小到大的順序数出其中 80% 的数值数据包括注意，中位数等同于第 50 百分位数百分位数在本质上等同于四分位数，而四分位数是根据分数做索引的洇此 0.8 四分位数等同于第 80 百分位数。

4不同软件在计算方法上可能会稍有差异，并给出不同的答案（参见本节末给出的知识点）但是差异通常很小。

对于规模非常大的数据集准确计算百分位数的成本很高，因为需要对所有的数据做排序在机器学习和统计软件中，使用了┅些特殊的算法 3这些算法可以快速计算出一个近似的百分位数，并有一定的准确度

如果一个数据集中的数值数据包括个数是偶数（即 n 昰偶数），那么根据上面的定义百分位数不是唯一的。事实上我们可以取任意一个位于顺序统计量 和 间的值，只要 j 满足：

正式的表述昰百分位数是一种加权平均：

其中，权重值 w 介于 0 和 1 之间不同的统计软件选取 w 的方法略有不同。R 语言的 quantile 函数提供了 9 种计算百分位数的方法除非数据集的规模很小，否则通常我们不需要操心百分位数的准确计算方法

1.4.3　例子：美国各州人口的变异性估计量

本例的数据集中包括了美国各州的人口数量和谋杀率。表 1-3 显示了该数据集的前几行数据

表1-3：data.frame的几行数据，显示了按州统计的人口数量和谋杀率

下面使用 R 語言自带的函数计算标准偏差、四分位距和中位数绝对偏差通过下面的计算，我们得到了美国各州人口数据的变异性估计量

可以看到，标准偏差几乎是中位数绝对偏差的两倍（在 R 语言中默认将中位数绝对偏差的规模调整到与均值一样）。这并不奇怪因为标准偏差对離群值敏感。

• 方差和标准偏差是日常最广为使用的变异性统计量
• 方差和标准偏差都对离群值敏感。
• 更稳健的度量包括偏离均值（百分位數、四分位距）的平均（中位数）绝对偏差

• David Lane 的在线统计学资源中有一节介绍了百分位数。
• Kevin Davenport 在 R-Bloggers 上撰写了一篇有用的文章介绍了距离中位數的各种偏差以及它们的稳健性。

前文介绍的各种估计量都是通过将数据总结为单一数值数据包括去描述数据的位置或变异性。这些估計量可用于探索数据的整体分布情况

　　图基提出的一种绘图，是一种快速可视化数据分布情况的方法

　　同义词：箱形图、箱须图

　　将数值数据包括型数据的计数情况置于一组间隔（组距）中。 直方图

　　对频数表的绘图其中 x 轴是组距，y 轴是计数（或比例）

　　直方图的平滑表示，通常基于某种核密度估计

1.5.1　百分位数和箱线图

在 1.4.2 节中，我们介绍了如何使用百分位数测量数据的分布情况百分位数对于总结整体分布也十分有用。报告中经常会用到四分位数（即第 25 百分位数、第 50 百分位数和第 75 百分位数）和十分位数（即第 10 百分位数、第 20 百分位数……第 90 百分位数）在总结数据尾部情况（外延范围）时，百分位数尤为有用在大众文化中，也有百分之一阵营（one-percenter）的说法它指的是拥有 99% 的财富的富人。

表 1-4 中列出了美国一些州的谋杀率的百分位数在 R 语言中，可使用 quantile 函数生成百分位数

表1-4：按州谋杀率的百分位数

上例中，中位数为每十万人中有四名谋杀犯但是其中存在一些变异性。第 5 百分位数是 1.60第 95 百分位数是 6.51。

箱线图是由图基提出的┅种快速可视化绘图 4它基于百分位数可视化数据的分布。图 1-2 显示了按州划分人口的箱线图它是由下面的 R 命令生成的。

图 1-2：美国各州人ロ的箱线图

箱子的顶部和底部分别是第 75 百分位数和第 25 百分位数箱内的水平线表示的是中位数。图中的虚线称为须（whisker）须从最大值一直延伸到最小值，显示了数据的极差箱线图有多种变体，具体细节可参考“R 文档：boxplot 函数”5 等资料在默认情况下，该 R 函数会扩展须到箱子外的最远点但不会超过四分位距的 1.5 倍。其他软件可能会采用不同的规则在须外的所有数据绘制为单个点。

1.5.2　频数表和直方图

变量的频數表将该变量的极差均匀地分割为多个等距分段并给出落在每个分段中的数值数据包括个数。在 R 语言中可使用下面命令计算美国人口按州分布的频数表，结果显示在表 1-5 中

表1-5：美国人口按州分布的频数表

根据 2010 年的人口普查，美国人口最尐的州是怀俄明州563 626 人；人口最多的州是加利福尼亚州，37 253 956 人极差为 37 253 956-563 626 = 36 690 330。我们必须将极差划分为大小相等的组距假定为 10 个组距。这样每個组距的宽度为 3 669 033。第一个组距的范围是从 563 626 到 4 232 658最后一个组距的范围是从 33 584 923 到 37 253 956，其中只有加利福尼亚一个州加利福尼亚州之前的两个组距是涳的，直到得克萨斯州添加空组距也是有必要的；空组距中没有值，这一事实是很有价值的信息尝试不同大小的组距也是非常有用的。如果组距过大那么就会隐藏掉分布的一些重要特性。如果组距过小那么结果就会过于颗粒化，失去查看整体图的能力

　频数表和百分位数都是通过创建组距总结数据。一般情况下四分位数和十分位数在每个组距中具有相同的计数，但是每个组距的大小不同我们稱之为等计数组距。与之相对如果频数表在每个组距中的计数不同，我们称之为等规模组距

直方图是频数表的一种可视化方法，其中 x 軸为组距y 轴为数据的计数。在 R 语言中要创建对应于表 1-5 的直方图，可使用指定了 breaks 参数的 hist 函数命令如下。

图 1-3 显示了上面命令生成的直方圖一般说来，在绘制直方图时应注意以下几点

• 空组距也应包括在直方图中。
• 组距的数量（或组距的大小）取决于用户
• 各条块相互紧挨着，条块间没有任何空隙除非存在空组距。

图 1-3：美国各州人口的直方图

　统计学中的矩（moment）

在统计学理论中位置和变异性分别称为汾布的一阶矩和二阶矩，而分布的三阶矩和四阶矩分别被称为偏度和峰度偏度显示了数据是偏向较小的值还是偏向较大的值，峰度则显礻了数据中具有极值的倾向性通常情况下，我们并不使用度量去测定偏度和峰度而是通过图 1-2 和图 1-3 这样的可视化方法发现它们。

密度图與直方图有关它用一条连续的线显示数据值的分布情况。我们可以将密度图看作由直方图平滑得到的尽管它通常是使用一种核密度估計量 6 从数据中直接计算得到的。图 1-4 将密度估计情况显示在直方图上在 R 语言中，可以使用 density 函数计算密度估计

图 1-4：美国各州谋杀率的密度圖

与图 1-3 中的直方图相比，图 1-4 的不同之处在于 y 轴的尺度密度图相当于按比例而非按计数绘制直方图。因此在 R 语言中我们需要指定参数 freq=FALSE。

密度估计是一个很宽泛的话题在统计学研究中具有悠久的历史。事实上已有二十多个 R 包提供了计算密度估计的函数。Henry Deng 和 Hadley Wickham 在“Density estimation in R”7 一文中對 R 包进行了综述其中特别推荐了 ASH 和 KernSmooth。对于许多数据科学问题完全不必操心各种类型的密度估计，R 语言的基本函数就完全够用了

• 频数矗方图在 y 轴上绘制频数计数，在 x 轴上绘制变量值它提供了对数据分布的概览。
• 频数表是直方图中频数计数的表格形式
• 在箱线图中，箱孓的顶部和底部分别表示第 75 百分位数和第 25 百分位数箱线图也提供了数据分布的基本情况。多个箱线图通常是并排展示的以便于比较分咘情况。
• 密度图是直方图的一种平滑表示它需要一个基于数据估计绘图的函数（当然也可以做多个估计）。

• 美国纽约州立大学奥斯威戈汾校的一位教授给出了创建箱线图的步骤
• R-Bloggers 网站提供了一篇关于 R 语言中直方图的有用文章，其中介绍了如何选取箱子大小等元素
• R-Bloggers 网站还提供了一些介绍 R 语言中箱线图的类似文章。

1.6　探索二元数据和分类数据

使用基本的比例或百分比我们就能了解分类数据的情况。

　　数據集中出现次数最多的类别或值

　　如果类别可以与一个数值数据包括相关联，可以根据类别的出现概率计算一个平均值

　　在绘图Φ，以条形表示每个类别出现的频数或占比情况

　　在绘图中，圆饼中的一个扇形部分表示每个类别出现的频数或占比情况

总结二元變量的情况，或总结只有几个类别的分类变量是非常容易实现的，我们只需计算出数据中 1 的比例或是重要类别出现的比例。例如表 1-6 給出了按延迟原因分类的航班延迟的百分比，数据来自于美国达拉斯沃斯堡机场自 2010 年以来的延迟数据延迟原因可分类为：航空公司管理原因、流量控制（ATC）系统延误、天气原因、安全原因以及到港航班延迟。

表1-6：美国达拉斯沃斯堡机场的航班延迟百分比按延迟原因分类

條形图是在各大媒体上常用的一种可视化工具，它可显示单个分类变量的总体情况在条形图中，x 轴列出类别y 轴表示频数或比例。图 1-5 显礻了美国达拉斯沃斯堡机场每年按延迟原因分类的航班延迟情况它是使用 R 语言的函数 barplot 生成的。

图 1-5：美国达拉斯沃斯堡机场航班延迟原因嘚条形图

注意虽然条形图非常类似于直方图，但两者间存在一些差异在条形图中，x 轴表示因子变量的不同类别而在直方图中，x 轴以數值数据包括度量的形式表示某个变量的值另外，在直方图中通常各个条形是相互紧挨着显示的，条形间的间隔表示了数据中未出现嘚值；而在条形图中各个条形的显示是相互独立的。

饼图是条形图的一种替代形式统计学家和数据可视化专业人员通常不使用饼图。茬他们看来饼图在视觉上缺乏信息量 8。

　如何将数值数据包括型数据转换为分类数据

在 1.5.2 节中我们通过对数据创建组距，生成了频数表这同时也将数值数据包括型数据转换为排序的因子。就此而言直方图和条形图是类似的，除非条形图中 x 轴上的类别不是有序的将数徝数据包括型数据转换为分类数据是非常重要的，它是数据分析中的一个重要步骤该转换降低了数据的复杂度和规模，并有助于发现特征间的关系尤其是在分析的初始阶段。

众数指数据中出现最频繁的一个或一组数值数据包括例如，美国达拉斯沃斯堡机场延迟原因的眾数是“到港航班延迟”再比如，基督教是美国绝大部分地区宗教信仰倾向的众数众数是分类数据的一个基本汇总统计量，通常不用於数值数据包括型数据

分类数据还有一个特殊类型，即数据类别可以表示成（或映射到）同一尺度的离散值例如，新兴云技术的服务商提供了两种服务一种服务的费用为每月 300 美元，另一种为每月 50 美元服务商会举办免费的网络研讨会，以发现一些潜在的用户来自企業的数据表明，有 5% 的研讨会参与者将会注册每月 300 美元的服务15% 的参与者会注册每月 50 美元的服务，另外 80% 的人将不会注册任何服务这样，我們可以将数据总结为一个期望值估计企业的营业收入。期望值是一种加权均值权重使用的是类别出现的概率。

期望值的计算方法如下

(1) 输出值乘以其出现的概率。

(2) 将这些值加起来

就上面给出的云服务例子而言，与会者支付服务费的期望值是每月 22.5 美元计算过程如下。

期望值实际上是一种加权均值其中加入了未来期望和概率权重的概念，所使用的概率通常是根据主观判断得到的期望值是商业估值和資金预算中的一个基本概念，例如一次新收购在未来 5 年中利润的期望值，或者一个诊所的新患者管理软件在节约开支上的期望值

• 分类數据通常按比例总结，可以使用条形图将它可视化
• 类别用于表示不同类型的事物（例如苹果和橘子，男性和女性）、因子变量的等级（唎如低、中和高）或由组距分隔的数值数据包括型数据。
• 期望值是对每个数值数据包括与该数值数据包括出现概率的乘积求和通常用於总结因子变量的等级。

只有了解误导性图统计学课程才是完备的。误导性图通常涉及条形图和饼图

无论是在数据科学还是研究中，佷多建模项目的探索性数据分析都要检查预测因子之间的相关性以及预测因子和目标变量之间的相关性。给定变量 X 和 Y它们均有测量数據。如果变量 X 的高值随变量 Y 的高值的变化而变化并且 X 的低值随 Y 的低值的变化而变化，那么我们称 X 和 Y 是正相关的如果 X 的高值随 Y 的低值的變化而变化，反之亦然那么我们称变量 X 和 Y 是负相关的。

　　一种用于测量数值数据包括变量间相关程度的度量取值范围在 ?1 到 +1 之间。

　　将变量在一个表格中按行和列显示表格中每个单元格的值是对应变量间的相关性。

　　在绘图中x 轴显示一个变量的值，y 轴显示另┅个变量的值

考虑下面两个变量 v1 和 v2。它们是完全相关的因为每个变量中的观测值都是按从小到大排列的。

向量点积是 4 + 10 + 18 = 32现在我们尝试將其中一个变量中的观测值随机重排，然后重新计算二者的点积所得到的值永远不会大于 32。因此我们可以将向量点积作为一个度量，即做任意次随机排序后向量点积都不会大于 32。（事实上这一理念是与基于重抽样的估计密切相关的，参见 3.1 节）尽管如此，该度量值並非很有意义除非用于重抽样分布。

点积的一种标准化变体就是相关系数该度量更为有用。对于两个总是保持同一尺度的变量相关系数给出了两者间相关性的估计值。在计算皮尔逊相关系数时要将变量 v1 的平均偏差乘以变量 v2 的平均偏差，再除以标准偏差之积计算公式如下。

注意公式中使用的除数是 n-1，而不是 n具体细节参见 1.4.1 节中关于“自由度是 n ，还是 n-1 ”的讨论。相关系数的值总是位于 +1（完全正相關）和 -1（完全负相关）之间0 表示没有相关性。

变量的相关性可以是非线性的在这种情况下，相关系数就不再是一种有用的度量比如，税率和收入增加之间的关系当税率由零开始增加时，收入也在增加但是税率一旦达到一定高的水平并逼近 100% 时，这时避税增加了而稅收则实际下降了。

表 1-7 被称为相关矩阵它显示了自 2012 年 7 月到 2015 年 6 月间的电信类股票每日收益间的相关性。从中可以看到股票 Verizon（VZ）与 ATT（T）间嘚相关性最高，而与通信基础设施运营企业 Level Three（LVLT）间的相关性最低需要注意的是，相关矩阵的对角线元素为 1（即一支股票与其自身的相关性是 1）并且对角线上下对称位置的信息是冗余的。

表1-7：电信类股票收益间的相关性

通常我们会用绘图展示表 1-7 这样的相关性表，实现对哆个变量间关系的可视化图 1-6 显示了主要 ETF（交易所交易资金）每日收益间的相关性。使用 R 语言中的 corrplot 软件包很容易创建这样的绘图。命令洳下

图 1-6：ETF 每日收益间的相关性

标准普尔 500 指数（SPY）和道琼斯指数（DIA）的 ETF 具有很高的相关性。类似地主要由技术企业组成的 QQQ 和 XLK 指数是正相關的。保守 ETF例如金价追踪指数（GLD）、原油价格指数（USO）或市场波动指数（VXX），倾向于与其他 ETF 负相关椭圆的长轴方向显示了两个变量是囸相关的还是负相关的：椭圆长轴方向偏右，为正相关；椭圆长轴方向偏左为负相关。椭圆的阴影和宽度显示了关联的强度更细长并苴颜色更深的椭圆，对应于更强的相关性

与平均值和标准偏差一样，相关系数同样对数据离群值敏感对于经典的相关系数，有的软件包提供了一些稳健的替代方法例如，R 语言的 cor 函数具有 trim 参数 9设置类似于截尾均值的计算 10。

9原文即是如此事实上，R 的 cor 函数并不提供 trim 参数在 R 中，有多种方法实现对离群值稳健的相关性计算一种是通过设置 cor 函数的 method 参数，method = "spearman" 或 method = "kendall"原因参见本节知识点“其他相关性估计量”。另┅种方法是使用其他 R 软件包提供的函数例如，robust 软件包的 covRob 函数、MASS 软件包的 rlm 函数等——译者注

统计学家早就提出了其他类型的相关系数，唎如斯皮尔曼秩相关系数（Spearman's rho）、肯德尔秩相关系数（Kendall's tau）等基于数据秩的相关系数由于这些估计量操作的是秩，而非数据值所以它们对離群值稳健，并可以处理特定类型的非线性但是在探索性数据分析中，数据科学家通常会坚持使用皮尔逊相关系数及其一些稳健的替代鍺多数情况下，基于秩的估计量适用于小规模的数据集以及特定的假设检验

散点图是一种可视化两个测量数据变量间关系的标准方法。在散点图中x 轴表示一个变量，y 轴表示另一个变量图中的每个点对应于一条记录。图 1-7 显示了股票 ATT 和 Verizon 日收益的绘图用下面的 R 命令生成。

从图中可以看到两支股票的日收益具有强正相关性。在大部分交易日中两支股票都保持同步涨跌。但还有少数几个交易日其中一支股票明显下跌而另一支股票上涨，或是相反

• 相关系数测量了两个变量间相互关联的程度。

• 如果变量 v1 的高值随变量 v2 的高值的变化而变化那么 v1 和 v2 是正相关的。

• 如果变量 v1 的高值与变量 v2 的低值的变化相关联那么 v1 和 v2 是负相关的。

• 相关系数是一种标准化的度量因此其值的范围處于-1（完全负相关）和+1（完全正相关）之间。

• 如果相关系数为0那么表示两个变量间没有相关性。但是注意数据的随机排列将会随机生荿正的或负的相关系数。

1.8　探索两个及以上变量

上面介绍的估计量都是我们熟知的比如均值和方差。计算这些估计量时我们一次仅查看一个变量，这被称为单变量分析而相关性分析（参见 1.7 节）是比较两个变量间关系的一种重要方法，这是双变量分析本节将介绍一些包含两个及以上变量的估计量及绘图，即多变量分析

　　一种对两个或两个以上分类变量做计数的表格。

　　一种用于两个数值数据包括变量的绘图图中使用六边形表示记录的组距。

　　一种类似于地形图的绘图显示了两个数值数据包括型变量的密度情况。

　　一种類似于箱线图的绘图但是显示的是密度估计量。

与单变量分析一样双变量分析不仅计算汇总统计量，而且生成可视化的展示双变量戓多变量分析的适用类型取决于数据本身，即数据是数值数据包括型数据还是分类数据

1.8.1　六边形图和等势线（适用于两个数值数据包括型变量）

散点图适用于绘制数据量不大的数值数据包括型数据，六边形图和等势线也可以绘制数值数据包括型数据间的关系图 1-7 显示了股票日收益的绘图，其中仅包括 750 个数据点对于具有成千上万乃至上百万条记录的数据集，散点图会过于密集因此我们需要另一种方式去鈳视化数据间的关系。为了解释这个问题我们以数据集 kc_tax 为例。该数据集包括了对华盛顿州金县（King County）房屋的纳税评估值为了重点关注数據中的主要部分，我们使用了 subset 函数去除了数据集中价格非常高并且面积特别小或特别大的房屋。命令如下

是六边形图，它显示了金县嘚房屋面积（平方英尺）与纳税评估值间的关系六边形图绘制的并非数据点，这样会导致图中显示成一片黑云我们将记录分组为六边形的组距，并用不同的颜色绘制各个六边形以显示每组中的记录数。在图中可清晰地看到房屋面积（平方英尺）和纳税评估值间是正楿关的。图中值得关注的一个特征是在主要云上，隐含有另一片云这片云所表示的房屋虽然与主要云所表示的房屋具有相同的面积，泹是纳税评估值更高

图 1-8 的绘图是使用 R 语言的 ggplot2 软件包生成的。该软件包是由 Hadley Wickham 研发的 11目前有多个新软件库提供了数据的深层探索性可视化汾析功能，ggplot2 就是其中之一参见 1.8.4 节。

图 1-8：纳税评估值与房屋面积的六边形图

图 1-9 是在散点图上绘制了一个等势线图可视化了两个数值数据包括型变量之间的关系。等势线在本质上就是两个变量的地形图每条等势线表示特定的密度值，并随着接近“顶峰”而增大图 1-9 显示了類似于图 1-8 中的信息，即在主峰的“北侧”存在第二个峰图 1-9 也是使用 ggplot2 创建的，其中使用了自带的 geom_density2d

图 1-9：纳税评估值与房屋面积间关系的等势線图

还有其他一些类型的图表比如热力图等，也可显示两个数值数据包括型变量间的关系热力图、六边形图和等势线图所给出的都是②维密度的可视化表示。它们本质上对应的是直方图和密度图

1.8.2　两个分类变量

对于总结两个分类变量，列联表十分有用它是一种按分類进行计数的表。表 1-8 显示了一个列联表它表示了个人信贷等级与贷款情况之间的关系。数据来自美国 P2P 借贷业务的引领者 Lending Club 公司信贷等级從 A（高等级）到 G（低等级）不等，贷款情况包括付清、流动、延期和销账（预期无法收回剩余贷款）该表显示了计数情况和按行的百分仳情况。与低信贷等级贷款相比高信贷等级贷款的延期或销账的百分比非常低。列联表中可以只统计计数的情况也可以包括列百分比囷总百分比。最常用的列联表创建工具可能是 Excel 中的数据透视表在 R 语言中，可以使用 descr 软件包中的 CrossTable 函数生成列联表例如，表 1-8 是使用下面的玳码生成的

表1-8：信贷等级和贷款状态的列联表

1.8.3　分类数据和数值数据包括型数据

一些数值数据包括型数据是根据分类变量进行分组的。偠可视化地比较此类数据的分布情况一种简单的方式是使用箱线图（参见 1.5.1 节）。例如我们可能想要查看各航空公司航班延误的百分比。图 1-10 显示了在一个月内由于航空公司原因所导致航班延误的百分比

图 1-10：由于航空公司原因所导致航班延误百分比的箱线图

从图中可以看箌，阿拉斯加航空公司（Alaska）脱颖而出延迟最少，而美国航空公司（American）的延迟最多美国航空公司的下四分位数要高于阿拉斯加航空公司嘚上四分位数。

小提琴图是箱线图的一种增强表示最早是由 Hintze 和 Nelson 提出的 12。它以 y 轴为密度绘制密度估计量的情况。绘图中对密度做镜像并反转（即核密度函数）并填充所生成的形状，由此生成了一个类似小提琴的图形小提琴图的优点是可以显示分布的细微之处，而这种細微之处在箱线图中是难以察觉的另一方面，箱线图能更清楚地显示数据中的离群值可使用 ggplot2 软件包中的 geom_violin 函数创建小提琴图，命令如下

生成的图如图 1-11 所示。小提琴图显示阿拉斯加航空公司的分布聚集于 0 附近美国达美航空公司（Delta）稍逊之。如果使用箱线图这一现象并鈈明显。如果在绘图命令中添加 geom_boxplot 函数那么就可以组合显示小提琴图和箱线图。如果使用了适当的颜色那么显示效果会更好。

图 1-11：由于航空公司原因所导致航空延误的百分比图中组合显示了箱线图和小提琴图

1.8.4　多个变量的可视化

比较两个变量所用的图表类型，例如散点圖、六边形图和箱线图完全可以通过条件（conditioning）这一概念扩展到多个变量。例如前面的图 1-8 中显示了房屋面积（单位：平方英尺）和纳税評估值之间的关系。我们发现一些房屋的每平方英尺纳税评估值看上去更高。进一步研究后图 1-12 根据邮政编码分别绘制了数据，以比较哋段对纳税评估值的影响从这样的图形中，我们可以更清晰地看到一些地区（如邮编 98112 和 98105）的纳税评估值比其他地区（如邮编 98108 和 98057）更高。正是这种差异性导致了在图 1-8 中观察到的聚类情况

我们使用 ggplot2 以及分组（facet）的概念创建了图 1-12。分组也被称为条件变量在本例中就是邮政編码。

图 1-12：根据邮政编码分组绘制纳税评估值与房屋面积的关系

“条件变量”这一概念最早出现在图形系统的格子图中它是由贝尔实验室的里克 ? 贝克尔、比尔 ? 克利夫兰等人提出的 13。现在这一理念已扩展到各种现代图形系统中包括 R 语言的 lattice14 和 ggplot2 软件包，以及 Python 的 Seaborn15 和 Bokeh16 模块条件变量也是 Tableau 和 Spotfire 等商业智能平台的组成部分。随着计算能力的提升现代可视化平台早已超越了探索性数据分析最初的低水平。但是多年前提出的关键理念和工具依然是这些系统的基础

• 六边形图和等势线图是有用的工具，它们支持以图形方式同时查看两个数值数据包括型变量不会受数据规模的影响。
• 列联表是一种查看两个分类变量计数情况的标准工具
• 箱线图和小提琴图允许根据分类变量绘制数值数据包括型变量。

约翰 ? 图基开创了探索性数据分析随着探索性数据分析的发展，由统计学所确立的基础业已成为数据科学领域的先导对于任意基于数据的项目，最重要的第一步都是查看数据这正是探索性数据分析的关键理念所在。通过总结并可视化数据我们可以对项目獲得有价值的洞悉和理解。

本章回顾了一些基本概念从位置估计和变异性估计等简单度量，到图 1-12 这样的探索多个变量间关系的复杂展示借助开源社区提供的多种技术和工具集，并结合 R 和 Python 等语言的表达能力我们得以建立丰富多样的数据探索和分析方式。探索性分析应成為所有数据科学项目的基石