数据分析领域常提到的数据预处理，说的到底是什么？

在做数据分析时，我想许多数据分析师会像《R语言实战第二版》的作者卡巴科弗那样发出感叹：“数据分析师在数据预处理上花费了60%的时间……”。是的，我们所知道的建模，评估模型等数据分析工作所花费的时间远远没有数据预处理的多。这件事虽然麻烦多事但却“功在千秋”，如果在做数据分析时前期的数据预处理做的很好，那后面的步骤会说话的话，相信我，它们一定会感谢你的，这就跟减肥一样，过程艰难，但人家创造101的杨超越不也下定决心唱出一句：“燃烧我的卡路里，你是最棒的”嘛。

数据预处理一方面是为了提高数据的质量，另一方面也是为了适应所做数据分析的软件或者方法。一般来说数据预处理步骤有数据清洗、数据集成、数据变换、数据规约，每个大步骤又有一些小的细分点，当然了，这四个大步骤在做数据预处理时未必都要执行。

数据清洗

数据清洗，顾名思义，“黑”的变成“白”的，“脏”的数据变成“干净”的，脏数据表现在形式上和内容上的脏：形式上的脏如缺失值、带有特殊符号的；内容上的脏如异常值。

缺失值

缺失值包括缺失值的识别和缺失值的处理。

在R里缺失值的识别使用函数is.na()判别，函数complete.cases()识别样本数据是否完整。

缺失值处理常用的方法有删除、替换和插补。

1、删除法：删除法根据删除的不同角度又可以分为删除观测样本和变量，删除观测样本（行删除法），在R里na.omit()函数可以删除所含缺失值的行，这就相当于减少样本量来换取信息的完整度，但当变量有较大缺失并且对研究目标影响不大时，可考虑删除变量R里使用语句mydata[,-p]来完成，mydata表示所删数据集的名字，p是该删除变量的列数，-表示删除。

2、替换法：替换法顾名思义对缺失值进行替换，根据变量的不同又有不同的替换规则，缺失值的所在变量是数值型用该变量下其他数的均值来替换缺失值；变量为非数值变量时则用该变量下其他观测值的中位数或众数替换。

3、插补法：插补法分为回归插补和多重插补；回归插补指的是将插补的变量当作因变量y，其他变量看错自变量，利用回归模型进行拟合，在R里使用lm（）回归函数对缺失值进行插补；多重插补是指从一个包含缺失值的数据集中生成一组完整的数据，多次进行，产生缺失值的一个随机样本，在R里mice（）包可以进行多重插补。

异常值

异常值跟缺失值一样包括异常值的识别和异常值的处理。

异常值的识别通常用单变量散点图或箱形图来处理，在R里dotchart（）是绘制单变量散点图的函数，boxplot（）函数绘制箱现图；在图形中，把远离正常范围的点当作异常值。

异常值的的处理有删除含有异常值的观测（直接删除，当样本少时直接删除会造成样本量不足，改变变量的分布）、当作缺失值（利用现有的信息，对其当缺失值填补）、平均值修正（用前后两个观测值的均值修正该异常值）、不处理。在进行异常值处理时要先复习异常值出现的可能原因，再判断异常值是否应该舍弃。

数据集成

所谓数据集成就是将多个数据源合并放到一个数据存储中，当然如果所分析的数据原本就在一个数据存储里就不需要数据的集成了（多合一）。

数据集成的实现是将两个数据框以关键字为依据，在R里用merge（）函数实现，语句为merge（dataframe1, dataframe2,by=”关键字“”），默认按升序排列。

在进行数据集成时可能会出现如下问题：1 同名异义，数据源A中某属性名字和数据源B中某属性名字相同，但所表示的实体不一样，不能作为关键字；2 异名同义，即两个数据源某个属性名字不一样但所代表的实体一样，可作为关键字；3 数据集成往往造成数据冗余，可能是同一属性多次出现，也可能是属性名字不一致导致的重复，对于重复属性一个先做相关分析检测，如果有再将其删除。