r语言中数据分析（R语言数据质量分析）

数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：缺失值、异常值、不一致的值，和重复数据及含有特殊符号（如#、￥、*）的数据。

接下来，我们主要对数据中的缺失值、异常值和一致性进行分析。

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。

缺失值的存在，将会产生以下一些影响：

1. 数据挖掘建模将丢失大量的有用信息；

2. 数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握；

3. 包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。

缺失值的处理，从总体上来说分为删除存在缺失值的记录、对可能值进行插补和不处理三种情况。

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响。重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值分析也被称为离群点分析。

简单统计量分析

可以先对变量作一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如，客户年龄的最大值为199岁，则该变量的取值存在异常。

3σ原则

如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P(|x-µ|>3σ)<=0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

箱线图分析

箱线图提供了识别异常值的一个标准：异常值通常被定义为小于QL-1.5IQR或大于QU 1.5IQR的值。QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数QU与下四分位数QL之差，其间包含了全部观察值的一半。

箱线图依据实际数据绘制，没有对数据作任何限制性要求，如服从某种特定的分布形式，它只是真实直观地表现数据分布的本来面貌；另外，箱线图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性；多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱线图识别异常值的结果比较客观，在识别异常值方面有一定的优越性。

某餐饮系统中的销售额数据可能出现缺失值和异常值，该数据的下载地址为：https://github.com/windform/R/tree/master/R语言数据挖掘/数据质量分析/chapter3/data

分析餐饮系统日销量数据可以发现，其中有部分数据时缺失的，但是如果数据记录和属性较多，使用人工分辨的方法就很不切合实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失率个数和缺失率等。同时，通过观察可以看出日销量额数据也含有异常值，由于这里数据量较大，所以使用箱线图来检测异常值，R语言代码如下：

>#读入数据

> saledata <- read.csv(file = "./data/catering_sale.csv", header=TRUE)

># 缺失值检测 并打印结果，由于R把TRUE和FALSE分别当作1、0，可以用sum()和mean()函数来分别获取缺失样本数、缺失比例

> sum(complete.cases(saledata))

[1] 200

> sum(!complete.cases(saledata))

[1] 1

> mean(!complete.cases(saledata))

[1] 0.004975124

> saledata[!complete.cases(saledata), ]

日期 销量

15 2015/2/14 NA

># 异常值检测箱线图

> sp <- boxplot(saledata$销量, boxwex=0.7)

> title("销量异常值检测箱线图")

> xi <- 1.1

> sd.s <- sd(saledata[complete.cases(saledata),]$销量)

> mn.s <- mean(saledata[complete.cases(saledata),]$销量)

> points(xi,mn.s,col="red", pch=18)

> arrows(xi,mn.s - sd.s, xi, mn.s sd.s, code = 3, col = "pink", angle = 75, length=.1)

> text(rep(c(1.05, 1.05, 0.95, 0.95), length = length(sp$out)),

labels = sp$out[order(sp$out)], sp$out[order(sp$out)]

rep(c(150, -150, 150, -150), length = length(sp$out)), col = "red")

由运行代码结果可以看出，缺失值个数输出结果为“1”,占样本总量的0.497%，缺失值位于第15行，2015年2月14日销量缺失。

在生成的箱线图中，粉红色箭头表示的是一个标准差的区间，可以看出箱线图中超过上下界的8个销售额数据。结合具体业务可以把865、4060.3、4065.2归为正常值，将60、22、51、6607.4、9106.44归为异常值。最后确定过滤规则为日销量在400以下、5000以上则属于异常数据，编写过滤程序，进行后续处理。

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。

在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，肯呢个是由被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致性更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。