一文带你了解关于数据清洗的三大问题

数据清洗是指重复。多余的数据筛选和清除,完整地补充丢失的数据,纠正或删除错误的数据,最后整理成我们可以进一步处理和使用的数据。

数据分析工作中,有一个永远无法绕过的步骤,它在整个数据分析工作中起着至关重要的作用,但往往被忽视,即数据清洗。说到数据清洗,很多人脑子里都有这样一系列的问题:什么是数据清洗?数据清洗到底要洗什么?数据清洗的步骤是什么?现在小编就和大家一一探索。

一、什么是数据清洗?

数据清洗是指重复。多余的数据筛选和清除,完整地补充丢失的数据,纠正或删除错误的数据,最后整理成我们可以进一步处理和使用的数据。

一文带你了解关于数据清洗的三大问题

二、数据清洗到底要洗掉什么

顾名思义,数据清洗就是要清洗脏数据,那么哪些数据会被称为脏数据呢?在数据分析中,我们经常需要从数据库中提取一些数据,但由于数据库通常是针对某个主题的数据集合,这些数据是从多个业务系统中提取的,因此不可避免地包含不完整的数据。错误的数据非常重复,这些数据被称为脏数据。

数据清洗有什么意义?数据清洗是为了提高数据质量,降低数据统计过程中的错误率。在进行数据分析之前,我们需要在计算机的帮助下进行数据清洗,主要包括数据有效范围的清洗、数据逻辑一致性的清洗和数据质量的抽查。

三、数据清理步骤

让我们来看看数据清洗的主要路径,如图所示:

一文带你了解关于数据清洗的三大问题

 

1、清洁缺失值

缺失值是最常见的数据问题,处理缺失值的方法有很多。我们需要按照步骤来做。首先是确定缺失值的范围:计算每个字段的缺失值比例,然后根据缺失比例和字段重要性制定策略。

2、去除不必要的字段

去除不必要的字段的操作非常简单,可以直接删除。但是需要提醒大家的是,清理数据,每一步都要备份,或者在小规模数据上成功测试,然后处理全量数据。如果你删除了错误的数据,你会后悔的。

3、填写缺失内容

这是因为有三种方法可以填充一些缺失值,即根据业务知识或经验推测填充缺失值。以相同指标的计算结果填充缺失值。

4、重新取数

由于某些指标非常重要,缺失率高,需要了解取数人员或业务人员是否有其他渠道可以获取相关数据。这是清洗缺失值的步骤。

5、关联验证

如果您的数据有多个来源,则需要验证相关性。

本文由 Smartbi 投稿至 数据分析网 并经编辑发表,内容观点不代表本站立场,如转载请联系原作者,本文链接:https://www.afenxi.com/108762.html 。

(0)
思迈特软件Smartbi的头像思迈特软件Smartbi专栏
上一篇 2021-10-13 08:29
下一篇 2021-10-19 01:20

相关文章

关注我们
关注我们
分享本页
返回顶部