在数据分析工作中,有一个永远无法绕过的步骤,它在整个数据分析工作中起着至关重要的作用,但往往被忽视,即数据清洗。说到数据清洗,很多人脑子里都有这样一系列的问题:什么是数据清洗?数据清洗到底要洗什么?数据清洗的步骤是什么?现在小编就和大家一一探索。
一、什么是数据清洗?
数据清洗是指重复。多余的数据筛选和清除,完整地补充丢失的数据,纠正或删除错误的数据,最后整理成我们可以进一步处理和使用的数据。
二、数据清洗到底要洗掉什么?
顾名思义,数据清洗就是要清洗脏数据,那么哪些数据会被称为脏数据呢?在数据分析中,我们经常需要从数据库中提取一些数据,但由于数据库通常是针对某个主题的数据集合,这些数据是从多个业务系统中提取的,因此不可避免地包含不完整的数据。错误的数据非常重复,这些数据被称为脏数据。
数据清洗有什么意义?数据清洗是为了提高数据质量,降低数据统计过程中的错误率。在进行数据分析之前,我们需要在计算机的帮助下进行数据清洗,主要包括数据有效范围的清洗、数据逻辑一致性的清洗和数据质量的抽查。
三、数据清理步骤
让我们来看看数据清洗的主要路径,如图所示:
1、清洁缺失值
缺失值是最常见的数据问题,处理缺失值的方法有很多。我们需要按照步骤来做。首先是确定缺失值的范围:计算每个字段的缺失值比例,然后根据缺失比例和字段重要性制定策略。
2、去除不必要的字段
去除不必要的字段的操作非常简单,可以直接删除。但是需要提醒大家的是,清理数据,每一步都要备份,或者在小规模数据上成功测试,然后处理全量数据。如果你删除了错误的数据,你会后悔的。
3、填写缺失内容
这是因为有三种方法可以填充一些缺失值,即根据业务知识或经验推测填充缺失值。以相同指标的计算结果填充缺失值。
4、重新取数
由于某些指标非常重要,缺失率高,需要了解取数人员或业务人员是否有其他渠道可以获取相关数据。这是清洗缺失值的步骤。
5、关联验证
如果您的数据有多个来源,则需要验证相关性。
本文由 Smartbi 投稿至 数据分析网 并经编辑发表,内容观点不代表本站立场,如转载请联系原作者,本文链接:https://www.afenxi.com/108762.html 。