处理非结构化数据的7个实例

本文作者根据个人过往工作经验，整理出了处理非结构化数据的7个实例，希望能对读者处理相关实际问题有所启发。

介绍

我敢肯定，从事数据工作的人，不管数据量大小与否，都遇到过如下问题：数据不好，数据不一致，数据不干净，诸如此类。帮工作中鲜与数据打交道的人科普一下，根据《福布斯》的报告，数据专家60％的时间都花费在清理和整理非结构化数据上。是的，这花费了很多时间，但我认为这是得出结论的基础。

报告

https://www.forbes.com/sites/gilpress/2016/03/23/data-preparation-most-time-consuming-least-enjoyable-data-science-task-survey-says/?sh=4b394cc86f63

这里根据我近三年来处理非结构化数据的个人经验整理了7个实例。希望能为相关读者带来些许收获。

1.缺少唯一标识符

要联接两个或多个表，通常要有一个可用于联接表的共有的列，变量，参数等。在这里，我面临着缺少唯一标识符的问题，或者我们可以说缺少主键和外键。那么问题来了，尤其是在跨表报告参数时。

为了解决该问题，我们通过连接某些列中的值来创建键，从而构建了一个包含相关列在内的表。听起来很混乱？确实; 得到你想要的结果了吗？也得到了。

2.不同的命名法

在使用非结构化地理数据时，我遇到了同一个地理辖区不同拼写的问题。例如，Chhattisgarh（印度的一个邦）被拼写为Chattisgarh，Chhatisgarh和Chhattisgarh。这又带来了麻烦。

为了解决该问题，我们创建一个临时的映射层，将代码分配给字符串值，从而通过主数据上的代码从主表中获取正确的拼写以进行操作。

尽管在我看来，构建系统会限制用户选择拼写地理名称的方式，而不是向他们提供预先填充的下拉列表，那样问题就彻底解决了。

3.整理来自不同文件格式的数据

图片来自约翰斯顿高中

在我处理数据的整个生涯中，我几乎一半的时间都会遇到这个问题。我不得不处理不同格式的表的数据。例如，一个是SQL文件，另一个是xlsx文件。

这里没有什么可做的，但是可以确定的是，不要错过整体的所有部分，即整理细分数据。

我们无法控制一切，有时需要寻找替代方案。

4.语言障碍

这是一个有趣的例子，印度次大陆的语言和方言多样性直接影响数据的一致性。例如，喀拉拉邦的锡鲁万纳塔普拉姆（Thiruvananthapuram）也被称为Tiruvanantapuram，每当遇到这，会使我的日子比平时更加焦虑。在处理城区和市区的城镇级别以及乡村的乡村级别的地理管辖数据时，尤其是在调和数据方面提出了很大的挑战。

解决问题的方式不只一种，模糊逻辑拼写检查器是我们寻找的一块垫脚石，我们试图维持一个评分系统，以协调所提出的正确拼写的数据，它解决了近60%的问题。剩下的40%交给人工解决。

5.最常见的-数据缺失

根据我最近的经验，我在各种类型和大小的数据上都遇到过数据缺失的问题。

我们正在使用键值对（key-value pair）系统来摆脱之前定义的问题，例如不同的命名法和/或语言障碍等。只有当我们发现至少35％的值缺失时，我才不得不提出使用模式识别算法来估算缺失值，同时保持机制的神圣性，即保持其唯一性。

在遇到其他同质问题时，我们又请数据工程团队不止一次地使用各种数据源重建数据管道来还原一个“真实的唯一来源”。

6.并不完美的数据架构