外媒：清理数据成数据科学家最大挑战

摘要：科学家面对的最耗费时间的工作是什么？有什么样的工具能扫除这些障碍？

数据分析师花费一半以上的时间清理和转换数据，而不是从中提取商业智能，这并不稀奇。数据储存的规模不断增大，数据类型也在激增。新一代的工具蜂拥而至，并承诺把复杂的工具送到不依赖数据的科学家的手上。

技术领域最热门的职位之一是数据科学家，或许只有最新出现的首席高管职位：首席数据科学家能超越他们。显而易见，人们对这种趋势一直存在质疑，来自美国科技网站InfoWorld的 Yves de Montcheuil曾引用过一则笑话，数据学家就是住在加利福尼亚州的商业分析师。

每个公司都需要把公司的数据转换为商业智能，这并不是什么有趣的事，这就是数据科学家承担主导责任的时候。但随着数据数量和种类的激增，数据科学家发现，他们大部分的时间都花费在清理和转换数据，而不是分析数据，并把它们告诉给企业经理。

最近，IT项目众包公司CrowdFlower的数据科学家进行了一项调查(需要注册可查看)。调查发现，三分之二的分析人员认为清理和组织数据是它们最费时的工作，52%称他们最大的障碍是数据质量差。受访者说出了在它们工作中使用的48种不同的技术，最受欢迎的是Excel(55.6%)，其次是开源语言研究(43.1%)，和Tableau数据可视化软件(26.1%)。

▲来源：CrowdFlower公司

数据科学家认为它们最大的挑战是清理数据花费时间，数据质量差，缺少分析时间，以及无效的数据建模。

是什么抑制了数据分析的发展？被调查的数据科学家列举出，包括缺少有效满足他们工作需要的工具(54.3%)，组织没有清楚地说明目标和宗旨(52.3%)，以及培训投资不足(47.7%)。

▲来源：CrowdFlower公司

缺乏工具，目标不明确，不注重培训被报告为影响数据科学家效率的主要障碍。

承诺将满足大数据分析师需要的新工具

在技术领域有一个基本的课题：早期只有少数精英需要理解和使用知识、工具，随着时间的推移，产品日益改进，价格降低，企业适应，技术逐渐成为了主流。新的数据分析工具蜂拥而至，承诺把技术的效益带给非科研人员。

2014年8月17日，Steve Lohr在纽约时报上刊登了几种产品的简介。例如，ClearStory Data公司的软件结合多个来源的数据，并转换成图表、地图和其他图形。在数据准备问题上Paxata公司采取了不同方式，他们的软件通过各种可视化工具对数据进行检索、清理，和混合用于分析。

这家不以营利为目的的知识开放实验室，号称是一个为“公民骇客、数据管理者，以及对技术和资讯结合的可能性产生兴趣的普通公民”提供的社区。这个组织正在招募“数据管理员”志愿者，来维护核心数据集，例如国内生产总值和ISO代码。空军总司令部的Rufus Pollock于2015年1月3日对该项目进行了描述。

▲来源：知识开放实验室

知识开放实验室正在寻找志愿者程序员，策划核心数据集并作为零阻力数据计划的一部分。

没有比使用Morpheus更简单和直接的方式来管理异构MySQL、MongoDB、Redis和ElasticSearch数据库。仪表板上的一次单击，Morpheus能使你在混合云上无缝提供、监控和分析SQL、NoSQL和内存数据库。你创造每个的数据库实例都包括一个内置的容错和故障的完整副本集。

译文链接：https://dzone.com/articles/how-to-minimize-data-wrangling-and-maximize-data-i-1

来源：IT168编译