专业大数据公司：Hadoop与MapR的稳中求变

最近出炉了不少关于科技产业中各种预测，综合一下各厂商的观点，我们将对2013年度的大数据发展预测进行综述，再加上我们的意见，有些可能会是十分有趣的。

Hadoop的2013

让我们从Hadoop开始吧。作为大数据技术的典型代表，相信你一点也不会对有许多公司的预测仅仅专注于Hadoop而感到意外。MapR首席执行官John Schroeder预测称，“硬件将针对Hadoop的用途进行优化”，同时Pervasive Software首席技术官Mike Hoskins指出，“对企业友好型Hadoop的需求将达到极度狂热程度”。

这两种预测都有一定的道理，证明了同样的整体需求：正在完善的不仅仅是Hadoop的能力，还有使其在企业数据中心内的配置和集成更加无缝化。可能这就是为什么MapR的Schroede还观察到“Hadoop专业技术正在快速发展，但是仍然缺乏相关人才”，同时他预测说，“针对Hadoop的SQL工具将继续扩张”。我们几乎不能否定这个预测，因为这样的工具仅仅在今年第四季度就有了巨大的增长，同时毫无减速的迹象。

然而并不是所有的意见都是一致的。SQL-Hadoop混合产品提供商Rainstor预测称，企业在管理大数据时除了Hadoop之外还需要一些新的技术。这与Pervasive预测的“现存的数据仓库将衰退”以及MapR关于“Hadoop与其他的大数据分析方案脱离的市场观点形成鲜明对比。

超越Hadoop

除了Hadoop之外我们还看到了更细微的预测。Rainstor指出，“企业大数据项目将从沙盒中走出来，清晰地定义一系列商业和科技要求”。MapR说“收入生成的的使用案例将胜过节约成本的应用”。从本质上说，其他公司也都预测客户将进入大数据成熟度模型的下一个阶段。

他们是正确的，但是从沙盒中走出来将提出更苛刻的要求，有些要求是很多大数据用户尚未全面解决的。有些预言家似乎同意这点。Pervasive指出“数据质量仍将是企业的‘烫手山芋’”，而Progress DataDirect则认为“人们将被他们的数据淹没”。

对于我来说，所有的这些细节听上去似乎都是正确的，同时到目前为止，BI领域多年来一直在面对这些问题。如果你认为大数据世界可以幸免的话，只能是因为关于大数据技术的炒作蒙蔽了双眼。一旦你越过了这个炒作的时期，你就会发现一些不可避免年的问题。

数据分析和可视化

除了Rainstor、Pervasive、MapR以及Progress DataDirect的预测之外，我们还看到了来自营销关注分析公司BlueKai 和iOS数据可视化公司Roambi的一些观点，当然这些预测多少是与这些公司本身的利益相关，但也是与目前客户变得更加富有经验处理这些问题的主题是一致的。

举例来说，Roambi指出“企业发现他们有半数的商业数据是无法轻松访问到的，这影响了决策的制定以及推测的准确性”。同时，BlueKai首席执行官Omar Tawakol认为“前瞻性的品牌将重新评估它们代理商在能否找到最大限度利用交叉渠道受众数据以及衡量数据有效性和投资回报的能力”。

未来两大方向

关于大数据技术的发展方向将归结为两点：减少对MapReduce的依赖，推动Hadoop更加深入到企业软件堆栈。

而对于减少对MapReduce的依赖性，就像Cloudera Impala和Microsoft PolyBase这样的产品，绕开了MapReduce直接面对保存在Hadoop分布式文件系统(HDFS)中的数据，这个势头将愈加明显。

MapR关于基于SQL工具持续上升的预测与这一点很好地呼应，同时印证了来自Pervasive关于“YARN改变Hadoop游戏规则” 的预测。Pervasive解释说，“除了MapReduce应用之外，YARN还允许其他很多类型的应用运行在Hadoop上。”

而推动Hadoop更加深入到企业软件堆栈的预测是什么意思呢？简单来说，Hadoop已经被广为采用，它实际上已经变成了一种产业标准，而且通常标准趋向于成为更高价值的软件工具的基础，而不是代表自身利益的工具。同样地，我们将会看到更多的内部集成了Hadoop功能的BI和分析工具，以及我们对于直接参与Hadoop工作的专家的依赖性将逐渐减小。