上马大数据要做哪些准备？

大数据是不是大忽悠？上马大数据需要准备啥？大数据平台怎样选择？大数据安全如何保证？

大数据火了起来，甚至在前不久召开的2013夏季达沃斯论坛上还专门举办了一场关于“大数据概念是否被过度炒作”的辩论会，其火热程度可见一斑。

根据计世资讯2013年3月发布的中国大数据市场调查报告显示，相较2011年，2012年中国大数据市场规模增长52.4%，达到3.2亿元。预计到2017年，中国大数据市场的年增长率都将超过60%，到2017年，达到37.9亿元的市场规模，在经济、整体IT市场低迷的情况下，实现大幅逆势增长。

在日前由《计算机世界》报主办的“大数据时代的商业智能高峰论坛”上，来自IT厂商的代表、业内专家、资深分析师及用户代表就大数据热门话题展开了激烈的讨论。

焦点一：大数据是不是大忽悠？

IT技术的每一次更新迭代都面临同样的问题，前两年的云计算、如今的大数据无不如此。实际上我们回过头来看，所有的技术和产业的发展都有泡沫化的过程，包括互联网、金融危机、云计算、大数据，都会有一个泡沫化的过程，而泡沫破灭的过程也正是这项技术落地的过程。

大数据热起因是其可以产生更多的价值，而在当前这个时间点热，一方面是越来越多的人意识到了其中的价值，另一方面则与技术的发展成熟密不可分。戴尔云计算及大数据高级解决方案架构师郝继玖和EMC资深技术顾问杨永波在这个问题上所持的观点基本相同，他们认为并不是之前没有大数据，而是没有能力处理。当下这个时间点一方面是数据规模确实越来越大，而另一方面计算能力也达到了一定的水平，当这两者都具备的时候，才催生了大数据时代的到来。

作为用户代表，IDG集团中国区副总裁、计世传媒集团董事许伟明表示认同，他认为主要是当前IT系统的计算能力和成本都已经降低到了可以负担的水平，由此推动了大数据的快速发展。

作为大数据领域的专家，北京理工大学计算机学院院长助理、大数据搜索与挖掘实验室主任张华平副教授表达了他的看法。他表示，虽然当前大数据还停留在泡沫阶段，不过大数据的泡沫不会比云计算大，因为云计算更多涉及的是架构问题，业内分歧比较多，而大数据关注的只是业务，更加专注，因此也会更快地实现落地。

焦点二：上马大数据要做哪些准备？

根据计世资讯发布的大数据市场调研报告显示，未来半数以上的企业会采用大数据解决方案。用户如果真的要部署大数据解决方案，要做哪些准备？

了解需求、获得老板的认可，是首先要考虑的。许伟明认为，从公司角度来看，最大的问题是如何获得老板的支持；而从业务层面出发，则需要考虑实际的需求。比如你所处的企业如果数据量很大，则需要在IT架构上做准备，考虑包括数据是怎么收集的、从哪里收集、如何与其他数据进行匹配等问题。而在操作过程中，则可以首先尝试一些开源的工具进行小范围测试，做一些基本了解，然后再找相关的专家仔细进行评估。

这仅仅是最基础的部分，在此之上，企业还要将项目与整体业务紧密地联系在一起。因为如果只是单独考虑某一部分的业务，失败的概率非常大。杨永波表示，从IT架构层面来讲，很多数据的获取并不容易，打通所有层级、部门的数据是比较难的，但是只有把信息打通了，才拥有了真正的大数据。

郝继玖则进一步做了补充：“大数据相应的IT架构搭建完成后，还需要考虑服务的标准化，因为随着数据量、设备及人员的增加，如何分工、保证高质量的运维效果是需要迫切考虑的问题，这个过程就需要建立统一的服务标准和流程。”

除了技术层面的问题外，还有一个很大的问题就是隐私问题。张华平讲到，现在有很多大数据隐私被滥用的问题，无论从国家还是公司层面来讲，要想把大数据做好，都面临数据公开的问题，需要各个部门数据的融合。因此，利用大数据的时候，要考虑隐私的问题。另外，还需要考虑数据本身的生命周期问题，有一些老的或者过时的数据，可能对你最后的分析结果产生特别糟糕的影响。因此，专业的人才不可或缺，应该有一些数据分析师，或者跟业务相关的数据科学家对数据进行分析。

焦点三：用开源平台还是商业软件？

一提到大数据很多人会想到Hadoop。作为开源平台的忠实支持者，张华平认为做开源和共享平台，从最终的情况来看，获取的价值更大。因为开源软件参与的用户多，反馈多，更容易改进和完善。

不过，杨永波并不这么看，他认为Hadoop不等于大数据，针对非结构化数据的分析，Hadoop是比较好的平台，也是现在被广泛接受的平台。但也正因为其是开源平台，也存在一些弊端，比如服务质量无法保证。另外，Hadoop有很多版本，要真正实现商用，需要用户具备足够高的技术水平。因此，用户在选择时并不能一味追求开源，需要综合考虑自己的情况。

对此，许伟明表示认同杨永波的观点，他认为无论是开源还是商业软件，最重要的还是服务质量、服务速度，不能一味考虑成本问题。

郝继玖表示：“大数据发展速度越来越快，给IT市场带来的空间也越来越大。因此，在开源平台方面，我们一直在积极参与，推动行业的发展。戴尔并不提供大数据运行平台，提供的只是其中的计算能力。”

焦点四：大数据时代，安全如何保证？

大数据并没有人排斥，但在记者采访过程中，经常有用户问这样的问题：如何保证我的信息安全，如果无法保证安全，大数据还上不上？对此，张华平一语中的，“我们不会因为高铁出事不坐高铁，不会因为飞机出事不坐飞机，大数据是科技发展的趋势，但要把握好方向，这需要法律的完善。”

张华平的观点得到了与会嘉宾的赞同。郝继玖认为，数据是把双刃剑。消费者网购时需要提供家庭地址，才能给你运过来，这是经过同意获取你的信息，因为有良好的法律环境进行统一管理，所以买家不用那么担心；而生活中很多时候是滥用信息的收集，是在用户不知情的情况下搜集你的信息，这就需要相应立法进行保护。大数据也是类似的，只让适合的人利用我的数据。另外，关于大数据的报道，未来也要有严格的法律保护体系，保证我的数据不被泄露出去。

许伟明还在此基础上提到了平衡，他讲到，一个信息点传播出去，对某个人而言，可能是隐私受到了侵犯，但从另一个角度来看，你把互联网当成是一个系统，你不断地训练这个系统，让其更好地为你服务，其实也不是坏事。“我们做媒体的，研究的大数据就包括精准的广告投放。比如在你阅读的时候，获得了你想要的广告信息，对用户而言也不是坏事。再比如你在研究旅行的时候，给你一些旅行社的信息，或者给你一些比较便宜的飞机票等，相信客户还是愿意看的。实际上你可以有意识地泄露一些你的信息，这样系统会分析你的数据，真正地帮助你，所以我觉得没必要恐惧。而恶意的信息收集、未经用户允许收集的信息，都是违法的。这其中就需要平衡，不能因为有可能被泄露隐私就不用大数据。”