Transworld Data总裁Mary Shacklett:大数据10个实施沙箱项目的注意事项

由Transworld Data总裁Mary Shacklett总结的10个实施沙箱项目的注意事项。

bigdata 的图像结果

随着企业越来越关注大数据,能够在一个安全的“沙箱”测试环境中对数据处理和查询能力进行实验,这对于企业IT部门与最终用户来说都是非常重要的。然而,建立一个安全、合适的大数据沙箱测试环境,和创建一个针对交易型数据及报告的传统测试环境是不同的。下文将列出由Transworld Data总裁Mary Shacklett总结的10个实施沙箱项目的注意事项。

1、数据集市还是主数据库

数据库管理员需要从早期就做出决定,决定是让测试沙箱使用直接来自生产用的主数据库中的数据,亦或者最佳解决方案是将这些数据复制或者片段剥离到独立的数据集市中,仅供测试使用。完整数据库的好处是,可以测试用于生产中实际使用的数据,这样测试结果更加精确。缺点是,可能会和生产本身产生数据冲突。有了数据集市的战略,你不用冒着与生产数据发生冲突的风险,但是可能需要定期更新数据,以保持与生产数据的同步,更加接近于生产环境。

2、工作日程

日程安排是大数据沙箱活动最重要的一件事,这确保了所有沙箱操作都是在最佳状态下运行的,可通过同时安排一组较小的任务和一个更大的任务同时运行来实现。对于IT来说,这个过程的关键是坐下来和各种使用沙箱的用户进行交流,这样每个人都对日程安排有一个前期的了解,并清楚其背后的原理以及他们的工作期待运行时间。

3、设置限制

如果几个月的时间过去了却没有使用一个特定的数据集市或者沙箱,那么企业用户及IT部门就应该制订一个可接受的策略以净化这些资源,这样就能重新放到一个可以针对其他活动重新配置的资源池中。这个测试环境应该和生产环境一样被有效管理起来,这样资源只有正处于使用状态的时候才会被调用。

4、使用纯净数据

大数据管道工作的一个前提,应该是准备好数据并净化数据,这样在应用数据集市解决方案时,才能确保数据具备用于测试的质量。在一个不完整、不准确、甚至是遭到破坏的测试环境中使用数据是一个坏习惯——因为数据在放到测试区域之前并不安全。要学会摒弃这些坏习惯。

5、监控资源

假设大数据资源都集中在数据中心内,IT部门应该设置资源权限并监控沙箱使用率。一个需要经常密切关注的问题是:随着加入沙箱活动的终端用户部门越来越多,会导致出现过量配置的问题。

6、注意项目重叠问题

在某些时候,成立一个跟踪整个公司内各种正在进行中的沙箱项目的“监督委员会”是很有必要的,这样可以确保不会出现重叠或者冗余的项目。

7、尝试将计算资源交给IT部门集中管理

有些企业做大数据项目,先从特定的一些部门开始,然后马上会发现他们对付不了大数据,接着又去做他们自己的日常功能工作,管理计算资源。最终,他们把设备搬到数据中心,让IT部门自行管理。这让他们把精力专注在业务上,这也是大数据可以带来的价值。

8、组建大数据团队

即使在沙箱的测试项目中,让处理大数据的专业团队来辅助完成任务也是很重要的。通常情况下,这个团队应当由业务分析师、数据科学家以及一名具备软硬件资源优化能力、能与数据库专家协作的IT专家组成。

9、不要忘记业务价值目标

在将创新的想法融入进沙箱项目中时,不要完全忘记了最初的业务价值目标是什么。

10、明确大数据沙箱的定义

很多来自终端企业的参与者并不知道“沙箱”意味着什么。与早期的沙箱一样,大数据沙箱的目的是自由发挥,做与大数据相关的实验——但这是带有一定的目的性的。这个有目的的项目应该遵守沙箱实验的基本规则,例如什么时候、在哪儿以及如何使用沙箱,用实验与测试给企业带来有意义、有商业价值的结果。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

(0)
小胖的头像小胖编辑
上一篇 2013-09-15
下一篇 2013-10-01

相关文章

  • 百度与国金证券合作推出大数据基金

    银行、保险和证券是金融领域最重要的三个板块,近来百度动作频频,继与中信银行、安联保险先后合作成立百信银行、百安保险之后,百度宣布与国金证券合作,共同推出大数据量化基金——“国金百度大数据基金”,进而完成对二级市场的布局。 量化基金并不是一个新鲜事,美国从几十年前就开始有自动化的交易出现,目前美国股票市场绝大部分的交易都是通过计算机自动完成。但是受限于数据源,…

    2016-01-05
    0
  • 面试大数据工程师,你会碰到的一些大数据存储问题和答案

    面试时问你的一些大数据存储问题。

    2013-03-02
    0
  • Tableau携手华为,助力企业数字化革新

    作为全球领先的信息与通信技术 ( ICT ) 解决方案供应商,华为始终致力于以极具竞争力的 ICT 解决方案、产品和服务,为运营商客户、企业客户和消费者创造最大价值,构建更加美好的全联接世界

  • 美国中情局:浅谈数据分析带来的改变

    两年前,CIA需要大约63天来分析收集的数据,现在,只需要27分钟就可以了。 “CIA利用大数据,极大地提高了它的数据分析和反应能力。”CIA的CTOIra“Gus”Hunt在最近华盛顿举行的AFCEA新技术研讨会上如是说。 CIA认为,近年来,社会化媒体,移动技术和云计算应用给社会带来了深刻的变化。Hunt提到,一个例子就是前一段的“阿拉伯之春”,如果没有…

    2013-05-04
    0
  • 大数据解密国人“面子”问题

    随着经济的飞速发展和人民生活水平的不断提高,过去十年,被称为“美丽经济”的中国化妆品产业一直保持着两位数的高增长率,中国已经成为全球最大的化妆品市场之一。

    2016-06-10
    0
关注我们
关注我们
分享本页
返回顶部