hadoop

摘要：据Dresner咨询服务公司的一项新调查显示，几乎没人能说清大数据到底是什么鬼;而且参与调查的所有公司，也几乎都没用大数据做真正有意义的事儿。是不是觉得很吃惊 许多公司已经在积极使用大数据，只是它们没有称之为大数据罢了。虽然“大数据”一词有诸多争议，可是这项技术还是变得对公司业务来说必不可少。 据Dresner咨询服务公司的一项新调查显示，几乎没人能说…

摘要：又一个科技巨头与世界分享它的人工智能成果了。2月24日，雅虎公布了 CaffeOnSpark 人工智能引擎的源代码，从学术研究者到大公司员工都可以使用或修改。 也许近年来很少人了解雅虎在科技界的实力。它孵化了开源项目 Hadoop——被 Facebook、Twitter 和许多其他公司广泛使用的数据分析平台。Hadoop 对于人工智能有特别的价值。数据…

摘要：Hadoop 2.0引入YARN，大大提高了集群的资源利用率并降低了集群管理成本。其在异构集群中是怎样应用的？Hulu又有哪些成功实践可以分享？ Hadoop YARN的生态系统 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许…

摘要：这一篇关于Airbnb基础数据架构。云计算尤其亚马逊的云服务（AWS）提供弹性计算能力，无需购买昂贵服务器甚至机房，通过虚拟化主机，还提供丰富配套组件，节约运维成本，方便扩展，成为很多创业公司的首选。这里Airbnb 工程师James Mayfield以AWS作为基础搭建数据架构中走过的坑和经验分享，由于笔者也刚好做过，难度2星，供做数据的朋友学习。 …

摘要： 今天多数的大数据方案都是依托Hadoop环境来做结构化和非结构化数据处理，如何把自己的Hadoop算法快速部署到实际的生产环境当中去，对很多企业的大数据部署也提出了挑战。CSDN专访MathWorks中国资深技术专家陈建平，分享大数据解决方案。 近年来，随着大数据在Google、Facebook等企业的成功应用，很多传统企业和初创公司都转向应用大数据…

  摘要：本文中的Big Data Landscape图笔者随手分享在LinkedIn上，不晓得引起大量转发和评论，截止本周，得到6700个like，3800次share，400多条comment，笔者也觉得很神奇。这里就跟从事大数据或者投资领域的朋友推荐一下。原文作者是VC First Mark的Mark Turck，提下这一家VC，主要投资于早…

摘要：早在 2015年 初，Gartner 就在《商业智能与分析平台魔力象限》年度报告中说到：“传统 BI 的市场份额领导者被新型 BI 厂商打乱。这些新型厂商让更多的人成为了数据分析用户，并创造了更高的商业价值。” 经过 2015 一年的发展，传统 BI 的颓势愈发明显。 Gartner 在 2016年2月 发布的《商业智能与分析平台魔力象限》年度报告显示…

摘要：据NIST(美国国家标准与技术研究院)的权威定义，云计算的服务模式分为IaaS，PaaS和SaaS。未来云计算的规模依旧会保持高速增长，原因有二：1).智慧城市、工业4.0的普及会促进互联网数据中心（IDC）和云服务整体规模的增长。2).由于公有云的部署方便，价格低廉，互联网数据中心（IDC）用户转型公有云的趋势明显。 1.行业背景 1.1.市场背景：…

摘要：1985年毕业于美国斯坦福大学的Doug Cutting并不是一开始就决心投身IT行业的。但又如何成为了Hadoop之父？以及这10年中，Hadoop的发展和未来期待又是如何的？ 上次见到（膜拜）Hadoop之父Doug Cutting是在2年前，2014中国大数据技术大会上。今年Hadoop10岁，刚看到他的Hadoop十周年贺词，感觉时间飞逝。最近…

摘要：Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API，一些人认为这或许预示着 Hadoop MapReduce 的终结。 作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢？秘密就在于它是运行在集群的内存上的，而且不受限于 Ma…

评估好哪一种流架构模式最适合你的案例，是成功生产开发的先决条件。 Apache Hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka， Flume， Spark， Storm， Samza等技术在不断地推进新的可能。人们很容易泛化大规模实时数据案例，但其实他们可以细分为几种架构模式，Apache系统里的不同组件适合于不同的…

摘要：你有多少大数据和Hadoop的经验 “你有多少大数据和Hadoop的经验？”他们问我。我一直在用Hadoop，但很少处理几TB以上的任务。我基本上只是一个大数据新手——知道概念，写过代码，但是没有大规模经验。 接下来他们会问：“你能用Hadoop做简单的group by和sum操作吗？”我当然会，但我会说需要看看具体文件格式。 他们给我一个U盘，里面有…

分布式系统是大数据的基础，大数据是分布式系统的最佳实践。本文将介绍分布式系统对数据的基本处理方法，包括数据的分布方式和对数据副本进行控制的协议和算法。这些算法也是大数据各类组件技术的基础。 分布式系统定义 分布式系统是若干独立计算机的集合，但这些计算机系统集合从用户的使用角度来说，则是一个单一的应用系统。组建一个分布式系统具备五个关键目标： 资源的可访问性：…

近日，国际著名咨询机构Gartner发布了Hadoop发行版市场指南《Market Guide for Hadoop Distribution》1。星环科技入选为六家Hadoop发行版软件代表厂商之一。 星环信息科技从事大数据时代核心平台数据库软件的研发与服务。作为一家Hadoop发行版厂商，星环的产品Transwarp Data Hub提供高速SQL引擎T…

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内…