MapReduce
-
Hadoop面试中6个常见的问题及答案
译者 | 码农网 – 小峰 你准备好面试了吗?呀,需要 Hadoop 的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是 Hadoop? Hadoop 是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之,Hadoop 包括以下内容: HDFS(Hadoop Dis…
-
Hadoop常见错误
常见问题及处理 mysql版本,必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候,最好是:create database hive; oozie的数据库,同样:create database oozie; hadoop采集的字符集问题。 修改/etc/sysconfig/i18n 更改字符集为en_US.UT…
-
Hadoop之MapReduce原理详解与源码分析
本文介绍了MapReduce原理详解与源码分析。
-
如何向别人解释云计算?
如何向别人解释云计算?
-
你真的理解分布式系统吗?
经常听到”分布式系统“,”分布式计算“,”分布式算法“。分布式的具体含义是什么?
-
技术 | Hadoop 面试,有它就够了
本文介绍了google推广的一个编程模型MapReduce,以及下一代mapreduce框架,简称MRv2。从各个方面对比了传统的MR框架和新一代的区别,以及它们的优缺点。一起来看看吧~
-
三款大数据工具比拼,谁才是真正的王者
Apache Pig,Apache Hive和SQL是当今主流的大数据工具。它们各有优势,下面我们就先来简单介绍Apache Pig、Apache Hive和SQL。
-
Spark VS Hadoop 两大大数据分析系统深度解读
大数据,无论是从产业上,还是从技术上来看,都是目前的发展热点。在中国,政府控制着80%的数据,剩下的多由“BAT”这样的大公司拥有,中小企业如何构建自己的大数据系统?其他企业如何建设自己的大数据系统?
-
科学玩转大数据,年薪岂止60万……
我们今天面临着诸多来自大数据和其他数据分析带来的困难,而数据科学正是对这些挑战的回应。
-
生活中的大数据技术:Map-Reduce的直观解释
在谷歌之前,人们就不知不觉地用了映射-归约技术,如机场分发登机牌,银行取号排队,流水作业阅卷,不过,要说清楚“映射向何方,归约在何处”,还有一点挑战,Let me try。
-
大数据分析界的“神兽”Apache Kylin有多牛?
Apache Kylin,中文名麒(shen)麟(shou) 是Hadoop动物园的重要成员。Apache Kylin是一个开源的分布式分析引擎,最初由eBay开发贡献至开源社区。
-
窥探大数据应用的未来发展方向
大数据应用的下一阶段发展方向在哪里?
-
数据科学是什么?如何才能把数据变成产品?
据哈尔?瓦里安(Hal Varian)说,统计学家是下一个性感的工作。五年前,在《什么是Web 2.0》里蒂姆?奥莱利(Tim O’Reilly)说“数据是下一个Intel Inside”。但是这句话到底是什么意思?为什么我们突然间开始关注统计学和数据?
-
【实战】利用MapReduce分析明星微博数据
互联网时代的到来,使得名人的形象变得更加鲜活,也拉近了明星和粉丝之间的距离。歌星、影星、体育明星、作家等名人通过互联网能够轻易实现和粉丝的互动,赚钱也变得前所未有的简单。
-
为什么Spark将成为数据科学家的统一平台
Spark是一个超有潜力的通用数据计算平台,无论是对统计科学家还是数据工程师。