spark

目前，Galactic Exchange（银河交换）在8月初获得了两家风投公司：Floodgate 和Signia Venture Partners的125万美元的融资，该消息刚刚被公布。

在这个大数据爆炸的时代，各种新项目如雨后春笋一般，每天从世界各地不断涌现出来

以一个数据分析者的角度来与大家分享如何使用spark进行大数据分析

在Databricks的Spark峰会上，支持结构化处理和SQL 2003的Spark2.0 呈现在众人面前，此外，R-to-Spark接口也在该峰会上崭露头角。 近日在旧金山举行的Spark峰会上，Spark发起人Databricks 展示了这款通用分析引擎Spark的2.0版本，并介绍了该版本的详细更新细节。包括IBM、Microsoft在内的一众公司都…

大数据，无论是从产业上，还是从技术上来看，都是目前的发展热点。在中国，政府控制着80%的数据，剩下的多由“BAT”这样的大公司拥有，中小企业如何构建自己的大数据系统？其他企业如何建设自己的大数据系统？

本文重点介绍了大数据平台系统的数据采集，数据存储，数据处理，以及数据展现的架构。

作为一家大数据技术公司的技术掌舵人，Teradata天睿公司首席技术官宝立明（Stephen Brobst）对开源的热爱是业内共知的。但在热爱开源的背后，体现的是什么样的大数据技术路线呢？

本文描述了基于 Spark 如何构建一个文本情感分析系统

在云端中运行一个高性能的大数据架构（如Hadoop和Spark）到底是否可行呢？

这一篇来自于Uber数据架构组，他们负责人Chandar说：Spark 已经是“必备神器了”。

世界各地无数的组织，他们使用的数据现在日益庞大而复杂，使用传统的数据处理程序已无法再进行优化分析及获得洞察。而这正是的新一代的大数据应用程序要解决的问题。

前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解…

我之所以在aribnb希望成为一名数据科学家是因为这里可以有一个非常多元化的团队来一起解决重要的现实问题。我们不仅仅在性别上多样化，而且在教育背景和工作经历也是霄壤之别。

如今，数据科学家已是炙手可热，那些曾经对其毫无所知的企业，眼下也开始在全世界搜寻最好的数据科学家。问题在于，优秀数据科学家的标准是什么?

传统的关系型数据库虽然在解决大数据问题上力不从心，而SQL却是经过几十年考验的成熟技术。