spark

简介 为支持超大维度机器学习模型运算，腾讯数据平台部与香港科技大学合作开发了面向机器学习的分布式计算框架——Angel 1.0。 Angel是使用Java语言开发的专有机器学习计算系统，用户可以像用Spark, MapReduce一样，用它来完成机器学习的模型训练。Angel已经支持了SGD、ADMM优化算法，同时我们也提供了一些常用的机器学习模型；但是如果…

前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要…

为了更好的使大家了解行业现状，我们整理出了2016大数据版图英文对应公司的中文介绍，以飨读者。

今天分享的主题是《基于分布式架构的大数据商业建模》。 今天给大家主要分享两个部分：第一个部分会给大家介绍一下百分点基于分布式架构的大数据建模实践。在这一部分我会主要讲一下建模的技术架构、一些技术、工具以及大数据建模的流程9宫格。第二个部分我会给大家介绍一下大数据建模的应用场景，以及百分点做过的一个真实企业建模相关的应用场景。 基于分布式架构的大数据建模实践。…

Spark是一个超有潜力的通用数据计算平台，无论是对统计科学家还是数据工程师。

摘要：随机森林和决策树相比，能更好的防止过拟合。虽然每个基分类器很弱，但最后组合的结果通常很强，这也类似于：“三个臭皮匠顶个诸葛亮”的思想。对比发现Random Forest（随机森林）和SVM（支持向量机）名列第一、第二名。 01 树与森林 在构建决策树的时候，可以让树进行完全生长，也可以通过参数控制树的深度或者叶子节点的数量，通常完全生长的树会带来过拟合…

Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关…

摘要：“大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。 你承认吗我们正生活在逐渐被大数据掌控的时代。我们在论坛里评论发帖，我们在社交平台晒照片，我们在网购后对产品留下评价…… …

摘要：工具／产品／解决方案是数据科学家洞察数据的利器。KDNuggets网站对此观点进行了年度调查，来分析数据科学家在用哪些类型的工具，并提供了调查的匿名原始数据。 通过主成分析（PCA）法进行降维分析 对所有的工具同时进行关系分析，常规来说，PCA通过对大样本数据统计性质（eg, 协方差）的分析，试图用主要特征来解释关系。 分析结果： 当前分析的目标：通过…

摘要：在数据分析中，有超过90%数据都是来自于非结构化数据，其中大部分的是日志，如运维、安全审计、用户访问数据以及业务数据等，但随着互联网快速的发展，数据规模也是水涨船高，从早前的GB级到现在的TB级，甚至PB级也只是短短几年光景。而移动互联网的时代到来，可以说每个人无时无刻不在产生数据，几乎成爆发式的增长。 如此多的数据早已压榨完单机的性能，在性价比的驱使…

前言 美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，进而间接或直接提升相关团队的工作效率。美团最初的数据处理以…

摘要：2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等…

题图为美国尼米兹核动力航空母舰 介绍 大数据时代，我们常常面对海量数据而头疼。作为学统计出身的人，我们想折腾大数据但又不想学习Hadoop或者Java，我们更倾向于把精力放在建模和算法设计上，SparkR和Docker的完美结合，让R的计算直接从一架战斗机的当兵作战华丽转变为一个航空母舰战斗群！不仅仅简化了分布式计算的操作，还简化了安装部署的环节，我们只几乎…

导读：去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

摘要：在《Redis集群技术及Codis实践》这篇文章介绍过Codis，今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中，对于Codis与数据库管理方面的实践经验，是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储，我们一路走来也踩过很多坑，这里就直接进入主题了，给大家分享一下监控宝系统架构…