大数据技术

分享记录： 数据仓库在业界的定义，是数据仓库之前BILL最早提出的。数据仓库的建设需要一个过程，是一个方法论。数据仓库建设是把企业中所有的数据整合，加工，分析的过程。用于解决数据经营，管理问题。他不像一个产品或者数据库一样，可直接购买。 OLTP就是我们通常说的所谓业务系统。它和数据仓库是有明显差异，业务系统重在当前数据，重在是插入，比如我们一个电商交易数据…

1. 搜索算法总体架构 在上篇文章(工程篇)中, 我们介绍了有赞搜索引擎的基本框架. 搜索引擎主要3个部件构成. 第一, hadoop集群, 用于生成大规模搜索和实时索引; 第二, ElasticSearch集群, 提供分布式搜索方案; 第三, 高级搜索集群, 用于提供商业搜索的特殊功能. 商业电商搜索由于搜索的特殊性, 独立的ElasticSearch集群…

随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统: 关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性…

如果你关注大数据科技动向，可能听说过一个叫NoSQL数据库的名词，这可能让人有些云里雾里。其实我们处在一个激动人心的技术更迭时代，以甲骨文为代表的SQL数据库已经称霸了企业市场30年，而近年来的NoSQL则是强有力的更新换代的竞争者。这篇文章就通过问答的方式来给小白解释NoSQL数据库系统是什么，无论你的技术背景如何都能看得懂。对于数据分析从业人员来说，了解…

Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关…

利用数据来驱动商业决策的制定，对于现在的企业来说，显得尤为重要，企业可以因此知道如何向自己的客户群做销售以及服务。然而IBM调查发现，有大约三分之一的企业领导不相信他们用来做决策制定的信息。当企业领导人不相信自己的数据的时候，他们极有可能不会支持公司花费精力收集更多数据，反而不去利用数据。那么你可以有什么样的办法让你的执行者对他们所使用的数据信息深信不疑呢？…

摘要：大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值 作为第四次工业革命的引领性领域，近年来的人工智能和大数据持续升温。最近的AlphaGo事件更是将人工智能的前沿技术呈现于大众面前。 大…

摘要：我是如何向老婆解释MapReduce的？ 昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebi…

当今的医疗保健行业中存在的数据量不计其数。从技术角度来说，可以用在线对这些数据进行实时的分析，比如内存技术，这种技术就是为医学治疗目的进行开发的。因此，德国波茨坦普拉特拉学院（HPI）的计算机研究人员正在用此种技术帮助病患获取更多的个性化医疗诊治方案。

前言 美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，进而间接或直接提升相关团队的工作效率。美团最初的数据处理以…

摘要：2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等…

摘要：Uber是一款提供出租车预订服务的智能手机应用，为需要搭车的用户和想要载客的司机搭建了沟通渠道。这项服务引起了很大争议，一方面普通的出租车司机抱怨Uber毁掉了他们的生计，另一方面民众担心Uber的司机缺乏监管。 但这些争议并没能阻止Uber取得巨大的成功：2009年发布时仅覆盖旧金山一地，到了现在，除了南极洲之外，已覆盖所有大陆的许多主要城市。 这家…

摘要：拥抱开源技术的前提——认识数据湖 世界对数据湖的兴趣依然在不断增长，但如果说对数据湖的宣传都是的话，这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心，但“数据湖”仍然是让IT和业务相关者头疼的一件事情。 随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据…

五件武器 做数据的人，如果没做过报表，数据生涯是不完整的，但如果仅仅做报表，不经常思考进而革命，就会陷入骡子般的生活，每天转啊转，很辛苦，但很难获得认可，如果你是公司内一名报表开发人员，如果你已经干了很多年，你已经有点经验了，但你可能已经有点抱怨，每天被业人员的事务性工作持续打扰的时候，但如果你希望进一步证明自己，有颗奋发向前的心，那你应该停下来，看看我这篇…

摘要：由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲，主要内容由社交征信背景、腾讯社交网络数据、个体用户画像研究、社团圈子研究、模型建设及应用这五部分构成，下面我们就逐一为大家介绍各部分的内容。 社交征信背景 刘黎春表示，征信并不是一个简单征信评分的模型，而是由数据…