大数据技术

利用数据来驱动商业决策的制定，对于现在的企业来说，显得尤为重要，企业可以因此知道如何向自己的客户群做销售以及服务。然而IBM调查发现，有大约三分之一的企业领导不相信他们用来做决策制定的信息。当企业领导人不相信自己的数据的时候，他们极有可能不会支持公司花费精力收集更多数据，反而不去利用数据。那么你可以有什么样的办法让你的执行者对他们所使用的数据信息深信不疑呢？…

摘要：大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值 作为第四次工业革命的引领性领域，近年来的人工智能和大数据持续升温。最近的AlphaGo事件更是将人工智能的前沿技术呈现于大众面前。 大…

摘要：我是如何向老婆解释MapReduce的？ 昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebi…

当今的医疗保健行业中存在的数据量不计其数。从技术角度来说，可以用在线对这些数据进行实时的分析，比如内存技术，这种技术就是为医学治疗目的进行开发的。因此，德国波茨坦普拉特拉学院（HPI）的计算机研究人员正在用此种技术帮助病患获取更多的个性化医疗诊治方案。

前言 美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，进而间接或直接提升相关团队的工作效率。美团最初的数据处理以…

摘要：2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等…

摘要：Uber是一款提供出租车预订服务的智能手机应用，为需要搭车的用户和想要载客的司机搭建了沟通渠道。这项服务引起了很大争议，一方面普通的出租车司机抱怨Uber毁掉了他们的生计，另一方面民众担心Uber的司机缺乏监管。 但这些争议并没能阻止Uber取得巨大的成功：2009年发布时仅覆盖旧金山一地，到了现在，除了南极洲之外，已覆盖所有大陆的许多主要城市。 这家…

摘要：拥抱开源技术的前提——认识数据湖 世界对数据湖的兴趣依然在不断增长，但如果说对数据湖的宣传都是的话，这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心，但“数据湖”仍然是让IT和业务相关者头疼的一件事情。 随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据…

五件武器 做数据的人，如果没做过报表，数据生涯是不完整的，但如果仅仅做报表，不经常思考进而革命，就会陷入骡子般的生活，每天转啊转，很辛苦，但很难获得认可，如果你是公司内一名报表开发人员，如果你已经干了很多年，你已经有点经验了，但你可能已经有点抱怨，每天被业人员的事务性工作持续打扰的时候，但如果你希望进一步证明自己，有颗奋发向前的心，那你应该停下来，看看我这篇…

摘要：由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲，主要内容由社交征信背景、腾讯社交网络数据、个体用户画像研究、社团圈子研究、模型建设及应用这五部分构成，下面我们就逐一为大家介绍各部分的内容。 社交征信背景 刘黎春表示，征信并不是一个简单征信评分的模型，而是由数据…

这项领域内的大数据技术已经开始在业内取得了权威，以前对于一款红酒品质的话语权掌握在品鉴师的手中，现在话语权却将转移到大数据技术手中。这就是一种可以让激发九零后乃至零零后消费市场利润的方式。

摘要：在《Redis集群技术及Codis实践》这篇文章介绍过Codis，今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中，对于Codis与数据库管理方面的实践经验，是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储，我们一路走来也踩过很多坑，这里就直接进入主题了，给大家分享一下监控宝系统架构…

摘要：随着大数据分析市场的快速渗透到各行业务，哪些大数据技术是刚需？哪些技术有极大的潜在价值？ 根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术： 预测分析：随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险； NoSQL数据库：非关系型数据库包括Key-value…

摘要：机器学习是大数据挖掘的一大基础，本文以机器学习为切入点，分享达观在大数据技术实践时的一些经验。 大数据时代里，互联网用户每天都会直接或间接使用到大数据技术的成果，直接面向用户的比如搜索引擎的排序结果，间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈交易监测等等。 互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设…

密切关注AlphaGo与李世石“人机大战”的周鸿祎日前发表内部信，称人工智能时代已经开启。而基于对未来的判断，360将从图像识别技术和大数据技术两方面进行战略规划，并分别在中国和美国成立了相应的技术开发团队。 周鸿祎认为，人工智能最终呈现的形态是多样化的。360将从两个方向进行战略规划：一个是图像识别技术，一个是大数据技术。基于该战略规划，360相继进行一系…