大数据平台

任何企业想做大数据变现，或者已经在做的，都需要考虑成长性问题，站在全局的角度要去思考三个方面的核心问题：数据扩张、数据MARKET和数据封装。本质上，就是大数据发展要逐步由纵到横，实施平台化战略。 推荐阅读： 普及、开放与平台：大数据价值运营之路（上） 普及、开放与平台：大数据价值运营之路（中） 1、数据扩张战略 关于数据的价值，数据量是一种衡量标准，数据维…

摘要：无论是工业4.0还是中国制造2025，一个核心都是用数据驱动工业的智能化、个性化，但你能想象，如果每个人都不愿意贡献自己的数据，我们如何让企业创造出为你们量身定制的产品呢？国家政府如何才能提供更好的社会治理能力？ 关于大数据开放与个人隐私，我这里提五个观点： 1、趋势不可阻挡 未来连接将成为核心，人的个性需求将被极大满足，没有数据信息充分流通和开放难以…

导读：去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

前言，本篇幅将进入大家熟知的互联网时代，数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，在这一篇章中将引用部分互联网数据平台架构，在这里仅作案例。 相信很多从传统行业转到互联网时是各种不适应，适应短则几个月，长则一年以上。进入到互联网有种感觉，它是一个擅长制造流行新概念的行业，“数据平台“，”数据产品“也不幸免。数据平台这词Dat…

摘要：现如今，网购已经成为人们生活中的重要消费习惯，然而因为商品看得见、摸不着，用户只能透过店铺信誉、成交量、买家评价等信息来判断店家是否“靠谱”。这些数据会形成用户对商家信赖度的重要影响，直接决定是否在该店铺进行消费。这些本应是真实体现商家经营状况的数据，却出现了大量的造假行为——雇人通过虚假交易换取虚假好评，让普通消费者的利益蒙受损失。 京东很早就提出了…

摘要：要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患 1、…

导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。 深层神经网络技术最近几年取得了巨大的突破，特别在语音和图像识别…

3月1日，星环科技已完成 1.55 亿元的 B 轮融资，由上海瑞力投资、深创投、中小企业发展基金、基石资本等投资。本轮融资之前，星环科技共完成天使轮 /A 轮 /A+ 轮三轮融资，总金额达 7000 万人民币。投资方有方广资本、启明创投等知名 VC，以及恒生电子等上市公司，并在 B 轮继续跟投。 简单概括，星环科技就是提供一站式 Hadoop 大数据平台，可…

摘要：挖贝网讯 2月29日消息，上海宏路数据技术股份有限公司于近日申请新三板挂牌，全国股转系统披露的挂牌资料显示，宏路数据成立于2011年12月27日，于2015年11月11日完成股改，董事长王文妹直接间接占股76%，为宏路数据实际控制人。 公告显示，宏路数据2013年度、2014年度、2015年1-8月营业收入分别为809.50万元、1904.98万元、2…

摘要：本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取，数据清洗，处理，存储，以及介绍)。 大数据分析系统作为一个关键性的系统在各个公司迅速崛起。但是这种海量规模的数据带来了前所未有的性能挑战。同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不…

母婴相对一般的电子商务网站有一些特点：第一个特点是商品周期短，在母婴网站上的商品，在线的时间不会超过5-7天，第二个是用户需求的变化快，在母婴行业，可能是用户的需求变化最快的领域，比如是用户处在怀孕当中，关心的是孕妈的一些问题，几个月以后，随着宝宝的落地，就会准备一些纸尿裤和奶粉，而且随着宝宝的长大，纸尿裤和奶粉的类型也会变化。第三个是移动化，一般有90%的…

摘要：初创公司在数据分析方面有哪些错误的认识？初创公司如何实现数据驱动？如何从零搭建数据分析平台？如何规范数据？如何数据建模？如何构建查询分析平台？在数据分析平台建设上，有哪些关键问题？ 本演讲希望为你打通任督二脉。演讲的主要内容包括：对数据驱动，有哪些是是而非的认识？理想状态又是如何？现有常用方案剖析，有哪些优势及不足； 推荐的一套方案，包括数据的采集、传…

摘要：本章是面向数据领域的一篇专业文章，涉及较前一章节(我所经历的大数据平台发展史-上篇 非互联网时代 1)更为专业术语， 阅读对象适合有一定数据基础的读者。阅读完大约需要12 分钟左右。 【前言】 ”数据模型“ 这个词只要是跟数据沾边就会出现的一个词，在数据库设计、数据仓库、数据挖掘上、业务里都存在，聚焦一下，这里提到的是数据平台中的”数据模型“。 这是一…

摘要：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右。 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是…

京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间，我们的搜索引擎已经经过了多次618店庆和双11的考验，目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比，我们的产品与其有相通之处，比如涵盖亿级别商品的海量数据、支持短时超高并发查询、又有自己的业务特点： 海量的数据，亿级别的…