数据仓库

首先来看看阿里是如何宣传其数加平台的，爆点还是蛮多的，以下引自网上新闻： 2016年1月阿里云全球首发了可以提供一站式大数据处理能力的平台——“数加”，并全新亮相了20款新产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条，据说“这些技术至少领先业界三年”。 大数据计算服务(MaxCompute)、分析型数据库(Analyt…

Simple，Not Easy 笔者产生了第几个疑问： 用户自有数据的管理是不是足够了 如何保障这些平台提供的地理大数据的准确性 地理可视化是本还是末 如果要给2015年的地理信息行业打一个标签，地理大数据一定是其中之一。在信息技术飞速发展的今天，“大数据”作为一种潮流铺天盖地的席卷了各行各业，从央视的春运迁徙图到旅游热点预测，从大数据工程师奇货可居到马云布…

品觉导读： 很多机构难以获得准确的数据来支撑他们的日常决策。原因就是坏数据。坏数据也称脏数据，是指错误的、具有误导性的、格式非法的信息。 但凡任何一间数据仓库，势必存在着某种形式的坏数据。完全避免坏数据的产生几乎是不可能的，但数据管理可以很好地帮你保持数据的干净。 原文翻译： 信息和数据是一家机构最具战略意义的资产。数据仓库研究所（The Data Ware…

分享记录： 下面是具体的模型设计，一般在数据仓库行业，业务模型有两类，一类是企业自有的数据模型，一类是行业模型，比如金融业：天睿，银行业、保险业、制造业、医疗生命科学行业，这些一般是实施顾问团队总结的。但这些行业模型在中国市场运行的不太好，除了金融和电信稍好点，其他行业因发展较快、业务变化较快，迭代较国外快很多。我不建议以自上而下的方式、预先用一个模型将自己…

分享记录： 数据仓库在业界的定义，是数据仓库之前BILL最早提出的。数据仓库的建设需要一个过程，是一个方法论。数据仓库建设是把企业中所有的数据整合，加工，分析的过程。用于解决数据经营，管理问题。他不像一个产品或者数据库一样，可直接购买。 OLTP就是我们通常说的所谓业务系统。它和数据仓库是有明显差异，业务系统重在当前数据，重在是插入，比如我们一个电商交易数据…

BI数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。 FineBI的BI数据仓库的构建主要包括确定需求，确…

摘要： 继发力认知商业和认知计算后，IBM的大数据与分析业务也将在中国市场逐一落地，为中国企业、开发者以及软件开发商等，搭起一个 “淘宝”式超级数据平台。 IBM的研究人员在展示通过数据分析提高城市交通水平 下个世纪是大数据的世纪，是从IT走向认知计算的时代。在IT时代成就了一家超级平台，这就是淘宝，而认知时代要做的是数据的生意，那是否有一个类似淘宝的超级数…

摘要：数据水管工，让你专心做分析。 数据处理不仅是分析与可视化，如何将不同位置的数据源整合在一起或许也是个问题。 Alooma是一家以色列创业公司，为公司提供实时处理大数据的云端服务。近日宣布A轮1120万美元融资，由光速创投和红杉资本领投。 他们所针对的是从事数据工作的客户群体，比如数据科学家和在数学或机器学习上拥有高学历的终端用户，而不是从事开发和IT的…

摘要：领英称即将开源他们内部的应用软件WhereHows，一个企业级的数据挖掘软件。 准确的说，领英称它为“数据发现软件”。从商业角度讲，WhereHows的目标是从分布式的多种元数据中进行挖掘。 据领英发布的资料显示，WhereHows已经挖掘了50，000条数据集，14，000条评论和35，000，000个工作机会，多达15PB的数据。 在一篇博客中，领…

摘要：记得几年前，曾经有人预测过未来最流行的三大技术：大数据、高并发、数据挖掘。到现在来看，这三种技术的确也随着这几年互联网的发展变得越发成熟和可靠。掌握这三种技术的人，不管是求职还是创业，都属于香饽饽。 一个很深的印象就是当年研究生毕业的时候，专业是数据挖掘、大数据的学生都比较受各种企业的青睐，不管他是不是真的掌握了这些东西。虽然我对大部分高校的相关专业持…

摘要：面对高度互联、数据化全面覆盖的时代，我们正在见证电子商务、移动互联网、互联网金融等多领域因数据而发生着的巨变。以控制为出发点的IT时代正在走向激活生产力为目的的DT(data technology)数据时代。这不仅仅是技术的升级，更是思想意识的巨大变革。2014年3月7日，在杭州西子湖畔，阿里巴巴联合… 面对高度互联、数据化全面覆盖的时代，…

摘要：这一篇关于Airbnb基础数据架构。云计算尤其亚马逊的云服务（AWS）提供弹性计算能力，无需购买昂贵服务器甚至机房，通过虚拟化主机，还提供丰富配套组件，节约运维成本，方便扩展，成为很多创业公司的首选。这里Airbnb 工程师James Mayfield以AWS作为基础搭建数据架构中走过的坑和经验分享，由于笔者也刚好做过，难度2星，供做数据的朋友学习。 …

摘要：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右。 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是…

说起BI，总是自然而然地想到大数据，然而，实际上二者并不应该被捆绑销售。之所以要区分大数据应用与BI(商业智能)，是因为大数据应用与BI、数据挖掘等，并没有一个相对完整的认知。 BI（BusinessIntelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营…

前些时候听说，有某传统企业老板说，大数据是石油，所以我们得像美国一样，暂时不采，等以后再采。可能当初形容大数据就形容错了，大数据不是“石油”，不是什么时候采和用都是那个价值，大数据也是有保值期，要发挥价值就要乘“热”。 记得还是数据仓库 时代，我们会都会将近几年的历史数据存入数据仓库，然后每日最新的数据增量导入。但一般决策要看趋势数据，一般只看近2、3年，再…