数据仓库
-
大数据技术:OLTP和OLAP的区别
联机事务处理OLTP(on-line transaction processing)主要是执行基本的、日常的事务处理,比如数据库记录的增、删、改、查。比如在银行存取一笔款,就是一个事务交易。 OLTP的特点一般有: 1.实时性要求高; 2.数据量不是很大; 3.交易一般是确定的,所以OLTP是对确定性的数据进行存取;(比如存取款都有一个特定的金额) 4.并发…
-
一个数据仓库转型者眼中的数据挖掘
对于大多数非从业者或者初学者来说,数据仓库(Data Warehousing)与数据挖掘(Data Mining)是很容易混淆的两个概念。有个形象的比喻说:如果把数据仓库比做一个大型的矿坑,那么数据挖掘就是入坑采矿的工作,数据挖掘需要有非常好的数据基础,没有丰富完整的数据,是挖掘不出好内容的。数据仓库可以说是数据挖掘最理想的地基。
-
数据挖掘化功大法(19)——什么是数据挖掘(下)
什么是数据仓库 数据仓库是一个面向主题的( Subject Oriented) 、集成的( Integrate) 、相对稳定的(NonVolatile) 、反映历史变化( Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理: ①数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库; ②数据仓…
-
数据挖掘化功大法(10)——HP Vertica
考虑到企业数据仓库的重要战略意义(EDWs)和每年投入的巨额维护和扩展费用,如何容易地访问这些大量信息资产是非常迫切的需求。然而,许多EDWs成为自己成功的受害者。随着时间的推移,用户获取新问题答案的需要导致EDWs包含的数据量和复杂数据类型发生迅速增长,同时也带来更多的并发和复杂分析的压力。如果企业级数据仓库变得无法应付这种变化,或者服务水平协议(SLA)…
-
数据挖掘化功大法(4)——数据挖掘涉及的技术
数据挖掘需要掌握的内容包括:统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 下图比较清楚的画出了学习数据挖掘需要掌握的知识内容: 1、统计学 统计学是通过搜索、整理、分析数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识,它的使用范围几乎覆盖了社会科学和自然科…
-
数据挖掘化功大法(1)——建立数据仓库的意义
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。 1、多数据整合 将分布在各处的数据整合到统一的数据仓库中,以便处理。 上图是数据仓库的…
-
从Gartner首次揭露谈起:大数据的五大误区
Gartner指出关于大数据的五大误区,以帮助IT管理者制定他们的信息基础设施战略。