数据中台
-
新形势下,企业如何做好数据安全治理?
数据安全要求日趋规范与严格、数据环境复杂变幻,对企业来说,做好数据安全治理迫在眉睫。
-
盘点数据处理工具,手把手教你做数据清洗和转换
原始数据本身没有用。为了使它实际有用,你需要准备它。
-
如何实施有效的报表治理?
数据质量是报表的生命线,任何一个企业的报表在发展到一定阶段后,都会出现一系列不可用问题,包括报表体系混乱、报表口径不一致、报表口径不透明、报表冗余度不断加大等等问题,报表系统是典型的熵值不断增加的系统。
-
如何做好客商主数据管理?
未来企业的竞争就是生态圈的竞争。供应商和客户作为一个企业在生态圈中的上游和下游,企业对二者信息是否能够有效整合,以及是否能够在企业内部畅通无阻的共享应用,直接关系到企业在市场竞争中的地位。而要实现上下游的打通,方便企业内部相关业务的运转以及信息流通,做好客商主数据的管理至关重要。
-
怎样去断定一份数据的质量高低?数据质量如何评估?
今天给大家分享一下如何进行数据治理,“ 数据质量的治理,是数据治理的主要内容之一。数据质量的全面评价,是数据质量治理的准绳。”
-
如何学习数据库系统知识?
如何学习数据库系统知识。在这个之外的学习途径,我首先推荐看斯坦福大学的数据库系统实现这本书是数据库系统实现里面的经典的经典了。
-
制造业要想成功实现数字化转型,数据治理是关键
伴随着数字化、互联网及智能技术大规模应用于工业生产,先进制造业对廉价劳动力的依赖已大大下降。多年来,中国制造业一直处于经济高速发展的快车道中,受益于不断开拓的“增量”市场。
-
支付风控数据仓库建设
作者|凤凰牌老熊 这篇文章是支付风控系统设计的第二篇,重点介绍支持支付风控的数据仓库建设。关于支付系统在风控上的具体需求,参见上一篇文章支付风控场景分析。 支付系统的风控分析需要大量的数据支撑。本文从名单、画像和图谱三个层面,分析在支付系统建设的不同阶段如何建立支持风控计算的数据仓库,详细介绍从什么地方采集数据、如何采集数据、以及如何存储这些数据。 支付风控…
-
Hadoop常见错误
常见问题及处理 mysql版本,必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候,最好是:create database hive; oozie的数据库,同样:create database oozie; hadoop采集的字符集问题。 修改/etc/sysconfig/i18n 更改字符集为en_US.UT…
-
关于数据治理,你需要知道些什么?
每个有效的企业数据计划都离不开数据治理,也就是精心设计的政策,以明确职责、解决不同利益相关方之间的冲突,提供维护和扩展,保护敏感信息。
-
3000字!5大SQL数据清洗方法!
公司的业务数据一般存储在数据仓库里面,数据量很大,主要用的是HiveSQL和MySql做处理。 基于此,写了一个常用数据清洗的SQL对比版,脚本很简单,重点是这些清洗场景和逻辑,大纲如图: 1、…
-
美团点评前端无痕埋点实践
构建一个数据平台,大体上包括数据采集、数据上报、数据存储、数据计算以及数据可视化展示等几个重要的环节。其中,数据采集与上报是整个流程中重要的一环,只有确保前端数据生产的全面、准确、及时,最终产生的数据结果才是可靠的、有价值的。 为了解决前端埋点的准确性、及时性、开发效率等问题,业内各家公司从不同角度,提出了多种技术方案,这些方案大体上可以归为三类: 第一类是…
-
漫谈数据仓库之拉链表(原理、设计以及在Hive中的实现)
本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。
-
如何设计出一个高效的埋点管理系统?
如果您已经知道为什么要做埋点管理系统了,可以直接跳去第三节看埋点管理系统的建设过程。
-
数据中台建设成功的三个阶段
让数据用起来,产生业务价值是数据中台建设的第一优先级。至于这个用起来的过程是否是自动化的,是否有大数据平台的支撑,是否用到了先进的技术,这些都是第二位的事情。