商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
商业智能作为一个工具,是用来处理企业中现有数据,并将其转换成知识、分析和结论,辅助业务或者决策者做出正确且明智的决定。是帮助企业更好地利用数据提高决策质量的技术,包含了从数据仓库到分析型系统等。
百度百科认为BI包括三个层级:数据报表、数据分析和数据挖掘。
数据报表:传统的报表系统技术上已经相当成熟,大家熟悉的Excel、水晶报表、FineReport、Reporting Service等都已经被广泛使用,其实很多公司不需要要什么专业化的报表工具,自己定制也足够OK。
数据分析:报表系统更多的是呈现数据,但如果你想更多了解数据之间的关系,发现一些异常,一般只能靠定制化方案解决,比如取个数,然后有“好事者”觉得分析的模式还是有规律可循,因此提出了OLAP的概念,希望用多维钻取、关联的方式来帮助业务人员更方便的探索数据的内含规律,同时通过可视化配套技术来展现分析的结果,诸如仪表盘、大屏啥的,这就是所谓的数据分析工具,也是当前BI工具的主流。
数据挖掘:数据挖掘则希望能超越人的限制,针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。
但笔者认识的大多数BI,其实仅包含数据报表和数据分析,数据挖掘的一些东西可以集成到数据分析工具中,但大多数情况是没有的。
现在BI工具发展的不错,诸如Power BI 和 Tableau等都是不错的产品,每年有几十个点的增长率,但从笔者的使用经历看,或者站在一个大厂的角度看,BI这个20年前提出的概念,近些年来其实并没有获得突破性的进展,起码在数据转化为知识的过程中,当前的BI工具能起到的作用是极其有限的。
这也是为什么会经常会听到这样的对BI的质疑:你不用讲那么多,你直接告诉我这个东西有什么用,能解决我们什么问题,能不能帮我们企业赚钱….。
BI也许会这么解释:业务分析需要由专业的业务人员且具备数据分析思维意识的人员来推进和主导,再辅助合适的数据分析、挖掘或统计工具,这样商业智能BI的价值才能得到充分的发挥,数据的价值也才会得到充分的体现。
但跟机器学习和人工智能中的‘’智‘’相比,BI商业智能中的‘’智‘’,实在是弱了点。
所以BI工具能卖的动,一方面得益于数字化产业的加速,另一方面也跟企业数据意识的崛起有关,大量中小企业都希望用更为自动化的报表形式来提升看数的效率,但大厂、运营商等也许早就过了这个阶段,现在的BI工具对它们来说,缺乏进一步的吸引力。
从可视的角度看,BI工具的边际效益并不高,10年多前我看到的可视化和当前我看到的可视化,并没有有多大的进步,或者对于分析有更大的价值,当然大屏除外。
从灵活的角度看,SQL、Python等解释性语言的普及度越来越高,大量的业务人员开始掌握这些简单的语言来进行定制化的分析,固定模板和样式的BI工具就显得相对弱了。
从分析的角度看,既然BI更多是验证业务人员的假设,其实EXCEL性价比已经很高了,至于EXCEL依赖的数据源,靠定制化的取数也是可以的,这在当前很多企业中是主流的支撑模式。
从报表的角度看,拥有开发能力的大厂自己定制报表系统已经不是事了,大数据起来后,大厂更多关注的是报表的性能和适配自己的技术生态,而不是简单的便捷和好看。
那么,未来的BI到底长啥样?
如果我们超越当前主流BI工具定义的范畴,也许可以从大厂的实践获得一些启示,至少有三点是值得思考的。
1、前后端一体化
大数据在带来海量数据的同时,也带来了数据处理技术的革命,其对BI的影响是深远的,主要有三点:
第一、大数据高价值、维度多、价值密度低的特点,使得多维分析的价值突然提升了,在小数据时代,多维分析其实有点聊胜于无,但现在的驱动力强多了。
第二、大数据带来了数据处理技术的革命,比如hadoop用多样化的技术引擎来满足各类数据分析场景的诉求,但同时也大幅提升了数据分析的门槛,业务人员会突然发现很难直接操作hadoop。
第三、现有的BI工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展、无法处理超大规模数据等等问题,这些不适配降低了大数据引擎进步带来的价值。
因此,BI工具如何去适配这些大数据处理和分析引擎就成了一个机遇,现在Apache Kylin多维数据库很火,就是因为它成为了新时期BI工具和大数据后台引擎的连接器,其针对海量数据的OLAP分析的性能很高,为BI提供了面对大数据时缺失的能力,阿里的AnalyticDB也是类似的。
业务人员对可视化也许会审美疲劳,但其对于数据分析速度的要求是始终的,在相当长的时间内,因为业务人员自己做不动,开发人员做的成本又比较高(当然大厂可以自己做),只要BI能衔接到这些大数据引擎,就会产生1+1>2的效果。
可以肯定的是,BI通过全新的大数据技术手段来提升产品的竞争力会是一个趋势。
2、移动端的场景化
BI产品的移动化很久以前就有产品了,但奇怪的是,它们并没有像移动互联网一样快速普及,起码速度不够快,为什么?
当笔者第一次接触到这些移动化的BI产品时,就发现把报表系统原封不动的搬到手机上体验是不行的,光是选择指标和维度就显得有些繁琐了,小屏看报表问题很多。
而且应用的场景似乎也出现了点问题,在碎片化的时间,人们似乎没有心思去研究报表,更不用说钻取分析了,有那时间,还不如坐在电脑前直接看大屏的报表,这是很尴尬的地方。
因此,移动端的BI也许只能承载轻量的随时随地看数的需求,未来的一个趋势也许就是场景化,实时化。
场景化就是针对特定的事件提供针对性的看数方案,比如KPI是一种场景,双11也是一种场景,但双11你给老板看的报表和指标跟平时的KPI是完全不同的,你要定制化这些指标,显性化展示指标,需要补充一些跟这个场景相关的特定要素。以下是校园营销的移动端BI示意。
既然是场景化的,必然在特定时机会有看数的诉求,这个时候就有数据实时性的要求,比如双11就是实时的数据展现,我们在做校园营销的时候,就需要针对每个校园进行进行实时受理数据的比对,以便及时发现问题。
由于场景化的要素不确定,决定了不大可能用标准的BI工具来实现,无论是实时的接入能力还是组装场景的能力。
因此,现在一般用定制化的方式来解决,但考虑到场景是有时效性的,也许生命周期只有几天,定制化的成本相对就会比较高,“搭积木方式”的BI工厂也许就是一种解决方案。
其实,无论是小屏、中屏、大屏,我们都有这种诉求,也许,这代表了一种趋势。
3、自助式的分析
10多年前来我们做了很多定制化分析的系统,现在留下来还在发挥作用的,就是自助取数。由此延伸出来的自助概念很好,因为它改变了数据分析支撑的模式。
以前基本上都是IT业务部门提需求,IT部门负责制作相应的报表,这样的流程会很长,响应的及时性也不够,那能不能提供给业务部门一些自助的工具让它自己来DIY数据呢?比如基于指标灵活的组装形成报表,这就是当前BI提倡的自助分析。
但我们以前的自助报表系统却没有存活下来,为什么?
因为要达到自助的目标,不仅仅是提供一套灵活的报表发布工具那么简单,而是要提供从数据采集、处理、发布、调度、数据管理等的一整套数据解决方案,否则,你的自助分析的应用范围就会受到极大的限制。
举个例子,假如企业没有好用的数据字典,业务人员连数据是啥意思都不清楚,自助分析也就无从谈起了。
现在的很多BI自助工具所以能玩的转,往往是因为面对的数据不多,维度很少,指标有限,反正就是固定的维度和指标的组装,那是没问题的,但这种理想的场景在大企业其实很少。
现在数据中台所以能这么火,就是因为它对前端的赋能其实是一个系统工程,要考虑数据的方方面面,比如数据标准化,只有在这个基础上的自助分析才是有生命力的。
因此,假如一个企业的自助分析够做的很好,那数据管理水平也是相当高的。BI工具的成功,从来就不是简单的工具成功,而是跟这个企业的发展阶段、机制流程、人员素质、数据基础、平台能力分不开的。
无论如何,自助分析会是个趋势,但需要数据中台为其背书。
这篇文章写到一半其实就有点写不下去,因为发现自己对于最新的BI产品的进展理解不够,更多的还是从自己的实际工作来理解印象中的BI,个人色彩浓重了点,权当抛砖引玉,各大BI厂商就不要来“锤”我了。
本文为专栏文章,来自:与数据同行,内容观点不代表本站立场,如若转载请联系专栏作者,本文链接:https://www.afenxi.com/78924.html 。