还要什么ETL?它是搭建数据仓库的必备,许多人都不知道!
商业智能是什么?意义在哪里?企业又如何建设商业智能系统?相信这些问题一直围绕在CIO的脑海里。其实,很难用单一的产品或者技术来概括商业智能,凭我从业十年的理解,商业智能是一条路,一条从数据到信息的路,有如下几种:最简单的方案是企业数据报表系统深层次的是olap分析更深层次的是数据挖掘作为商业智能的一条路,OLAP大概是比较常见的一种选择。无论是对数据产品经理,或者数据分析师来说,...
商业智能是什么?意义在哪里?企业又如何建设商业智能系统?相信这些问题一直围绕在CIO的脑海里。
其实,很难用单一的产品或者技术来概括商业智能,凭我从业十年的理解,商业智能是一条路,一条从数据到信息的路,有如下几种:
- 最简单的方案是企业数据报表系统
- 深层次的是olap分析
- 更深层次的是数据挖掘
作为商业智能的一条路,OLAP大概是比较常见的一种选择。无论是对数据产品经理,或者数据分析师来说,要想搭建一个业务的数据分析平台,OLAP分析是你不得不掌握的技能。
随着企业的数据量越来越大,数据分析查询响应及时性要求越来越高,如按照传统ETL(提取、转化、加载)的数据加工方式,需要考虑各个不同维度上的聚合,来提高响应及时性,所以会造成ETL的工作量非常大,同时对模型设计要求也比较高,也不适合灵活的维度组合查询的需求。
在这种背景下,数据仓库的系统的主要应用:OLAP分析,就这么出现了。OLAP首先是把数据预处理成数据立方(Cube),并把有可能的汇总都预先算出来(即预聚合处理),然后在用户选择多维度汇总时,
在预先的计算出来的数据基础上很快地计算出用户想要的结果,从而可以更好更快地支持极大数据量的及时分析。
但在实际的商业分析中,OLAP分析更多的是指对数据分析的一种解决方案。
公司的数据都储存在ERP、CRM、OA等中,各业务线存在大量的OLAP分析场景,需要基于Hadoop数十亿级别的数据进行分析,直接响应分析师和大数据部门等数千人的同时访问请求,对数据服务的各方面都有很高的需求。
OLAP的优势
1、多维性:它面向分析,分析驱动,支持多维分析。“维”是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。
2、信息性:它可以支持管理需要,面向决策人员;可以导出综合性和提炼性数据信息。
3、强处理性:OLAP一次处理的数据量比ETL、传统取数方式大得多。
4、快速性:用户对快速反应能力有很高的要求,OLAP系统应能在5秒内对用户的大部分分析要求做出反应。
上面讲的OLAP分析都是偏向IT层面,但其实OLAP的最终作用是使管理层、数据分析师、业务人员能够从多种角度对信息数据更深入了解,它的技术核心是"维"这个概念,因此OLAP也可以说是多维数据分析工具的集合。
业务人员如何利用OLAP分析?
业务人员在分析业务经营的数据时,经常需要从各种角度来思考与分析数据。
例如分析销售数据,可能会综合时间、产品、渠道等多种因素来考量。这些分析角度虽然可以通过报表来反映,但每一个分析的角度可以生成一张报表,各个分析角度的不同组合又可以生成不同的报表,使得IT人员的工作量相当大,而且往往难以跟上管理决策人员思考的步伐。
老一代OLAP分析的技术实现需要严格的从头开始手动建模,Cube的大小极大限制了大数据背景下的使用场景,动辄成百上千新旧不一的Cube需要繁重的运维,架构无法纵向扩展、无法满足大数据量下构建、查询和并发的性能要求。这种处理方式在新一代的BI工具中并不适用。
好的BI产品在olap分析方面,主要是聚焦3个方面:
- 多维观察:就是字面意思,多个角度关联分析
- 数据钻取:在已有的基础数据上细化,精确到更小的点
- cube计算:计算引擎直接考虑可能会出现的各种情况,进行预计算,避免了实时数据太大而引起的数据量查询慢
以国内顶尖的BI工具FineBI举例,其主要特点是直接仿照用户的多角度思考模式,预先为用户组建多维数据库。一旦多维数据模型建立完成,用户可以快速地从各个分析角度获取数据,也能动态的在各个角度之间切换或者进行多角度综合分析,具有极大的分析灵活性。
FineBI的数据业务包是BI分析的数据基础,由管理员创建,通过定义的数据连接向数据库中取数,获取到的数据自动保存在Cube中,BI分析则从Cube中获取数据,这也就保证了只要Cube中存有数据,就算不联网也可以使用BI分析。
FineBI凭借OLAP分析真正做到了将技术人员的工作系统化,高效赋能业务人员 。 业务人员只需自助地使用 BI 工具直接分析即可。
系统将自动地理解分析意图,并在后台透明地进行数据准备和加速,透明加速后的查询提速至几十倍到上百倍,满足业务人员交互式的即席分析需求。就拿业务分析中,经常要用到的钻取和联动来说吧。
所谓联动,就是一个数据变化,后面所有的数据都会自动变化。在FineBI中,组件之间任何有来自同一张表或者有关联的数据默认直接进行联动,可满足大部分业务分析场景,无论是从数据反应速度,还是从图表的美观程度来看,Excel数据透视表都是甘拜下风!
在使用FineBI进行数据分析时,我们往往会先通过可视化报表从大的层面把握业务问题所在,再通过一个页面内的钻取联动逐级向下钻取,直到明细数据,才能定位到具体的问题。
总结
实践已经证明,采用OLAP分析计算,能够避免困扰现代BI工具和复杂大数据基础架构的一大基本难题:漫长的计算时间和缓慢的查询速度。有了OLAP分析,这些问题将迎刃而解,
而其中的 OLAP核心能力的突破,将是增强分析的关键。
我还整理了数字化案例、IT建设案例、数据仓库、数据治理、行业报告等总计6个G的资料包,绝对高质量!关注微信公众号“商业智能研究”,回复关键字“资料包”即可领取全部资料!
更多推荐
所有评论(0)