返回 登录
0

【案例分享】业务创新,没有大数据治理怎么行?

阅读3028

本文转自微信号EAWorld。扫描下方二维码,关注成功后,回复“普元方法+”,将会获得热门课堂免费学习机会!
目录
一、大数据治理与业务创新的关系
二、大数据治理的关键步骤
三、大数据治理的主要成果

一、大数据治理与业务创新的关系
数字化时代,我们的数据来源比以前更广了。第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了;第二,更多行为信息、社交信息都会变成企业的数据;第三,我们有很多非结构化的数据,比如媒体、视频数据等;第四,还有物联网传感器方面的数据等。
这些数据大部分是非结构化的,如媒体数据、视频数据,包括物联网传感器等信息,这些信息远比以前更加难以管理,怎么样把这些信息管理好,充分发挥这些信息中的价值,就是企业所需要面对的问题。
图片描述
现在不少企业为了更加明确数据部门的目标,已经把数据管理部的名字改为数据服务部了,由数据管理转变为数据服务,以前是数据部门是自己准备数据给自己用,自己做一些分析报表等,现在更多是要把这些提供给别人用,为业务创新服务。
图片描述
目前很多企业也意识到了数据管理的重要性,CDO也逐渐成为数字化企业的标准岗位,成为企业组织结构中的一部分,CDO已经不仅仅是一个职位了,而代表着数据部门职能的改变。企业如何把数据管理好,用服务的方式提供出来,成为了大数据治理的核心。
图片描述
我们认为,大数据治理应该是自动化、自助化、智能化的,把大数据治理当做一系列服务给别人提供出来,可以让大家更好地开展大数据治理。
图片描述

二、大数据治理的关键步骤

我们今天要讲的是,要想做好好大数据治理服务化,首先我们要实现两个目标,模清现状,理顺数据。
我们分为四步走:
第一、数据资产地图,实现数据与业务的统一
第二、数据资源目录,让业务找见数据
第三、建立统一数据标准
第四、未来可以实现数据的自助化服务

建立数据资产地图,实现数据与业务的统一
某航空公司的系统建设方式是采用传统系统建设方案,由业务驱动系统的建设,没有更多的考虑系统融合的场景,但随着发展的变化,业务的协同性,变得更加重要。例如飞机如果发生了故障,需要一系列的业务协同,而原有系统彼此都管理着交叉的部份。
在业界,达美行空采用的是SOA的系统架构,即16个业务系统,对应有16个核心数据主题,在核心业务数据上做到了统一,业务流程通过调用多个服务访问数据。而我们的数据则是散落在各个系统内,例如旅客信息是在多个系统中都有管理,为业务的协同带来了很多复杂性。
在该航空公司已经建设了数据仓库系统,我们希望通过梳理发现主题与来源业务系统的对应关系,发现交叉数据流向关系,理顺系统架构。从规划的角度逐步完善和调整业务系统职能。实现航空公司顶层数据模型设计,建立数据资产目录树,从顶层数据模型到底层数据实体,完成分类、分级的数据目录结构设计,并完成数据模型设计方法论。
实现数据架构与应用系统对应关系,从顶层数据模型,逐层找到数据实体,再到数据库表,最终到应用系统,实现数据架构与应用系统的对应关系。找到数据模型设计的不合理,在数据血缘分析过程中,提供数据关联关系分析报告,识别出不合理的数据模型。(比如,用户数据在多个应用多张表中独立存储,视为不合理,需改进)。从而最终实现核心业务数据上做到统一。
图片描述
数据资源目录,让业务找见数据
我们说数据管理面临最大的问题是找数据难,难在哪?
难在信息缺失。不知道数据在哪?数据的定义是什么?就是数据的描述。数据的关系是什么?从哪里来到哪里去?指标的计算公式,统计口径又是什么?还有数据的到达时间等等。
如果不知道这些信息我就不知道该如何利用这些数据。资产盘点就是要模清我们有什么数据,理清来龙去脉,这样才能使用数据,发挥价值。
举个例子
当我想要做飞机的主数据时,我需要知道机务飞机数据,运行飞机数据,规划飞机数据都在哪些系统中,这些数据的关系是什么,还有哪些我没有考虑到的飞机数据?
面对这些问题,我们需要把所有系统都调研一遍,因为我也不知道数据在哪里,有的部门也没有能说清楚数据的关系是什么,因为有的系统是外部采购的软件套件,这就造成了需求实现时,面临沟通成本大,实现起来难度高等一系列问题。
那么困难点在哪?
技术人员与业务人员存在沟通鸿沟,一般业务人员只是提出了一个需求说我要什么,技术人员负责实现,但是技术人员不了解业务,不知道业务的数据关系在哪,就不知道数据该如何加工,导致技术实现的不是业务人员想要的数据。
业务人员调研的局限性,是业务人员在做一个新的需求时,首先要收集素材,就是准备需要的数据,但是如何找见数据呢?业务人员只能凭借自已的知识体系去找,按照自已的理解去各个业务系统中去找素材,这种做法会局限在业务人员知道的情况下,但是不知道的部分如何找到呢?
图片描述
如何做?
首先需要将所有业务系统的数据字典收集起来,利用元数据,通过技术手段,自动化的采集系统模型信息,有一个统一集中展现查询的平台,通过检索字段的方式,找到需要的数据模型对象,再查看数据定义等信息,让业务人员在平台中,以自助的方型进行模型调研,通过可视化方式建立双方沟通的桥梁,完成业务对象关系映射,从而为数据资产的获取提供便利性。通过这种方法来实现让业务找见数据。
建立统一的数据标准
过去的业务系统里,我们数据都在各自的系统中,不存在统一的问题,但是当前形式下我们的数据需要集中起来,需要把各个来源系统中的数据抽取到一个库中,那么新的问题就产生了,因为原有的常旅客系统与地服系统中都存在航班性质字段,分别用不同的代码来表示国内航班、国际航班、区域航班,比如常旅客系统中用D、I、R来表示,地服系统中用001、002、003来表示,这就需要先将它们的代码进行统一,转换成一种表达方式,这样才能将数据进行分析和共享。对于业务对象的含义,很多时候还存在同名不同义,同义不同名的问题。
图片描述

未来可以实现数据的自助化服务
对于数据中心的外部应用来说,如何快速提供给我一份需要的数据是比较麻烦的事。因为首先我需要提需求给数据平台的部门,然后再由他们负责调研,生成ETL作业,最后再给我提供一份数据,整个过程耗费的时间比较久,因为外部的应用需求越来越多,数据中心的人要做大量的工作,跟本应付不过来众多需求,那么如何解决响应慢的问题呢?
建立自助的数据共享服务成为行业的一大趋势,要想实现自助的数据共享服务,首先我们要解决三个问题。
数据平台已经有哪些数据?如果有,我能直接获取吗?数据安全如何控制?
我们通过元数据自动化采集来实现有哪些数据?通过平台实现ETL自动生成的能力,让数据自助生成下发给外部应用。建立数据安全级别的管理体系,对表或字段进行标记,实现数据安全的控制。解决以上的三个问题,我们就能够实现数据的自助共享服务。
图片描述

三、大数据治理的主要成果

通过与达美航空对标,我们最终建立了主题域,即客户、员工、位置、订座、票务、航班、航班计划、财务、资产、设备、维修、运价、销售、产品库存。针对每个主题域给出了业务实体目录及定义,梳理实体总数200多个。通过对数据仓库贴源层业务系统表的核查及分析,给出了每个业务实体对应的数据库表与系统。
图片描述
通过以上的数据,为某航空公司数据架构治理提供有力的指导依据,进而改进系统职能划分。通过数据地图的建立, 我们得出:实际能映射到源数据的实体很少,数据覆盖率,即数据的完整性低。平均覆盖率不到25%。256个模型实体,只有60多个实体有源数据映射。即使相对丰富一些的客户主题也仅有55.56%,员工主题45%。特别是维修MAINTENANCE、设备EQUIPMENT、位置LOCATION三个主题的覆盖率不到20%,几乎没有MANTENANCE主题的源数据。
一些主题的关键实体没有数据源映射,如财务主题的总账、财报没有数据源。另一方面,客户CUSTOMER、员工EMPLOYEE映射的源数表超过了模型实体数,但是映射覆盖率并不高,说明数据分散(分布于11个源系统中)且可能有冗余,数据的一致性、完整性难以实现与保证。
图片描述
我们梳理了基础数据标准:技术标准30000多个,指标标准70多个, 基础标准20000多个。指标标准统计了利润指标、收入指标、生产运行指标、考核类指标、营销专项业务指标。
为业务分析指标数据,下游共享数据提供了有力的支撑。
图片描述
最后我们总结一下,企业通过数据资产地图实现数据与业务的统一,从架构的角度治理数据;再建立数据资源目录,让业务找见数据;建立统一的数据标准,理顺数据;未来可以实现数据的自助化服务,让大数据治理驱动业务的创新。

关于作者

朱瑞

现任普元大数据产品线架构师,近十年IT工作经验,带领和参与了普元元数据、数据质量、数据标准的规划与研发。主导完成上海移动、中信银行等元数据建设和数据管控项目。
图片描述

关于EAWorld
微服务,DevOps,元数据,企业架构原创技术分享,EAii(Enterprise Architecture Innovation Institute)企业架构创新研究院旗下官方微信公众号。

扫描下方二维码,关注成功后,回复“普元方法+”,将会获得热门课堂免费学习机会!
微信号:EAWorld。
图片描述

评论