程永新,新炬网络董事、副总经理,DAMS中国数据资产管理峰会联合发起人。长期钻研国内外数据资产管理理论与实践,数据资产管理五星模型与服务框架提出者,大数据领域资深专家,多项国家发明专利持有人。
梁铭图,新炬网络首席架构师,10年以上数据库运维、数据分析、数据库设计及系统规划建设经验,对数据架构管理及数据资产管理有深入研究。
杨志洪,dbaplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。
注:本文来源于《电子技术与软件工程》2018年8月下半月刊。
从数据管理到数据治理到数据资产管理,从全球到国内,各种新概念不断提出并被加以实践改良,提升了政府、企事业单位及群众对大数据资产管理的意识,同时也促进了大数据产业不断的深入发展。借鉴国内外数据管理模型及相关理论思想,我们对数据资产管理的模型进行分析、总结,提炼出组织数据管理的五大管理域十三个能力项,并对每项能力进行详细划分以及相关功能介绍。
引言
现在已经全面进入物联网时代,数据以史无前例的规模大批量一刻不停地生成,与大数据相关的研究和应用层出不穷,数据已经成为各国政府和企业最重要的资产,我国也于2015年8月发布了《促进大数据发展行动纲要》。国家在纲要中明确指出数据是核心资产,大数据是推动经济发展的新动力,是提升企业核心价值的驱动力。
数据如此重要,数据产生量如此之大,然而整个数据管理领域的理论发展是非常落后的。企业都知道数据很有价值,数据能够为企业带来指引,然而真正让数据为企业带来价值的案例并不多见,这主要是由于既有的数据管理模型落后并且复杂。
数据管理的概念从80年代提出到现在已经接近40年了,数据治理的提法也有近20年,而数据资产管理的提出基本是最近5年的事情,中国数据资产管理峰会对数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程。
数据资产管理研究现状
20世纪80年代后期,数据仓库概念开始形成,这也是数据管理理论的萌芽。随着数据仓库应用落地和展开,在2000年左右数据治理的相关理念也逐步形成。2000年前后,H.Watson探讨了“数据仓库治理”在Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,被国内学者认为拉开了“数据治理”在企业管理中的大幕。
早在2004年,国际数据治理协会DGI就首次发布了DGI数据治理框架,从这个框架模型初步提出了RPP(人员/流程/规则)框架。但是,这个框架中没有对数据治理的具体工作内容给予细化或明确说明。
2006年,国际数据管理协会(DAMA)发布了数据管理框架,并参考了PMBOK的架构编写了数据管理指南(DMBOK)。经过多次迭代,2008年3月,国际数据管理协会发布的最新版DMBOK中,将数据管理工作细分为十个职能:
数据治理
数据架构管理
数据开发
数据操作管理
数据安全管理
参考数据与主数据管理
数据仓库与商务智能管理
文档与内容管理
元数据管理
数据质量管理
以及目标和原则、活动、主要交付物、角色和责任、技术、实践和方法、组织和文化七大环境要素。
2010年,IBM发布了《数据治理统一流程》一书,描述了企业数据能力成熟度评价模型。IBM提出数据治理的要素模型,认为数据风险与合规、价值创造等业务目标或成果是数据治理的核心关键命题,并且影响这些目标的达成需要组织结构和认知度、政策、数据相关责任者三个促成要素。在三个促成因素以外,必须关注数据治理三个核心要素,分别是数据质量管理、信息生命周期管理、信息安全和隐私。要素模型中还有数据治理三个支撑要素,数据架构、分类与元数据、审计日志和报告。
2014年,EDM发布了数据管理能力成熟度模型( Data management Capability Assessment Model )。在该模型中,EDM将数据管理划分为八大职能域:
数据管理策略
数据管理业务案例
数据管理项目
数据治理
数据架构
技术架构
数据质量
数据运营
2014年,CMMI协会发布了数据管理成熟度模型,将数据管理工作分为六个维度:
数据管理战略
数据治理
数据质量
平台及架构
数据操作
支持流程
以及五个成熟度评估等级:可执行级、可管理级、已定义级、可量度级以及优化管理级。
在国内,数据治理和资产管理研究和标准化工作相对较为滞后。2018年5月份,银保监会正式发布了金融机构数据治理指引。从相关主题的数量,可以看出金融机构数据治理指引主要关注的是制度、人员、流程、监管等相关方面建设。同时,数据管理能力成熟度模型的国家标准也同期发布。
近几年,随着数据价值的进一步挖掘,企业对数据资产化需求不断增长,数据资产管理理念形成。2014年新炬网络在行业中明确提出了数据资产管理概念及其三大核心框架:数据架构、数据治理和数据运营,并于次年首次对外发布了数据资产管理五星模型,进而将数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程,此后在与国内外同行的交流和企业实践中,持续不断的迭代演进和完善,并于2018年7月的中国数据资产管理峰会上,正式发布数据资产管理“AIGOV五星模型”。
2018年3月15日,中国国家标准化委员会和中华人民共和国国家质量监督检验检疫总局联合发布了《数据管理能力成熟度评价模型》,该模型包括数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生命周期等8个关键过程功能域,29个能力项。该模型制定了相关的功能域划分、评价标准和关键指标定义,以帮助组织更好地理解和评价数据管理现状。
简单总结一下国内外数据管理/数据治理/数据资产管理方面的模型,就会发现,这些模型要么是太过于简单(比如2003年发布的DGI模型)不知道具体怎么落地,要么是太过于复杂(比如2006年的DAMA模型、DMM模型等)实施起来过于艰难。
相比于其他国内外的标准/模型或框架而言,数据资产管理“AIGOV五星模型”更关注数据资产管理的全局视角和整体过程,企业管理者或从业者可以更清楚了解整个数据资产化价值实现的过程。
新炬网络自提出数据资产管理五星模型之后,在与国内外同行分享交流,特别是结合在金融、电信、电力、制造、政府等领域的企业级实践过程中,历经多年持续迭代完善,目前的数据资产管理“AIGOV五星模型”正式版覆盖五大管理域、十三个能力项。
数据资产管理AIGOV五星模型详述
数据资产管理“AIGOV五星模型”将数据资产管理相关工作划分成五个管理域和十三个能力项。
第一个管理域是数据架构策略,针对管理体系,主要是人员的组织结构,以及相关策略制度。数据架构策略管理域只包含一个能力项:组织架构/策略制度。
第二个管理域是数据集成共享,针对数据资产管理的技术平台。数据集成共享管理域,包括三个能力项:分别是数据采集、数据集成和数据共享中心。
第三个管理域是数据治理,这部分就是数据治理的传统范畴,包括数据模型管理、元数据管理、数据标准管理以及数据质量管理四个能力项。
第四个管理域是数据运营管理,核心是如何提升数据安全和运营效率;包括数据生命周期管理、数据安全管理和主数据管理三个能力项。
第五个管理域是数据增值应用,通过数据分析挖掘和开放服务,将数据服务于企业和企业的战略联盟间,提升数据价值、实现业务互动。包括数据分析挖掘、数据开放服务两个能力项。
数据架构策略域,包含一个能力项组织架构/策略制度。
做好数据资产管理工作,关键要做好的是数据资产管理相关组织、制度、流程和规范等相关的建设工作。而其中最为重要的是数据资产管理组织的建立,建立一支为企业数据负责的管理和执行团队,并在企业决策、管理、执行和应用各层面实现数据资产管理工作。如果没有组织,如果没有人,规章制度靠谁去执行、去监督,如此下去企业中所有的数据资产管理规章制度只会是一纸空文,无法落地。
数据集成共享管理域,包括三个能力项:分别是数据采集、数据集成和数据共享中心。
围绕数据实现企业中各式数据的采集、集成以及共享,打破企业中形成的数据孤岛,将数据进行有效的整合和集成,让数据实现更多的关联和碰撞,产生更多业务、产品、服务以及管理等多方面的创新。数据采集整合集成中,应该强调基于元数据驱动数据集成。通过元数据管理,可以让数据集成过程更公开与透明,更容易发现数据集成过程中出现的问题,更为便捷地得到数据集成过程的深远影响。基于元数据驱动下的数据集成,可以使数据采集、处理、汇聚等过程更加规范和利于管理。
数据采集、集成和处理计算之后,形成各种各样的数据产品。这些数据产品通过数据共享中心打破企业历史沉淀的数据孤岛,通过数据采集、集成进行有效整合,构建企业级数据共享中心,满足企业内部数据交互、访问、共享的业务需求,使数据能够更好的反哺企业业务的发展。
数据治理域从提供一个透明可读以及高质量的数据环境着手。
数据治理往往始于数据模型管理,根据企业的特点和现状从正向建模和逆向两个方面入手。正向建模,从零开始对系统或者数据中心进行模型从新构建。但是对于绝大多数传统企业,企业存在大量存量系统或者在用系统,同时这些系统中数据模型可能并不清晰,形成事实上的数据黑盒子,企业人员很难理解和运用这些数据。所以,还需要进行逆向数据模型梳理,把数据模型整理清晰,梳理清楚企业数据的基本全貌。数据模型梳理完成以后,实现整个基于版本化的数据模型管控过程。通过数据模型管理体系构建,整个企业的IT系统以及大数据中心所有数据模型的纳入统一的管理当中。数据模型管理,最终将以数据地图、数据资产目录等方式向企业数据应用、管理和维护人员进行开放和共享,让数据相同干系人都可以从中获取必要的数据信息。
数据模型梳理完成,它将是元数据管理最重要输入内容。元数据管理通过各式的关于数据的信息采集、归并整合和应用等手段,向企业中提供全局企业多角度元数据视图。可视化的元数据管理工具,为企业数据应用和开发人员提供图形化全局元数据检索和查询,数据处理过程上下文的数据血缘关系分析,以及预览数据处理和变更对全局的影响度分析。借助元数据管理工具,实现强大元数据监控、稽核和版本管理的能力,便于数据应用和管理人员分析元数据与实际数据中心或者数据仓库之间的差异,防止元数据与实际系统之间出现“两张皮”的现象,维护元数据的权威性和准确性。
元数据和数据模型在企业内部数据建设还需要实现标准化过程,数据标准化维度往往包括多个方面,包括数据定义命名的标准化、数据设计的标准化、数据内容和格式的标准以及数据交换的标准等,通过这些数据标准化的工作打通企业内部数据的设计和认知的统一,便利于企业人员理解和认识数据,有利于数据的共享和整合。
完善的元数据管理以及数据标准体系,可以更加方便企业人员进行数据质量管理。数据质量管理借助工具手段将质量管理PDCA循环管理方法论落地。在这个过程中,利用数据质量管理工具对数据质量进行有效监控和分析。
数据运营管理域,核心是如何提升数据安全和运营效率。
数据资产管理团队通过制定合理、完整的数据生命周期管理方案,针对不同类型的业务数据进行贯穿其整个生命周期的管理。面对业务部门和IT部门对数据使用的要求进行调研和分析,结合企业中各类数据特点和趋势,制定不同数据在不同阶段数据生命周期策略,企业上下确认并达成一致后,形成企业中数据生命周期管理规范并发布。
数据资产管理团队根据国家、行业和企业对数据安全管控需求,对现有数据进行敏感分级分类,形成敏感数据目录。以此为基础,还需要针对不同数据制定和完善如安全审计、测试数据管理、数据脱敏、数据提取管理等应用场景。
数据资产管理团队还负责管理描述企业关键业务实体的核心主数据,通过主数据采集、质量管理、审核、发布等方式统一管理企业的黄金数据。
数据增值应用管理域,通过数据分析挖掘和开放服务,将数据服务于企业和企业的战略联盟间,提升数据价值、实现业务互动。包括数据分析挖掘、数据开放服务两个能力项。
企业数据分析人员,借助数据可视化、数据统计、挖掘算法和机器学习对整合到大数据共享中心的数据进行分析验证,提取和发现有用的信息并形成结论。
同时,企业将原始数据、经过有效加工的数据或者整合后的数据报告,通过数据资产化的评估、脱敏和定价,与外部合作伙伴实现数据交换、交易和流通,为企业获得战略或财务收益。
数据资产管理五星模型的价值和意义
进入大数据的时代,数据被业界公认为是企业的最宝贵资产之一,数据的价值得到广泛认同。企业依赖数据资产管理为其提供可靠、有价值和高质量的数据,提供更好的产品和服务,降低开发和运维成本,控制风险,以及为企业提供更明智和更有效的决策数据支持。
因此,企业亟需对数据资产进行有效的管理,提升数据的价值。
首先,数据资产管理AIGOV五星模型为企业的数据资产管理提供了管理框架,通过这个有效的管理框架,企业可以参照自身的数据现状和不足,制定适合自身特点和战略的数据资产管理规划,并且有的放矢地按步骤有计划地开展其数据资产管理活动,分阶段实现其整体数据资产管理蓝图。
其次,数据资产管理AIGOV五星模型为企业提供了数据资产管理实践级的方法论,通过这些在各大型企事业单位中经受过实战演练的方法、规范和制度流程。它指导企业更有效地开展各种数据资产管理活动,有助于解决企业在实施数据资产管理可能遇到各种问题和规避常见的陷阱。
最后,数据资产管理AIGOV五星模型提出的数据资产管理平台体系,为企业实施数据资产管理提供了平台化的支撑。通过各种可视化的数据资产管理平台,更有效地沉淀企业数据资产知识图谱,实现企业数据知识的共享和传播,同时有效地管理数据和提升数据质量,推动企业内外的数据共享和应用,提升企业数据价值,实现数据的资产化。
数据资产管理AIGOV五星模型为构建企业的数据资产管理环境,实现数据资产保值和增值,提高数据质量都具有非常重要的意义。
数据资产管理五星模型的企业实践案例
AIGOV五星模型在不同行业的大型企业中进行了企业级的实践活动。
某大型制造企业在企业数据应用于企业运营的过程中,出现了许多关于数据的形形色色的问题,诸如:
数据资源分散:数据形成事实上孤岛,数据资源及管理、开发应用相对分散,数据采集、整合、分析以及数据应用没形成闭环;
数据黑盒化:企业人员对应用系统中数据理解和认知不足,数据字典与实际脱节;
信息难公开:没有平台支撑,梳理出来的有效数据信息也无法在企业中发布和共享;
安全管控不足:缺少基本数据安全管控手段,没有必要的数据安全目录;
数据质量不高:历史存量数据质量不高,存在大量重码、无效数据,数据质量管理任重道远;
数据容量问题:数据容量有效收集与分析不足,数据化决策支持不够;
……
这些数据的问题极大限制了该企业进一步运用企业数据资产,阻碍其利用数据做出精确的分析和预测,为企业战略决策服务的目标。
该企业在与我们一起共同努力,着手数据资产管理项目实施,实现了数据资产管理五星模型的快速落地。
首先,建立技术和业务共同参与的企业数据资产管理团队,并在项目初期以企业现状和未来战略为基础,制定了三阶段的数据资产管理规则,从基础着手逐步构建适合该企业现状和特点的数据资产管理体系。
其次,着手梳理企业数据资产,重新整理企业数据字典、数据模型以及相关元数据,打破数据黑盒,让企业重新掌握数据资产。
最后,建立数据资产管理平台,通过可视化的平台,实现了数据模型、元数据、数据生命周期和数据安全的统一管理,有效解决了之前困扰客户的数据资源分散、信息不公开、数据质量不高、数据黑盒化、安全管控不足和数据容量问题等。通过个性化的数据门户,面向企业内部的不同用户和开发人员,赋予不同权限的快捷查询和实时检索能力。
数据资产管理平台,轻松将企业级的数据标准、数据模型、元数据和数据质量实现整合和打通,以数据资产目录、数据地图等方式实现资产可视化和智能化,做到了:
集中式的元数据管理:实现数据来龙去脉和相互关系的可视化;
企业级多维度元数据视图,提供可视化的展现、检索和查询,上下文的数据血缘关系分析,以及预览数据处理和变更对全局的影响度分析;
元数据监控、稽核和版本管理能力,实现数据标准、元数据设计稿与实际业务系统之间的差异,防止元数据与实际系统之间出现“两张皮”的现象,维护元数据的权威性和准确性;
数据安全管理:识别企业敏感数据分类,洞悉数据安全关键数据的分布;
数据生命周期管理:实时容量监控和趋势分析,提升系统性能,降低运维成本;
个性化数据门户:面向不同用户,提供个性化门户、便捷查询和实时检索。
总结
数据资产管理AIGOV五星模型,作为一个全新的数据管理方法论,必定会为大数据业界带来一种全新的思维模式,也会给大数据产业带来一种全新的助推能力。该模型随着中国数据资产管理峰会的传播,将吸引国内外政府机构和企事业单位的数据人才进行学习和推广,一方面能为行业储备人才,另一方面可以促进大数据行业发展。在该模型不断实施和推广过程中,还会不断发现和培育行业标杆,行业标杆进一步推动AIGOV五星模型更加完善,使行业和人才共同受益。
参考文献:
[1] CMMI Institute. CMMI institute data management maturity model v1.0[R].[S.l.:s.n.], 2014.
[2] EDM Council. EDMC DCAM version 1.0[R].[S.l.:s.n.], 2015.
[3] AIKEN P , ALLEN M D , PARKER B ,et al. Measuring data management practice maturity:a community's selfassessment [J]. Computer, 2007, 40(4): 42-50.
[4] LI B, BIN J Z. Data management capability maturity model[J]. Big Data Research, 2017, 3(4): 29-36.