大数据与银行风险管理革命

数据质量管理流程,包括年度计划制定、数据质量持续评估、数据质量问题管理、数据质量主动提升、数据质量被动清洗,以及数据质量工作评估,如图3所示。

年度计划制订,是指基于银行年度业务管理目标与信息系统建设需求,并充分考虑外部监管要求及行内业务及技术发展状况,制订数据质量年度工作计划。数据质量主管部门基于各部门对年度计划的建议,结合本部门的工作现状及实际需求,拟定年度计划。

数据质量持续评估,主要包括数据质量规则制定、数据质量评估方案制订、数据质量评估方案执行、数据质量评估报告制定四项工作内容。数据质量主管部门负责从业务系统、数据主题等评估对象出发,定期对其数据质量进行评估,并给出评估结果。

数据质量问题管理,主要包括数据质量问题收集、数据质量问题分析、整理、登记、数据质量问题状态变更三项工作内容。数据质量主管部门应基于部门日常工作,以及数据质量评估中发现的数据质量问题,结合数据标准制定内容,进行问题的持续跟踪与解决。

数据质量主动提升,主要包括主动提升发起、主动提升方案制定、主动提升方案执行三项工作内容。数据质量主管部门负责牵头,业务部门及科技部门共同完成主动提升工作,对数据质量问题进行根源性、彻底性地修正、包括存量数据清洗及业务功能完善。

数据质量被动清洗,主要包括被动清洗发起、被动清洗方案制订、被动清洗方案执行三项工作内容。数据质量主管部门负责牵头开展被动清洗工作,对存量数据进行临时性的清洗,以在短期内快速地解决存量数据的数据质量问题。

数据质量工作评估,是指对数据质量管理工作执行、数据管控平台应用情况等方面进行全面的评估,以确保数据质量管理能够适时反应业务需求的发展变化。评估周期原则上不超过一年,由主管部门基于对各部门的调研结果制定工作评估报告。

数据标准引用及数据质量评估体系

数据标准只有被持续应用到日常工作中,才能体现其价值并不断保持生命力。数据标准的持续应用,是一个全员参与、长期、坚持不懈的过程,需要各业务部门及科技将其当成一项日常工作,持续不断地坚持下去。业务人员及科技人员,需要在业务需求书、发文报告以及系统设计中,引用数据标准来规范相关数据项的各项属性,而数据标准主管部门在工作中,也应指导、协助并监督各部门更好地引用数据标准。

数据质量评估体系旨在全面地、准确地、客观地反映商业银行数据质量的当前状况。通过对数据质量规则的统一汇总及管理执行,结合相应数学模型,定量地评估数据质量好坏,同时,给出数据质量提升的优先顺序建议,从而为银行逐步提升数据质量打下坚实的基础。

数据质量评估体系,共包括评估维度与评估规则、评估方法、评估报告、数据管控平台四部分内容,如图4所示。

评估维度与评估规则是数据质量评估的基础,主要解决从什么角度、按照什么规范、执行什么规则来进行数据质量的评估。评估维度反映了对数据项进行质量评估的角度和关注点,根据先进商业银行的数据质量管理方法论,数据质量评估维度有规范性、完整性、准确性、一致性、唯一性。根据对数据项的质量要求的粒度不同,评估规则分为数据质量业务规则与数据质量技术规则两类。数据质量业务规则和具体系统无关,反映了在业务层面数据用户对数据质量的需求;数据质量技术规则是数据质量业务规则在系统中的应用,反映对系统中具体数据项质量评估的要求。

评估方法主要为解决在建立上述具体数据质量技术规则之后,如何对数据质量技术规则进行度量、按照什么算法对评估对象进行综合评分,从结构上分为评估形式、评估对象、权重矩阵、评估模型四大类。其中,评估形式是指对数据质量进行评估的形式,根据形式不同,分为主观评估法和客观评估法(实际应用中,以客观评估法为主,主观评估法为辅)。评估对象是开展数据质量评估的目标单元,如应用系统、数据主题、业务部门、评估维度、自定义数据集等,对某个具体评估对象开展数据质量评估时,实际上是对该评估对象下所含的所有数据质量技术规则执行结果的综合评估。由于不同的数据质量技术规则对评估对象的最终得分的贡献不同,因此需要针对每条数据质量技术规则设置对应的权重,考虑多种因素包括数据质量技术规则相关数据项所属系统的重要程度、相关数据项的约束类型、数据类别、评估维度等。各影响因素以及各影响因素的贡献程度共同构成数据质量技术规则的权重矩阵,通过权重矩阵来对每条数据质量技术规则设置权重。