一、数据标准概述
1. 什么是数据标准
由管理制度、管控流程、技术工具共同组成的体系;
保障数据定义和使用的一致性、准确性和完整性的规范性约束。
数据标准分为业务标准和技术标准
① 业务标准:即业务含义的统一解释和要求;
② 技术标准:在应用环境中对数据的统一技术要求。
2. 为什么做数据标准
数据来源不明
数据共享难以实现
沟通成本较大
数据同名不同义
3. 做数据标准的好处
消除数据的二义性,保证数据定义和使用的一致性,促进信息资源共享。
可发现现有系统标准问题,支撑系统改造,减少数据转换,促进系统集成,提高数据质量。
可作为新建系统参考依据,为企业系统建设整体规划打基础,减少系统建设工作量。
为企业各类人员提供支撑
① 业务人员:可提升业务规范性,保障人员对数据业务含义理解一致,支撑业务数据分析、挖掘及信息共享,便于实现自助式数据分析,为基于数据的业务创新提供可能;
② 技术人员:有数据标准作为支撑,可提升系统实施工作效率,保障系统建设符合规范,同时降低出错率,提升数据质量;
③ 管理人员:数据标准建设可提供更加完整、准确的数据,更好的支撑经营决策、精细化管理,同时明确数据的责任主体,为数据安全、数据质量提供保障。
二、数据标准制定
1. 调研梳理
全面梳理标准相关系统业务范围和流程,以及伴随流程运转过程中产生的数据项
① 了解公司业务:整体了解公司组织架构、业务流程、系统组成、系统功能,协调产研人员针对重点业务系统进行操作流程及功能讲解;
② 收集问题及现状:调研收集业务遇到的问题、现有数据标准情况、各数据主题定义、分类、描述、使用情况、改版调整范围、未来应用分析方向;
③ 确定业务主题:明确公司各业务主题的定义、范围、分类、评估实施优先级;
④ 结合业界经验:收集国家标准、现行标准、新系统需求标准以及行业通行标准等。
2. 标准规划
对数据项进行分类归并,确定标准涵盖的范围及核心
① 从实际情况出发,结合调研结果;
② 梳理数据标准建设的整体范围;
③ 定义数据标准体系框架和分类;
④ 制定数据标准的实施计划。
不是所有的数据都需要建立数据标准,数据标准范围圈定建议如下:
① 共享频率:共享性高、使用频率高的字段需要入标;
② 监管报送:监管报送或发文涉及到的业务信息需要入标;
③ 关键数据:结合数据使用情况,对于关键数据的字段尽量入标;
④ 数据应用:数据应用有使用需求的字段需要入标;
⑤ 沟通判断:与业务人员沟通其系统内重要信息来辅助判断入标。
3. 标准编制
确定数据项,提供数据的业务、技术管理性信息,形成数据标准化定义,完善标准管理属性。
① 业务属性:值域、标准依据、敏感度、相关标准、与相关标准的关系、中文名称、英文名称、标准别名、业务定义、业务规则、代码编码规则;
② 技术属性:数据库表来源、缺省值、数据类型、数据格式;
③ 管理属性:业务应用领域、使用系统、标准大类、标准子类、标准状态、标准编号、标准主题、数据制定人、标准定义部门、标准管理者、数据使用者。
公共代码:各业务系统及分析管理系统统一使用的代码,描述的对象是一个有限的集合,能够相对稳定的一段时期内对业务进行规范统一的描述。
公共代码标准定义应遵循以下原则:
① 优先采用国际标准、国内标准、行业标准;
② 充分考虑各部门要求;
③ 针对有代表性的业务系统,选取全面并普遍适用的代码;
④ 公共代码的定义具有可扩展性。
三、数据标准实施
1. 标准评审发布
数据标准决策层对数据标准初稿进行审核,判断数据标准是否符合企业的应用和管理需求,是否符合企业数据战略要求。如数据标准审查不通过,则由数据标准管理组编制组进行修订,直到满足企业数据标准的发布要求。
标准通过审查后,由数据标准管理组面向全公司进行数据标准的发布。该过程中数据标准执行组需要配合进行数据标准发布对现有应用系统、数据模型的影响评估,并做好相应的应对策略。
2. 标准落地执行
数据标准落地形式确定
① 源系统改造:对源系统的改造是数据标准落地最直接的方式,可借系统改造,重新上线的机会,对相关源系统的数据进行部分的对标落地;
② 数据中心落地:根据数据标准要求建设数据中心(或数据仓库),源系统数据与数据中心做好映射,保证传输到数据中心的数据为标准化后的数据;
③ 数据接口标准化:对已有的系统间的数据传输接口进行改造,让数据在系统间进行传输的时候,全部遵循数据标准。这也是一种可行的方法。
标准落地执行流程
把已定义的数据标准与业务系统、应用和服务进行映射,标明标准和现状的关系以及可能影响到的应用。该过程中,对于企业新建的系统应当直接应用定义好的数据标准,对于旧系统则建议建立相应的数据映射关系,进行数据转换,逐步进行数据标准的落地。
不是所有的数据标准都能够完全落地,实际工作中可能会存在历史系统无法改造的情况,所以首先确定数据标准落地策略和落地范围,并制定相应的落地方案,然后推动数据标准落地方案的执行,对标准落地情况进行跟踪并评估成效。
按系统进行标准落标,建立了数据标准体系后,按企业核心系统推动数据标准落地应用,在需求流程中实施数据标准的强管控。而技术部门使用标准化的数据字典进行建模,实现数据字典标准化管理及应用,进而规范数据标准。对于新建系统与重构系统,应采用落标策略;而对于存量系统,可采用升标策略,不断增加数据标准。
① 确定落地范围:哪些数据标准需要落地,涉及到哪些IT系统,需要事先考虑
② 差异分析:数据和数据标准之间,存在哪些差异,差异有多大,做好差异性分析
③ 影响性分析:会对哪些系统产生影响,是否可控
④ 制定执行方案:执行方案要侧重于可落地性,要有组织架构和人员分工,考核及监管措施
⑤ 执行落地方案:根据执行方案,进行数据标准落地执行
⑥ 事后评估:事后需要跟踪、评估数据落地的效果,改进不足
3. 标准维护迭代
数据标准后续可能会随着业务的发展变化、国标行标的变化、以及监管要求的变化需要不断更新和完善。在数据标准维护阶段,需要对标准变更建立相应的管理流程,并做好标准版本管理。