目录
1.摸家底
1.1 数据资源普查
1.2 主数据识别
1.3 数据管理能力评估
2.建体系
2.1 组织体系
2.2 标准体系
2.3 制度与流程体系
2.4 技术体系
2.5 安全体系
3.接数据
4.抓运营
4.1 主数据管理
4.2 主数据推广
4.3 主数据质量
4.4 主数据变现
1.摸家底
摸家底需要全面调研和了解企业的数据管理现状,以便做出客观切实的数据管理评估。
1.1 数据资源普查
数据资源普查的方法常用的有两种,一种是自顶向下的梳理和调研,另一种是自底向上的梳理和调研。
1.2 主数据识别
主数据的识别一般分为四个步骤
- 第一步,确定主数据识别指标。
- 第二步,基于主数据识别指标,构建评分体系,确定指标权重。
- 第三步,根据业务调研和数据普查结果,确定主数据参评范围。
- 第四步,依据评分标准,识别出企业主数据。
1.2.1 主数据识别指标,主要从主数据的特征考量
- 业务价值:主数据具备充足的业务价值。主数据描述企业最核心的数据,是企业最有价值的数据资产。
- 数据共享性:主数据一般是不同业务部门之间、不同业务系统之间高度共享的数据。
- 实体独立性:主数据是不可拆分的数据实体,如产品、客户,是所有业务行为和交易的基础。
- 识别唯一性:在组织范围内同一主数据要求具有唯一的识别标志,如物料、客户都必须有唯一的编码。
- 相对稳定性:与交易数据相比主数据是相对稳定的,变化频率较低。
- 长期有效性:主数据一般具有较长的生命周期,需要长期保存。
1.2.2 建立评分体系,确定指标权重
评价指标 | 指标权重 | 打分标准 | 备注 |
业务优先级 | 30% | 示例 | |
共享程度 | 20% | ||
唯一性 | 20% | ||
变化频率 | 10% | ||
独立数据实体 | 10% | ||
长期有效 | 10% |
1.2.3. 数据资源普查和参评数据准备,主要是根据前期的业务调研情况和数据普查情况,确定参评数据范围,并准备出参评数据。
1.2.4. 以及打分模板进行打分,识别出企业主数据。
1.3 数据管理能力评估
对于数据管理能力的评估,目前已经有了比较成熟的评价模型,典型的有:
- IBM数据治理成熟度评估模型,推荐阅读 IBM的《数据治理统一流程》一书。
- SEI的数据能力成熟度模型(DMM)。
- EDM的数据能力成熟度模型(DCAM)。
- DataFlux 数据治理成熟度模型。
- Oracle MDM 主数据管理成熟度模型。
- MD3M 主数据管理能力成熟度模型。
国内,全国信息技术标准化技术委员于2014年会启动了《数据能力成熟度评价模型》的制定工作。数据能力成熟度评价模型(Data Capability Maturity Model 简称DCMM)是国内关于数据能力成熟度模型的一项国家标准,在制定的过程中充分吸取了国内先进行业的发展经验(以金融业为主),结合了国际上DAMA(国际数据管理协会)《数据管理知识体系指南DMBOK》中的内容。
2.建体系
我国大多数企业的主数据现状普遍都是先污染、后治理的过程,主数据管理必然带来新的标准、体系的确立和旧系统的改造。整个主数据建设过程是一个有破有立、无破不立的过程。这一过程设计大量跨部门、跨条线、跨系统的沟通协调,同时也涉及不小的投资。为了不使投入的人力物力付之东流,在项目实施前期就应该规划好各项规章制度和组织架构。
2.1 组织体系
有效的组织机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织及其责任分工做出规划是非常必要的。
主数据涉及的范围很广,牵涉到不同的业务部门和技术部门,是企业的全局大事,如何成立和成立什么样的组织应该依据企业本身的发展战略和目标来确定。
建立主数据管理组织目标是:统筹规划企业的数据战略;建立主数据标准规范体系、数据管理制制度和流程体系、数据运营和维护体系;依托主数据管理平台,实施主数据标准化落地、推广和运营。
在明确了组织机构的同时,还要明确主数据管理岗位,比如:主数据系统管理员、主数据填报员、主数据审核员、数据质量管理员、集成技术支持员等。
2.2 标准体系
- 主数据分类就是根据信息内容的属性或特征,将信息按一定的原则和方法进行区分和归类,并建立起一定的分类系统和排列顺序,以便管理和使用信息。
- 主数据编码就是在信息分类的基础上,将信息对象赋于有一定规律性的、易于计算机和识别与处理的符号。
- 主数据模型标准化,根据前期的调研、梳理和评估,定义出每个主数据的元模型。明确主数据的属性组成、字段类型、长度、是否唯一,是否必填以及校验规则。
2.3 制度与流程体系
制度章程是确保对主数据管理进行有效实施的认责制度。建立主数据管理制度和流程体系是需要明确主数据的归口部门和岗位,明确岗位职责,明确每个主数据的申请、审批、变更、共享的流程。
数据从创建到流转要严格执行企业主数据标准和填报规范。 同时做好数据运营工作,定期检查数据质量,进行数据的清洗和整合,实现企业数据质量的不断优化和提升。
2.4 技术体系
技术体系的建设应从应用层面和技术层面两个方面考虑。
应用层面主数据管理平台需具备元数据(数据模型管理)、数据管理、数据清洗、数据质量、数据集成、权限控制、数据关联分析,以及数据的映射(mapping)/转换(Transforming)/装载(loading)的能力。技术层面,重点考虑系统架构、接口规范、技术标准。
2.5 安全体系
主数据安全体系建设包括几个方面:
• 网络安全。尤其是混合云下的数据安全是当前客户最关注的问题。这里建议基于混合云部署的主数据系统采用单向数据流控制,即只允许公有云数据向内流入,不允许私有云数据向外流出。
• 接口安全。即接口数据的传输安全。由于主数据解决的是异构系统的数据一致性问题,需要保证主数据在给异构系统同步数据的过程的数据安全。主数据平台须具备接口的访问控制和加密传输的能力。
• 应用安全。主数据平台的身份认证、访问控制、分级授权、安全审计功能是保障系统应用安全的重要功能。
• 数据安全。主数据平台提供的数据加密存储、加密传输、脱敏脱密功能,是保证主数据安全的重要措施。
3.接数据
接数据包括主数据的接入和接出。
主数据接入是将主数据从数据源系统汇集到主数据平台的过程。该过程需要对接入的数据进行清洗、转换、映射、去重、合并、加载、共享等,通过一系列的数据加工和处理形成标准统一的主数据。
常用的数据汇集到数据应用方式:
• ETL抽取,采用ETL工具的方式从数据源系统将数据采集到主数据库中。
• 文件传输,采用文件传输方式将文件中的数据导入到主数据库中。
• 消息推送,采用消息的方式从数据源系统将数据采集到主数据库中,一般需要借助ESB。
• 接口推送,采用接口方式从数据源系统将主数据采集到主数据库中,一般需要借助ESB。
• 内容爬虫,一般用于互联网的数据爬取,适用于社会化主数据的汇集。
• 主数据的接出,是将标准化的主数据分发共享给下游业务系统使用的过程。在主数据接出的过程中使用的技术与数据汇集技术基本一致。在企业实施主数据过程中,需要根据不同场景选择不同的集成方式。
• 定期数据共享,一般采用ETL或接口方式定期将主数据抽取到业务系统指定的数据表中。
• 实时数据共享,一般采用消息订阅的方式,通过数据接口将主数据推送给业务系统。
4.抓运营
主数据是企业核心数据资产,主数据质量的好坏决定了数据价值的高低,主数据运营最核心的目标就是提升数据质量。其主要包括:主数据管理,主数据推广、主数据质量、主数据变现等。
4.1 主数据管理
数据标准和管理规范的常态化贯彻。主数据管理主要是对主数据的新增、变更、使用等过程的规范,需要配合企业主数据管理的相关制度和流程,做到定岗定责、责任到人,从源头上控制好数据的质量,保证数据的唯一数据源和统一数据视图。
4.2 主数据推广
主数据推广是逐步将主数据推广到企业的各个业务中,包括线上、线下业务。主数据的应用不仅需要推广各个相关的业务中,保证各业务系统的主数据一致性。
4.3 主数据质量
主数据是企业核心数据资产,主数据质量的好坏决定了数据价值的高低,整个主数据运营过程最核心的目标就是持续提升数据质量。主数据质量管理包括:主数据质量指标定义,主数据质量模型/算法,主数据质量核查,主数据质量整改,主数据质量报告,主数据质量考评等。
4.4 主数据变现
上文我们提到:主数据是企业核心数据资产。既然是“资产”就一定有其变现的能力,主数据变现主要有以下几个方面:
- 整合协同、降本增效:各系统主数据的标准统一,解决数据重复、不一致、不正确、不准确、不完整的问题,打通企业的采购、生产、制造、营销、财务管理等各个环节,大大提升业务之间协作的效率,减低由于数据不一致引起的沟通成本。
- 增加收入、提升盈利:建立360°客户主数据视图,建立客户关系模型,支撑企业精准营销,提升盈利水平、增加销售收入。
- 数据驱动、智能决策:相比基于本能,假设,或认知偏见而做出的决策,基于数据的决策更可靠。通过数据驱动的方法,你将能够判断趋势,从而展开有效行动,帮助自己发现问题,推动创新或解决方案出现。
- 数据 即服务 即资产:一方面,可以通过主数据优化内部运营管理和客户服务水平;另一方面,通过对主数据进行整合,结合各种不同的用户场景提供给客户或供应商,从而实现整个产业链的打通。