科技飞速发展的时代,企业信息化建设日趋完善化、体系化,使用的应用系统越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产。因此越来越多的企业进入到了数据治理阶段,对于主数据治理的需求日益强烈。

MDM基础数据平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,其中准确性、及时性就要通过MDM监控预警功能进行监控预警,实时地进行监控MDM中主数据情况,方便客户及时维护,保障了数据准确性。 

1整体介绍 

主数据治理方案可以统一管理企业的组织、人员、客户、供应商等高度共享数据,对需要的业务系统进行同步分发,使数据易采集、易理解、易分析,提高部门与部门之间的沟通效率。 

1.1产品体系 

首先介绍数通畅联的产品体系: 

MDM监控预警设计方案_MDM

数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。MDM主数据管理平台是公司产品体系中的明星产品,主数管理平台可以与不同产品组合来满足不同的项目的需求。 

1.2产品介绍 

MDM主数据管理平台中,主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反,它提供了一种方法,使企业能够有效地管理存储在分布系统中的数据。 

MDM监控预警设计方案_数据治理_02

主数据管理使用现有的系统,它从这些系统中获取最新信息,并提供了先进的技术和流程,用于自动、准确、及时地分发和分析整个企业中的数据,并对数据进行验证。 

MDM核心在中间的紫色区域,分别是数据建模,功能建模,流程建模,应用管理,使用这些功能能够自动生成出不同的主数据管理,从而进行数据的治理数据,数据统计,也就是绿色区域的数据管理,流程监控,统计分析功能,并且管理看板也能够进行统计分析,MDM在系统管理中进行添加组织、人员、岗位,并可以配置相应的权限,通过监控预警帮助业务人员处理数据同步分发,保障数据的准确性。 

1.3功能介绍 

监控预警功能通过配置出不同类型监控预警,目前支持同步失败监控、分发失败监控、数据巡检监控预警策略功能配置,通过以上配置,在不同的应用场景中实现监控,并可以通过配置进行短信、邮件、公众号的预警,及时提醒业务人员处理不标准的数据。 

MDM监控预警设计方案_MDM_03

  

2场景介绍 

监控预警可用于不同的场景,分别是同步监控、分发监控、数据巡检监控,以下分别介绍不同策略类型。 

2.1同步监控 

MDM监控预警设计方案_MDM_04

  

同步监控预警场景: 

数据源头同步数据,通过MDM同步接口进行校验数据准确性,或者是否同步成功,如果失败就要写到监控结果同步监控日志中,超过报警阀值后通过短信、邮件、微信公众号进行预警。 

2.2分发监控 

MDM监控预警设计方案_数据治理_05

  

同步监控预警场景: 

通过MDM任务接口进行下发给业务系统获取数据,如果调用失败将插入到监控日志中,业务调用分发日志功能进行校验是否分发成功,如果失败将写到监控结果分发监日志中,超过报警阀值后通过短信、邮件、微信公众号进行预警。 

2.3巡检监控 

MDM监控预警设计方案_数据_06

  

数据巡检监控预警场景:

通过MDM数据巡检可提高主数据质量,也可以监控数据质量,所以配置功能是通过监控预警功能进行的,同时,数据巡检超过报警阀值后会通过短信、邮件、微信公众号提醒进行预警。 

3实现思路 

MDM基础数据平台进行主数据治理的过程中,通过导入功能进行数据清洗,通过数据巡检提高主数据质量,通过分发建立各个业务系统主数据标准,但MDM在同步、分发、操作时候缺少监控提醒功能,这样无法保障系统安全性,所以下面将对认证安全和监控提醒具体需求和对应思路进行说明。 

3.1整体思路 

1.将IDM监控提醒功能框架迁移到MDM中。 

2.通过不同策略调用不同监控服务。 

3.2配置功能 

监控配置功能扩展: 

1.新增策略配置功能,配置监控策略。 

2.策略配置功能是左树右边模型,左侧是主数据树,右侧是策略配置,每个主数据有相应的策略配置。 

3.因为数据巡检也是对MDM一种监控,所以把数据巡检配置放到策略配置中,通过选择一个数据巡检类型,会出现数据巡检配置按钮,点击后弹出数据巡检配置标签页面。

3.3监控预警 

1.监控数据同步策略:监控同步失败、成功次数,并对失败次数进行提醒。 

2.监控数据分发相关情况策略:监控分发成功、失败次数,并对失败次数进行提醒,并分发下游系统情况。 

4扩展设计 

通过上述的思路设计出监控配置页面功能、应用监控功能扩展、监控结果页面功能。 

4.1预警配置 

策略配置功能是左树右边模型,左侧是主数据树,右侧是策略配置,每个主数据有相应的策略配置。

MDM监控预警设计方案_监控预警_07

点击新增时,选择策略配置类型,添加后列表页面显示对应的策略基本信息。一个策略类型只能选择一次,满足唯一校验的原则。 

MDM监控预警设计方案_数据_08

点击策略配置打开策略监控配置页面,如下配置页面的展示: 

同步策略配置: 

MDM监控预警设计方案_数据_09

分发策略配置: 

MDM监控预警设计方案_数据_10

数据巡检监控配置: 

MDM监控预警设计方案_数据治理_11

4.2监控预警 

通过OpenAPI接口进行同步和分发数据: 

MDM监控预警设计方案_数据_12

通过同步接口把对应的信息存储到缓存中,然后通过定时功能获取缓存数据来判定进行监控提醒。 

MDM监控预警设计方案_监控预警设计方案_13

通过分发接口把对应的信息存储到缓存中,然后通过定时功能获取缓存数据进行判定,再进行监控提醒。 

MDM监控预警设计方案_监控预警_14

4.3预警结果 

同步监控日志: 

MDM监控预警设计方案_数据治理_15

分发监控日志: 

MDM监控预警设计方案_数据_16

数据巡检监控日志: 

MDM监控预警设计方案_监控预警设计方案_17

5心得总结 

平台是主数据治理方案落地的重要工具,平台在功能上满足主数据治理需求的同时,具备快速扩展能力,以适应不同业务场景的变化。并根据技术的发展及业务的演变,不断迭代升级。通常选择的主数据管理平台要预置典型的模型功能和样例数据,在项目中复用以节省时间。 

5.1开发心得 

通过本次开发大家应该已经了解了监控预警的作用,通过监控预警功能提升主数据质量,统一主数据标准,也是对主数据数据清洗功能的一次完善,因为监控预警主要是对主数据数据质量的监控,所以能帮助业务人员能及时处理不规范的主数据。另外开发时候要考虑产品功能的闭环,只有这样才能让产品更加完整。 

5.2设计目的 

设计文档的目的在于它可以帮助我们梳理产品的功能,同时也可以帮助我们梳理清楚实现功能的步骤以及会遇到的问题。同时它也可以作为团队工作的参考点,可以让他人快速了解产品。 

在功能设计过程中,笔者认识到了产品要想更加完善,必须要从用户的使用角度出发,以达成解决事务问题为最终目的,更加需要注意产品的兼容性和性能问题,在功能设计中需要考虑到产品的未来发展方向和趋势,创造更具有灵活性的产品,才能持久发挥产品的价值。 

5.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性不同角度来扩展迭代每个产品,让产品从项目项目中来,再到项目中去,通过客户的需求筛选出我们产品需要的进而进行产品功能升级,增强产品的功能性,通过不同项目来深度了解行业,通过预制样例快速完成产品的组合搭建,提高工作效率。 

MDM基础数据平台在不同方案中起到不同的作用。在业财一体化项目中,MDM起到基础数据映射作用;在数据治理项目中,MDM起到治理、完善、统一业务系统中共享主数据的作用;在数据分析项目中,MDM抽取整合业务系统中的主数据,保证其完整性、统一性,并起到分析数据的作用。企业通过MDM主数据管理平台集中管理数据,保证了分散的系统间主数据的一致性,有利于推进数据合规化进程,快速部署新应用,加快推出新产品的速度。