主数据治理是一项复杂而艰巨的系统工程，是信息化建设必经之路，贯穿信息化建设过程始终。大型企业在业务系统基本建成后，都陆续开展了数据综合治理相关工作，数据综合治理是提升公司数据管理与应用水平的关键举措，是进一步梳理业务及其数据、强化跨部门协同、提高信息系统应用水平的过程，同时也是明确数据责任、优化数据管理流程、实现跨部门协同的管理要素。信息化建设“三分技术、七分管理、十二分数据”，数据是确保信息系统正常运转，并为业务管理和辅助决策提供支撑的保障。
一背景说明根据国家《中国制造2025》及工业互联网、云平台、物联网等技术的快速发展，工业化和信息化融合已是现代企业发展的必由之路，对于传统装备制造业来说，转型、调整结构已迫在眉睫。近年来，兰石集团积极响应国家推动装备制造业与信息化融合发展的政策，持续大力推进两化融合和智能制造相关工作，助力集团转型升级。自2013年起，先后进行了主干网络、安防系统、中心机房等基础设施建设，构建了以ERP、PDM、CAPP、MES为核心的从销售、设计、采购到生产的全生命周期管理系统以及OA、门户、SOA、SRM、EAM、BI等业务支撑系统；引入SOLIDWORKS三维设计、分析、仿真软件，实现产品设计从二维CAD制图向三维设计的转变。
图1.信息化总体架构图
随着信息化进程的持续推进，数据孤岛和数据标准化问题给兰石集团向数字化转型带来了巨大挑战。兰石集团是以重型装备制造为主的制造型企业，六家制造子公司加一家研究院由于各自生产的产品类型不一致、生产模式不一致、物料标准不一致，导致信息系统编码库中堆积了大量的物料编码，有效、无效、在用、临时的物料编码都混乱的储存在物料编码库中，重码、错码现象非常严重。对各公司设计、采购、库存、生产、成本的管理工作以及数据统计工作都带来了诸多不便，严重影响数据分析质量和信息化的使用效果。
图2.兰石集团业务架构
自2014年至2018年，兰石集团先后组织了两次大规模的物料数据清理工作，但收效甚微，据数据统计发现，编码清理的速度远远赶不上新编码生成的速度。针对这一问题，兰石集团在2018年7月由信息化和智能制造部牵头组织成立了数据标准化优化项目组，开展物料专项整治工作，目的是通过该项目彻底解决物料数据源头标准化问题、物料审核流程问题和历史数据清理问题。该项目共历时11个月，主数据系统现已上线运行一个月，运行情况良好，达到预期效果，下面将项目中的一些好的做法予以总结。
二项目需求梳理和策划篇2.1寻找问题、分析问题、确定治理范围兰石集团经过历时5年的信息化系统建设，系统积累了大量的物料数据，这些数据即是财富也是负担。但由于物料数据申请源头缺乏工具控制、物料标准缺乏统一规划，全集团物料编码数量已达到235万条（主组织物料115万条），外购件编码数量共计59万条（主组织物料28万条），并且以每月2万条申请量的速度快速增长。
在经过两次物料数据治理效果不明显后，项目组开始寻找原因，通过对相关系统数据流向分析以及结合现有数据，找到了物料问题表象下的原因，主要存在没平台、没标准、没治理和没体系四个问题。由于开展全主题域范围的数据治理范围广、难度大，问题难以聚焦，所以项目组选择了以占用库存资金比率最大、对业务影响范围最广的外购件型物料编码作为优先治理对象。
图3.核心信息数据流
图4.物料数据管理主要问题及原因分析
2.2制订解决方案寻找到了问题的根源，项目组开始制定相应的解决方案和项目计划，确定了实际工作内容：
1.明确范围、成立组织：
明确数据治理范围，聚焦在最占库存成本、对生产影响最大的外购型物料编码上，组建管理组、技术组、标准组、清理组四个小组分别开展项目管理、软件开发、标准制订与历史数据清洗。
2.搭建主数据管理平台，形成标准与编码库：
1）技术组：搭建主数据管理平台，提供主数据申请、标准管理、主数据管理、主数据发布、主数据清洗等功能。
2）标准组：通过组织各公司技术专家，讨论形成物料的分类、描述、编码标准，形成标准库。
3）清洗组：通过组织各公司业务人员，根据分类、分段进行物料的清理，形成编码库。
3.建立主数据管理组织与管理流程：
建立主数据管理组织和管理流程，包括建立标准的管理和运维，定期组织专家对标准进行修订，完善各公司主数据申请流程。
4.制订详细明确的项目管理计划：
图5.项目详细计划
2.3成立项目团队，形成工作方式项目团队的建设是项目成功的关键，由于物料编码涉及PDM、CAPP、ERP、SRM、EAM、MES等多个系统及业务，项目范围广，需要使用大量人力资源，因此项目组前期积极向集团申请人力资源和项目经费，并得到了集团的大力支持。
为了保障项目能够有效的开展，集团成立了数据标准化项目委员会来为整个项目提供资源协调。由集团主管信息化的领导和主管技术的领导担任项目领导小组组长，集团信息化和智能制造部、科技部一把手担任副组长，各子公司主管技术领导担任领导小组组员。同时成立了项目实施小组，主要有综合保障组，负责对整个标准的把关、软件开发、数据分析、接口实现以及清理工作进行把关，从各公司抽调物料专家形成标准制订小组和数据清理小组。
图6.项目实施团队组建
为保障项目各个环节执行到位，项目组制订了整个项目的考核思路：
1）对具体工作人员以激励考核为主，只奖不罚；
2）对各子公司分管领导以责任考核为主，只罚不奖。在工作方式上由于各单位的骨干员工都有工作任务，为解决这一矛盾，经过和各单位协调，物料专家上午在各单位处理日常工作，下午在集团信息化培训室进行集中办公，讨论标准和清理数据；
3）在考核方面将物料专家的50%的绩效纳入到项目考核，并申请单独项目奖金给予专家补助；
4）为了加强沟通和提高工作效率，项目组建立了项目工作QQ群，以QQ在线文档的形式进行协同办公；
5）为保障各阶段的项目质量，项目组定期组织各组组长进行阶段工作总结和协调问题，并将各阶段的清理任务量化以会议纪要的形式发送给项目领导小组及各公司一把手。
三标准制订和数据治理篇整个清理过程的思路为：期初数据导入→清理状态初步标记→导入分类与模板清洗池→按照属性段进行清理→自动校验标准与自动筛选重码→SOA数据分发→循环清洗
图7.数据清洗步骤
1.数据导入及初步标记：
在进入数据治理阶段之前，项目组以2018年10月1日为数据录入点，将物料数据导入到了清理搜索引擎，完成数据动态获取、数据期初标记及数据清理统计面板开发。根据历史业务数据统计及清理情况，对申请未发生业务编码、清洗中、未清洗、作废编码进行了初步的标记。
图8.物料数据一览图
图9.导入清洗库
2.分类清理：
物料的标准主要分为分类标准、描述标准和编码标准，兰石集团在信息化上线期初制订了集团的物料分类标准和简单的描述标准。但经过五年的信息化建设，通过数据统计发现，期初制订的一千多个物料分类，实际很多分类并没有申请过物料编码。于是项目组根据物料数据的统计分布情况召集核心物料专家共同讨论制订了兰石集团物料分类的最初版本，并将该分类标准下发到各子公司，由各公司进一步组织讨论，收集意见反馈进行调整，经过两个版本的迭代，最终形成物料分类的基础版本。
图10.物料标准体系
3.分段清理：
在分类标准形成以后，根据各公司物料使用量统计，项目组将各分类下描述标准建立和物料清理工作向各子公司进行了指派，利用新旧分类对应关系完成数据量统计后规定完成时间，并要求各公司上报各分类组组长和相关人员的名单。各小组成立后讨论形成各分类模板，利用模糊搜索引擎，将历史数据导入相应的分类和模板清洗池。根据清洗池中的数据结合相关标准，进行了初步属性字段标准的制订，标准草案形成后，将属性字段导入到对应的模板属性下；另一方面清理人员利用系统根据标准对各属性分段进行清理。
图11.物料数据分段清洗
4.系统属性字段校验和重码筛选：
系统根据录入的标准自动对清理的结果进行校验，并根据各系统系统发生的业务数据量对重码保留和作废进行自动标记。这种做法的好处是利用数据一方面校验了录入标准的准确性，一方面校验了清理数据的质量。
图12.自动清理校验
图13.清洗结果
5.判定结束后，经过最终人工审核，通过SOA数据总线，在旧的编码后附带新的编码信息、分类信息、模板信息，导入到各个业务系统。
使用过程中如果发现清理数据不合适，根据物料版本管理，由组织人员进行循环滚动清洗。
图14.新旧编码匹配
图15.物料主数据分发
四工具篇本项目期初计划寻找外部供应商一起解决问题，但经过调研发现，项目风险不在于软件本身，而在于标准能不能够建立，历史数据能不能进行有效清理，兰石有没有了解所有信息化系统底层数据流的人员，系统之间能不能做有效集成。对于压力容器和石油钻采行业，兰石集团是国内最早做大做强这个行业的，标准如果自己制订不出来，完全依赖于供应商，项目风险很大；各系统供应商不同，数据流向复杂，协调各系统供应商配合提供相应接口，沟通成本和技术难度很大，对项目按期完成也是风险，在经过几次的方案论证，兰石集团决定自主开发该系统。
系统使用了spring cloud的微服务架构，前端采用了AVUE技术框架，数据提取使用了sqoop和datax，数据库使用了elasticsearch+MongoDB，系统集成使用了SOA SUIT套件，审批流程和钉钉进行了集成。目前完成了物料编码搜索引擎、物料各系统事务跟踪查询、标准库维护、主数据管理、元数据管理、数据清洗、数据质量管理、数据服务管理、物料专家库、物料图片、二维图纸、三维图纸管理、系统维护等功能，并做了和二维图纸、三维图纸领码工具的集成。
图16.系统页面
五项目成果篇通过对物料数据的治理，集团物料新申请的编码明显下降，并在数据质量上有了极其明显的提高。目前看到主要有以下几个方面的好处：
1.集团各公司形成了统一的物料标准规范，形成了标准手册，完成了对集团物料标准的管控。通过主数据工具强制对标准进行执行，使用者可以很快的按照标准申请和检索到自己要使用的数据，提高了生产单位各业务口的工作效率。
2.完成了大量历史数据的清理，通过对重码、错码数据的清理。集团的外购件物料数量从主组织的28万条数据下降为6.5万条，物料申请数量由每月5千多条下降为每月300条，并在持续下降；通过对重码数据的出入库调整，整合了金额巨大的重码数据,加强了各公司之间的库存流转。
3.利用大数据成本分摊平台，对生产成本的原材料统计可以做到根据分类、分字段统计，大大提高了财务成本数据和供应商数据的分析能力；
4.完成了库存数据资产的盘点，公司对库存数据有了可视化直观的认识，加强了对库存利用和降低库存的能力。
5.在项目建设中完成了人员中台、组织中台、权限中台、物料中台、消息中台、搜索中台的建设，在后续信息化系统的建设中，可以直接调用这几个中台的服务，完成了对数据源数据及服务的管控；同时为其他主题域的数据治理提供了方法论和治理工具，在建设的过程中完成了整个大数据体系和数仓物料主题域的搭建，为数据统计和挖掘提供了技术支撑，打下了一个良好的基础。
6.通过项目锻炼了一支形成了一个既懂业务、又懂标准、又懂系统、又有开发和数据分析能力的年轻的信息化技术团队；另一方面通过该项目将集团的物料相关人员通过QQ群组织到了一起，目前已有500多人，大家形成了很好的工作氛围和沟通渠道。
图17.清洗前后对照
六后续工作展望篇通过本项目，兰石集团坚定了数据治理的信心和决心，未来的数据治理、数据挖掘将向着更稳、更精、更深、更广、更全五个方面进行建设：
1.更稳：优化重构更稳定的大数据框架，构建稳定的数据中台，完成物联数据采集、信息化数据采集、完善ETL功能、任务中台建设、完成数仓建设、离线在线数据分析技术、继续深化开展SCADA、GIS、数字大屏、报表中心等数据展现方式的应用。
2.更精：下一步将通过对编码属性字段的控制，通过减少物料关键属性字段的取值范围，进一步加强集团在标准应用范围的管控力度。
3.更深：目前物料编码仅做了外购型物料的标准制订和历史数据治理，下个阶段将一方面开展自制件、BOM类的主数据治理。
4.更广：将编码标准的服务深化应用到各个信息化系统之中，通过对编码属性的规范化，加强对传感器变量、网关、表计、设备、区域、人员、角色、组织、客商主数据的管理。
5.更全：通过数仓的建设，加快集团数据资产的盘点，完成财务、人事、供销链、研发生产、物联网等关键数据主题域数仓的建设，加强对数据的挖掘和利用。
热门文章
案例(十四):发挥数据价值，绽放数据之美—北京燃气集团主数据管理实践
案例(十六)：大美疆域、智能盐湖，数据资产项目助力青海盐湖“生态镁锂钾园”建设
