面对愈发强烈的数字化转型需要,河北银行在数据应用建设中,结合行内原数据湖,引入GBASE南大通用GBase 8a MPP数据库对数据平台升级迁移,形成了MPP+Hadoop技术栈的湖仓一体数据服务体系。
引入GBase 8a搭建高性能、可拓展数据平台
行方的数据平台主要用于存储来自核心系统、个贷系统、网银系统、零售系统等各业务系统的数据。新一代数据平台由Netezza一体机升级为支撑海量复杂业务数据、可水平拓展的分布式架构,采用完全自研的国产分布式逻辑数据仓库GBase 8a以适应各业务系统数据量的不断增长和数据类型的复杂化。
“湖仓一体”数据平台总体建设方案图
整个数据平台基于16台物理机构建,GBase 8a承载所有结构化数据的存储和计算任务,实现了数据抽取工具的无缝对接,保证了原系统所有的功能替代。同时,同上层应用厂商配合,顺利完成业务迁移任务。GBase 8a进行数据的加工、处理并为生产高价值数据提供可靠、稳定保证。依靠GBase 8a自身特性,与现有Hadoop系统无缝对接,承载全行数据模型落标与统一数据整合集成,形成各个数据层的数据组织与模型。新一代数据平台和数据湖有效融合,基于两套数据生态,进行合理的数据分层,形成一套完整的采、管、存、用的数据全流程管理体系。
项目成效
新一代“湖仓一体”技术平台以GBASE南大通用GBase 8a分布式数据库为计算引擎,以数据湖为主存储,支持平台资源弹性扩展,实现了大规模、多类型数据快速接入和存储,形成全域、完整的数据资源,集“湖仓”优势,整合海量存储和高性能计算能力,以更低成本满足了全行多层次敏捷用数需求;新平台以更符合业务人员使用习惯的方式重建数据模型,提炼业务条线共性数据需求,构建一站式数据研发交付体系;此外,新系统重构了标准数据体系,建立数据架构、模型设计、数据开发的系统性规范,形成数据标准管理及数据质量管控的长效机制,完成了数据全生命周期管理及治理的有效闭环。
结语
基于GBase数据库构建的“湖仓一体”数据平台在河北银行的成功落地,不但解决了数据完整性、数据规范性、数据时效性等方面的问题,还通过大数据与MPP技术的充分融合,大大提升业务的智能化水平,为行方的数据化转型提供了关键驱动力,同时也为后续管理应用系统的建设打下坚实的数据基础和技术基础。