主流数据平台架构

 

一般包含三个层级,ODS层、数据仓库层、数据应用层。

业务系统的操作和日志数据抽取到ODS层,ODS的数据经过ETL过程(抽取Extraction,转化Transformation,加载Loading)进入数据仓库,

数据仓库反哺业务,为业务的分析和决策提供支持:反应业务现状,预测业务未来发展趋势,为业务的优化拓展赋能智慧。

先说目的,为什么分层,技术上分层是为了易于管理、减少耦合、增加灵活性。

最终的目标呢?是数据应用:反应业务现状、预测未来的趋势、根据当下和未来制定智慧决策。

先来一张简约版的大数据平台层级架构图,方便大家从宏观上了解,防止陷入细节。

文末有一张更加具体而详细的大数据平台层级架构图,方便大家拓展知识。


大数据 云平台 架构 大数据平台架构设计_大数据 云平台 架构

数据平台层级架构图

ODS层

设计方案

直接从业务系统和用户日志中抽取,可与业务系统、日志系统中的数据结构和关系保持一致。

作用

直接在业务系统和日志系统进行查询是会影响业务体统的正常运转,ODS的存在将查询操作和业务系统隔离开来,使分析师和决策者的查询更高效,隔离查询对业务系统运转的影响。

数据仓库

设计方案

推荐设计流程:业务建模-领域建模-逻辑建模-物理建模

业务建模-领域建模-逻辑建模-物理建模,的建模流程。
业务建模:深入业务现场,进行业务主线的划分,业务流程的整合。
领域建模:即是实体抽象的过程,抽象出各个业务主线涉及到的领域概念和实体。
逻辑建模:找出各个实体之间的关系,此时推荐3NF 建模方法,ER图很有帮助。
物理建模:ER图落地到具体的数据库。

纵向分层,水平分域。

自底向上分层:DWD(数据明细层)、DWS(轻度汇聚层)、DM(数据集市)

按业务分域:例如用户、产品、交易等。

逻辑建模和物理建模阶段也可以用比较流行易懂的『维度建模』。

作用

反应企业当前的经营状况、可进行多维度系统分析、数据挖掘的基础,为商业决策提供支持。

数据应用层

设计方案

数据的应用来自于实际的业务需要,或者数据治理、监管的需要。

主要面向具体分析场景、挖掘场景、治理场景、监管场景进行设计的具体数据应用、数据产品。

以便实现:反应业务现状、预测未来的趋势、根据当下和未来制定智慧决策。

作用

实践的好,也许能成为三体里的星环公司。

课后复习一个复杂的图,看上去很复杂和全面,但是并不容易理解,容易让人只见树木不见森林。

大数据 云平台 架构 大数据平台架构设计_ODS_02