0x00 前言翻出来之前零零散散写的数据仓库的内容，重新修正整理成一个系列，此为第一篇《数据模型》。数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组件为中心的数据架构体系调度系统、元数据系统、ETL系统这类辅助系统各种数据建模方法，如维度建模我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的
转载
2024-01-02 22:00:13
38阅读
点赞
目录数据分层通用的数据分层设计一、数据运营层：ODS（Operational Data Store）二、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）三、数据应用层：APP（Applica
数据仓库概念1.概念模型设计所要完成的工作是:(1)界定系统边界要做的决策类型有哪些？决策者感兴趣的是什么问题？这些问题需要什么样的信息？要得到这样信息需要包含原有数据库哪些数据？(2)确定主要的主题及其内容:主题是基于业务来说的，不是技术本身。如果业务能够按照一定规模分割出独立的几个模块，那每个模块就是一个主题域。这是分而治之的思想 客户主题的含义可以简单给你解释为以客户号为主键的事实
转载
2023-07-14 11:17:13
93阅读
前言 今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。一、维度建模基本概念 维度模型是数据仓库领域大师Ral
数据仓库的基本架构 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓
转载
2023-08-04 20:43:31
66阅读
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。1、什么是数据建模： 数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式
转载
2023-11-17 21:04:33
76阅读
一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素，包括：业务需求：从了解业务需求着手分析业务特点和业务期望；系统架构：从系统架构和数据分布、数据特性等角度，分析系统架构设计上是否有问题；逻辑设计：从数据模型逻辑设计出发是否设计合理，是否符合数据库开发和
数据仓库模型设计1.数据仓库模型 数据模型：实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义、命名和编码，主要描述企业的信息需求和业务规则，是业务人员和开发人员沟通的语言。 数据仓库模型设计定义了数据仓库从业务需求到数据组织的整个过程。一般为三个层次：概念模型、逻辑模型、物理模型。概念模型 最高层次，主要反映数据仓库主题和重要业务之间的关系。 设计工作：①确定系统边界，需求收集和分析，
转载
2023-09-03 21:30:01
82阅读
标题为什么要分层数仓的分层不能为了分层而分层。数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。数仓分层的主要原因：清晰数据结构 每一个数据分层都有它的作用域，这样在使用表的时候能更方便的定位和理解。数据血
转载
2023-10-08 09:50:32
92阅读
本文介绍数据仓库中常见的模型：范式建模，雪花模型，星型建模，事实星座模型。星型模型星型模型是数据集市维度建模中推荐的建模方法。星型模型是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星型模型的特点是数据组织直观，执行效率高。因为在数据集市的建设过程中，数据经过了预处理，比如按照维度进行了汇总，排序等等，数据量减少，执行的效率就比较高。雪花模型雪花模型也是维度建模中的一种选择。雪花模型
转载
2023-06-07 12:23:49
102阅读
数据模型 数据模型是对现实事物的反映和抽象，能帮助我们更好地了解客观世界。数据模型定义了数据之间的关系和结构，使得我们可以有规律地获取想要的数据。例如，在一个超市里，商品的布局都有特定的规范，商品摆放的位置是按照消费者的购买习惯以及人流走向进行摆放的1、数据模型的作用 数据模型是业务需求分析之后，数据仓库工作开始的第一步。良好的数据模型可以帮助我们更好地存储数据，更有效地获取数据，保证数据间的
转载
2023-08-13 18:55:20
54阅读
多维数据模型的定义和作用：为了满足用户从多角度多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型。其基本的应用是为了实现OLAP（Online Analytical Processing）。 通过多维数据模型的数据展示、查询和获取就是其作用的展现，但其真的作用的实现在于，通过数据仓库可以根据不同的数据需求建立起各类多维模型，并组成数据集市开放给不同的用户群体使用，也就是根据需求定制
“设计”——暗含了可以预先对组成单元进行规划的意思，“兵马未动，粮草先行”体现了前人在规划事情的聪明才智。但是数据仓库的需求只有在已经装载了部分数据并开始使用的时候才能弄清楚，因此，过去很有效的设计方法在设计数据仓库时并不能满足需要。数据仓库是在启发方式下建造的，过程中后一个阶段开发完全依赖于上一个阶段获得的结果。下面对设计数据仓库的几个主要过程进行分享。设计师的手稿1.从操作型数据开始什么是操作
转载
2023-08-12 21:30:36
112阅读
建模流程业务建模根据业务部门进行划分，理清部门之间的关系，然后将各个部门的具体业务程序化，与业务部门开会协商出需求的指标、保存年限、维度等等。总体来讲，就是要知道他们需要哪些指标以及他们能提供哪些数据。业务建模的时间最长，而且与公司实际的业务环境息息相关，因此在这里需要根据实际生产环境和业务需求确认好数据仓库使用的工具和平台。概念建模将业务模型抽象化，分组合并类似的概念，细化概念，抽象出实体与实体
转载
2023-07-12 09:48:24
89阅读
数据仓库的逻辑设计基于维度的模型数据仓库设计的理念就是去解决业务的问题。在大多数情况下，业务人员和执行人员关心的是从某些角度（产品，客户，雇员，时间）来聚合有意义的值（销售额，成本，收益）。从这个角度出发，他们需要知道的基于的这些角度我们就称之为维度。星型模型一种传统的设计模式（star schema）相关的维度值被设计在一个或者多个维度表中相关的度量值被设计在一个或多个事实表中事实表和维度表通过
转载
2023-09-24 14:04:12
102阅读
数据模型是指实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义，命名和编码，主要描述企业的信息需求和业务规则，是业务人员和开发人员沟通的语言，是数据仓库设计工作的第一步。数据模型可以划分为概念模型、逻辑模型、物理模型。一、概念模型 从定义上来说，概念模型是最高层次的数据模型，反映了数据仓库的主要主题和重要业务之间的关系。一
转载
2023-09-15 21:17:26
175阅读
从0到1构建数据仓库思路：0.建议先和运营构建业务数据矩阵如下表，是业务数据矩阵的表示方法，其中每一列是一个业务主题，每一行是一个数据主题。业务主题：我们可以将一个业务主题理解为运营的一条业务，或者说数据仓库仓库待建设的一个数据集市。数据主题：一般来讲，我们会侧重于将数据主题理解为行为数据主题，比如说登陆、点击、下载等行为主题。如果了解了什么是业务数据矩阵，那么它的作用就很容易被理解。简单来讲：能
转载
2023-11-24 13:48:21
48阅读
一、星型模型：是一种费正规化的结构，多维数据集的每一个维度都直接与事实表相连接， 不存在渐变维度，所以数据有一定的冗余。二、雪花模型当有一个或者多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展，原有的各维度表可能被扩展为小的事实表，形成一些局部的“层次”区域，这些被分解的表都连接到主维度表而不是事实表。它的优点
转载
2024-01-02 21:37:38
51阅读
0x00 前言数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组件为中心的数据架构体系调度系统、元数据系统、ETL系统这类辅助系统各种数据建模方法，如维度建模我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。因此，本篇会对经典的数据模型做一个大致的介绍，下一篇会专门分享一
转载
2023-10-18 06:41:53
76阅读
业务驱动
任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是关系到项目成败的关键所在 , 从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的 ,但是数据仓库不同于日常的信息系统开发 , 除了遵循其他系统开发的需求 , 分析 , 设计 , 测试等通常的软件声明周期之外 ; 他还涉及到企业信息数据的集成 , 大容
转载
2023-11-30 12:51:26
60阅读
