0x00 前言
本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点,可参考这篇:No.12 【漫谈数据仓库】维度建模。
为什么会分享这个听起来很奇怪的东西?因为站在的笔者的视角中,只要是做数据仓库的小伙伴们,在工作中基本上都会接触和维度建模相关的内容,而谈到维度建模,就少不了会和维度表打交道。我们要谈的就是维度表相关的知识点。
在正式开始之前,先解释一下什么是缓慢变化维度。笔者个人理解,缓慢变化维度其实就是指在维度表中那些会随着时间变化的字段,比如用户基本资料。
注:缓慢是一个相对的概念。与缓慢变化的纬度相比,数据增长快速是事实表
0x01 什么是SCD?
SCD(Slowly Changing Dimensions),中文一般翻译成“缓慢变化维”。
缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维,并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题,有时也简称为处理SCD的问题。
0x02 如何处理SCD问题
在《数据仓库工具箱》这本书中一共列举了5中基础缓慢变化维类型和3种混合缓慢变化维类型。我们只分享一下熟悉的4种类型。
TYPE 0:保留原始值
此类型维度属性值绝不会变化,因此事实始终按照该原始值分组。
比如客户的原始信用度分值,就可以用该类型。
TYPE 1:重写
对于类型一来说,对其相应需要重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况。
注意:这样处理,易于实现,但是没有保留历史数据,无法分析历史变化信息。
TYPE 2:增加新行
数据仓库系统的目标之一是正确地表示历史。当提及缓慢变化维度属性时,类型2就是主要应用于支持这一需求的技术。
类型二的一个典型代表其实就是拉链表,在此,着重强调一下拉链表,它的确是一种非常有效的工具。随着使用的深入,你就越能发现它的魅力。
关于拉链表的详细内容,下一篇文章会专门来讲。
TYPE 3:增加新属性
尽管类型2能够区分历史情况,但它无法保证能够将新属性值和过去的历史事实关联,反之亦然。
这时候就可以用到类型3。
注意:这种类型使用哪种场景呢?它比较适合需要根据先后顺序来得出某种结论的场景。
举个例子,假设我们有一个用户表表,里面有一个字段是用户昵称。现在我们现在想知道这个用户的上一个昵称是多少。
这个问题有两种方式:
- 我们在一张历史状态表中找到上一个昵称是什么,但是这样会比较麻烦,可能会扫描很多的数据。
- 就是我们现在讲的这种方式,加一个字段,就方便很多了。
这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。
这种方案在一些场景中是可以解决很多问题的,不过我们不能无限制地添加新的字段来记录历史的状态,因此在使用这种方案的时候会有一些取舍。