马沙少个天灯塔,暗雨乌风看作标。
——王逢《江边竹枝词(七首)》
文章目录
- 前言
- 一、基本概念
- 二、数仓指标体系的作用
- (一)主要作用
- (二)运用场景
- 三、数仓指标体系的架构
- (一)阿里指标体系
- 1. 原子指标
- 2. 派生指标
- 3. 衍生指标
- (二)华为指标体系
- 1. 原子指标
- 2. 衍生指标
- (三)阿里与华为指标体系的差别
- (四)指标体系的构成
- 1. 指标的分类
- 2. 指标的等级
- 3. 指标体系的血缘
- 四、案例分享
- 五、参考学习视频
- 总结
前言
介绍数据仓库指标体系极其在实际生产中的应用,持续更新中。
一、基本概念
构建数据仓库指标体系的主要作用是指标定义标准化。即所有指标的定义,都必须遵循同一套标准,这样才能有效地避免指标定义存在歧义,指标定义重复等问题。
二、数仓指标体系的作用
(一)主要作用
- 服务于开发人员,统一代码逻辑,需求文档只需要写明具体某个指标,开发人员按其对应取值逻辑去开发即可。
- 服务于业务人员,统一业务逻辑,避免计算口径不一致问题。比如某个产品线地总销售额数据需要扣减某类产品,那么相应地全部报表该销售额指标都应该是相同地口径,不然如果给CEO的报表是没有扣减某类产品的销售额,给一线销售的报表有扣减,到时就会说不清。
- 绝大多数的统计需求,都可以使用原子指标、派生指标以及衍生指标这套标准去定义。同时能够发现这些需求都直接或者间接对应一个或者多个派生指标。
- 当统计需求足够多时,必然会出现部分统计需求对应的派生指标相同的情况。这种情况下,我们可以考虑将这些公共的派生指标保存下来,这样做的主要目的是减少重复计算,提高数据复用性。
- 这些公共的派生指标统一保存在数据仓库的DWS层。因此DWS层设计,就可以参考我们根据现有的统计需求整理出派生指标。
(二)运用场景
- 数据分析OSM模型结合指标进行数据分析(对OSM模型不了解的同学可参考作者的博客《数据分析OSM模型》),实现公司盈利。
(1)北极星指标(公司高层关注):利润。要实现盈利,意味着需要提高利润。利润的构成能否优化,哪部分的收入需要重点考核。
(2)一级指标(业务部管理层关注):收入、费用等。提高利润,意味着需要增加收入,减少费用,哪个区域某些产品销量好,哪些费用可以节约。
(3)二级指标(业务部执行层关注):销售额、销售量等。增加收入,意味着需要提高销售额,卖更多的商品,卖利润更高的商品。
三、数仓指标体系的架构
(一)阿里指标体系
1. 原子指标
原子指标基于某一业务过程的度量值,是业务定义中不可再拆解的指标,原子指标的核心功能是对指标的聚合逻辑进行定义。其包含三要素,分别是业务过程,度量值和聚合逻辑。比如支付金额、注册用户数。
原子指标只是用来辅助定义指标的一个概念,通常不会有实际统计需求与之对应。
2. 派生指标
派生指标基于原子指标,对应实际的统计需求。
派生指标 = 原子指标 + 统计周期 + 业务限定 + 统计粒度
派生指标:最近一天各省份手机品类订单总额
原子指标(定义业务过程、度量值和聚合逻辑):订单总额
统计周期(限定统计的时间范围,是一个特殊的业务限定):最近一天
业务限定(限定统计范围,相当于SQL中的WHERE):品类为手机
统计粒度(定义统计粒度,相当于SQL中的GROUP BY):省份
3. 衍生指标
衍生指标是在一个或多个派生指标的基础上,通过各种逻辑运算复合而成的。例如比率、比例等类型的指标。衍生指标也会对应实际的统计需求。
衍生指标 = 派生指标间运算获得
最近30日各品牌退货率 = 最近30日各品牌退单次数 / 最近30日各品牌下单次数
(二)华为指标体系
1. 原子指标
除衍生指标外,其他都定义为原子指标。
2. 衍生指标
衍生指标是由原子指标计算而来。
(三)阿里与华为指标体系的差别
简单理解华为是直接将阿里分类的原子指标和派生指标都看做原子指标,比较简单易懂。个人感觉更适用于制造业(需要看某个时间点的数据,比如分析产量、销量等),阿里的指标体系更适用于互联网、多用户行为分析(主要看某段时间的数据,比如分析用户近3天、近N天的活跃情况)的场景。
(四)指标体系的构成
1. 指标的分类
- 指标分几类:原子指标、(派生指标)、衍生指标
2. 指标的等级
- 确定北极星指标(核心指标),比如公司今年的目标是盈利,那么北极星指标就是利润,如何提高利润是我们这一年需要考虑的问题,我们做的所有事情也都是为了达成这个目标。
- 从北极星指标细分出其他相关的一、二、N级指标。
3. 指标体系的血缘
- 每个指标列明具体计算逻辑、依赖关系。
- 每个指标列明用于哪部分可视化,解决哪个业务痛点。
四、案例分享
五、参考学习视频
总结
马沙少个天灯塔,暗雨乌风看作标。出自元代诗人王逢的《江边竹枝词(七首)》,描绘的是马沙地区缺少灯塔,雨夜时分船只没有标的物可以导航。
指标体系就如同灯塔一般,作为唯一标准,以此来统一口径,避免出现不同人,不同部门对同一个业务过程的定义不一致的情况。