1.数据仓库DW

1.1简介

Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。

1.2主要特点

  • 面向主题：
    • 操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。
    • 主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
  • 集成
    • 需要对源数据进行加工与融合，统一与综合
    • 在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
  • 不可修改
    • DW中的数据并不是最新的，而是来源于其他数据源
    • 数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询
  • 与时间相关
    • 处于决策的需要数据仓库中的数据都需要标明时间属性

1.3与数据库的对比

  • DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势
  • 数据库：用于捕获和存储数据
特性数据仓库事务数据库
适合的工作负载分析、报告、大数据事务处理
数据源从多个来源收集和标准化的数据从单个来源（例如事务系统）捕获的数据
数据捕获批量写入操作通过按照预定的批处理计划执行针对连续写入操作进行了优化，因为新数据能够最大程度地提高事务吞吐量
数据标准化非标准化schema，例如星型Schema或雪花型schema高度标准化的静态schema
数据存储使用列式存储进行了优化，可实现轻松访问和高速查询性能针对在单行型物理块中执行高吞吐量写入操作进行了优化
数据访问为最小化I/O并最大化数据吞吐量进行了优化大量小型读取操作

2.数据分层

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

2.1数据运营层（ODS）

  • ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为O.........