尚硅谷数据仓库分层架构

原创

mob64ca12dedda8 2023-11-15 05:51:04 ©著作权

文章标签 数据仓库数据原始数据 文章分类 数据仓库大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12dedda8的原创作品，请联系作者获取转载授权，否则将追究法律责任

尚硅谷数据仓库分层架构

引言

数据仓库是一个用于存储和管理大量数据的系统，它具有高度的可扩展性和灵活性，能够支持复杂的分析和查询操作。为了更好地管理和组织数据，尚硅谷提出了数据仓库的分层架构。

数据仓库分层架构

数据仓库的分层架构由四个层次组成：原始数据层、清洗数据层、集市层和报表层。

原始数据层

原始数据层是数据仓库的基础层，用于存储从各个数据源（如数据库、日志文件等）收集的未经处理的原始数据。这些数据通常以原始数据表的形式存储，不经过任何转换和清洗。原始数据层的目的是保留数据的完整性，以备后续的数据处理和分析。

示例代码：

CREATE TABLE raw_data (
    id INT,
    name VARCHAR(50),
    age INT,
    address VARCHAR(100)
);

清洗数据层

清洗数据层是数据仓库的第二层，用于对原始数据进行清洗和转换，以确保数据的质量和准确性。在这一层中，可以进行诸如数据清洗、数据过滤、数据合并和数据转换等操作。清洗数据层的目的是将原始数据转换为可分析和查询的形式。

示例代码：

CREATE TABLE clean_data AS
SELECT id, name, CASE WHEN age < 0 THEN 0 ELSE age END AS age, address
FROM raw_data
WHERE address IS NOT NULL;

集市层

集市层是数据仓库的第三层，用于将清洗和转换后的数据组织成更加灵活和易于理解的形式。在这一层中，可以进行数据聚合、维度建模、事实表和维度表的设计等操作。集市层的目的是提供方便和高效的数据访问，支持复杂的分析和查询需求。

示例代码：

CREATE TABLE fact_sales (
    id INT,
    product_id INT,
    sale_date DATE,
    quantity INT,
    price DECIMAL(10, 2)
);

CREATE TABLE dim_product (
    product_id INT,
    product_name VARCHAR(50),
    category VARCHAR(50),
    brand VARCHAR(50)
);

报表层

报表层是数据仓库的最顶层，用于提供直观和易于理解的报表和可视化信息。在这一层中，可以使用各种报表工具和可视化技术，生成各种形式的报表、图表和仪表盘。报表层的目的是为决策者提供直观和准确的数据分析结果，以支持业务决策和战略规划。

示例代码：

SELECT p.product_name, SUM(s.quantity) AS total_quantity, SUM(s.quantity * s.price) AS total_sales
FROM fact_sales s
JOIN dim_product p ON s.product_id = p.product_id
GROUP BY p.product_name;