概要：数据仓库是一个过程而不是一个项目；是一个环境而不是一件产品。 数据仓库将多个数据源的数据按照一定主题集成起来，经过抽取、清洗、转换。整合后的数据不允许随便修改，定期更新，这个过程叫做ETL：抽取（extract）、转换（transform）、加载（load）。数据仓库大致流程 ODS层：外部数据源ETL到数仓里最原始的数据 DWD层：对ODS层中的表按一定主题进行划分和加工，内容还是明细数据
转载
2023-09-21 09:18:16
78阅读
1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。这个定义的确官方，但是却指出了数据仓库的四个特点。特点面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉 集成的：从不同的数据源采集数据到同一个数据源，此过程会有一些ETL操作 随时间变化：关键数据隐式或显式的基于时间变化
转载
2023-08-11 16:53:07
61阅读
云计算数据仓库是一项收集、组织和经常存储供组织用于不同活动(包括数据分析和监视)数据的服务。 在企业使用云计算数据仓库时，物理硬件方面全部由云计算供应商负责。对于只看到大量等待数据并可供处理的大型仓库或数据仓库的最终用户来说，它们是抽象的。近年来，随着越来越多的企业开始利用云计算的优势，并减少物理数据中心，云计算数据仓库的市场不断增长。 云计算数据仓库通常包括一个或多个指向数
1.前言 小编最近接到一个任务是大数据方向的，业务是将mysql的数据同步到阿里云的MaxCompute(ODPS）数据仓库中。那么过程中会涉及到哪些知识呢？小编记录下了学习过程，欢迎大家指教。1.1概念扫盲ETL（Extract-Transform-Load） 数据仓库技术，用来描述将数据从来源端经过抽
转载
2023-11-16 13:33:19
58阅读
ODS、DW、DM鑫第弟 本科生的小渣渣由于网上的资料过于片段化，导致我们在了解ODS、DW、DM时，不能很好的掌握理解该部分知识，而且查阅过多资料属实浪费时间。所以我将知识整理，以便更好的了解该部分知识，文章最后将给出参考来源。 先介绍几个概念（1）DB（数据库），是现有的数据来源（也称各个系统的元数据），可以分为mysql、SQL Server、文件日志等，为数据仓库提供数据来源的
数据仓库元数据管理一、元数据的定义元数据（metadata） 即数据的数据，是描述数据仓库结构和数据仓库建立方法的数据，主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。。元数据可以帮助数据仓库管理员
转载
2023-08-29 16:05:05
43阅读
归纳起来就是主题域设计分层设计维度建模反第三范式操作，星型模型和星座模型分区设计 依照逻辑模型，在数据库中进行建表、索引等。数据仓库，为了满足高性能的需求，可以增加冗余、隐藏表之间的约束等反第三范式操作。这一阶段，主要针对的是数据库、硬件、性能。范式：第一范式：数据库表的字段都是单一属性，不可再分。第二范式：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖。（部分函数依赖指的是
简介： 相信很多朋友都是次听说元数据管理系统这个名词，当然，从事非数据仓库工作的人，很少会接触到这个系统，即使是正在从事这方面工作的朋友，可能仍然对它不是很了解，那么今天我来聊一聊元数据管理系统。本文大部分观点与图片汇总字网络，如有不同观点，欢迎留言交流～～01元数据的定义按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员
一.元数据概述(1)元数据定义按照传统的定义，元数据（ Metadata ）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工
转载
2023-07-18 08:47:58
221阅读
7.1 什么是数据仓库 数据仓库是基于特定的数据结构（以及有关应用程序）所构建的数据的中央存储库，以便为分析和报表提供 一致的数据源。面向整个组织创建的企业数据仓库（Enterprise Data Warehouse，EDW）用于对整个组织的信息 进行分析。大多数情况下，超大型组织中会有多个企业级数据仓库，每个都拥有组织中某个很大组成部分的数 据
前言完整的数据仓库系统会涉及其他一些组件的开发，其中最主要的是ETL工程，在线分析处理工具(OLAP)和商务智能(BI)应用等。本文将对这些方面做一个总体性的介绍(尤其是OLAP)，旨在让读者对数据仓库的认识提升到一个全局性的高度。创建数据仓库数据仓库的创建方法和数据库类似，也是通过编写DDL语句来实现。在过去，数据仓库系统大都建立在RDBMS上，因为维度建模其实也可以看做是关系建模的一种。但如今
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1009阅读
（一）初识数仓 每个人对于数仓的理解，都源自于大数据，而大数据有源自于那个神奇的故事：从前有一家超市，它有一个怪现象，尿布和啤酒赫然摆在一起出售。外行人不明所以，但内行人却看到了尿布和啤酒的销量双双增加。为什么呢？正是因为大数据发挥了它最原始的作用：组合分析。妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布，而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还
转载
2024-01-08 22:01:01
23阅读
目录数据分层通用的数据分层设计一、数据运营层：ODS（Operational Data Store）二、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）三、数据应用层：APP（Applica
2022年6月1日记录，这又干了3年的数仓，感慨很多吧，觉得做好确实不容易，技术要精细的话，从底层代码到上层架构都要认真思考。一、数据仓库是什么 引用百度百科：数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报
转载
2023-07-28 22:37:36
742阅读
数据仓库数仓有二位大神，Bill Inmon 和 Ralph Kimball。 Bill Inmon所写的书Buliding the data warehouse【中文版为数据仓库】, Ralph Kimball所写的The data Warehouse Toolkit【中文版为数据仓库工具箱】。 可以说 Bill Inmon 将Ralph Kimball 的理念，尤其是维度建模的理念融合了进去。
转载
2023-11-06 13:29:59
9阅读
文章目录零 DIM层最终建模结果一 商品维度表（全量）1 商品维度表2 建模过程分析3 建表语句4 装载数据（1）逐步分析（2）完整装载sql二 优惠券维度表（全量）1 建表语句2 数据装载三 活动维度表（全量）1 建表语句2 数据装载四 地区维度表（特殊）1 建表语句2 数据装载五 时间维度表（特殊）1 建表语句2 数据装载（1）创建临时表格（2）上传到HDFS（3）导入（4）校验 零 DIM
转载
2023-08-27 09:47:03
77阅读
数据仓库究竟是什么？它和事务交易处理系统（OLTP）又有什么区别？初次接触它的朋友往往觉得它很神秘、很复杂，其实不然。今天就和大家来认识一下数据仓库的本质，以及在实施商务智能过程中它的一些设计技巧。 Ralph Kimball，数据仓库（Data Warehouse，DW）领域最权威的专家之一，曾下过这样的结论：BI系统=数据仓库。或许这
转载
2023-08-18 21:14:06
274阅读
第2章 大数据平台2.1 大数据平台基础架构大数据基础平台基于烽火自主知识产权FitData产品，FitData主要集成了基础计算资源、网络资源、存储资源，在统一的安全体管理体系下，将这些资源再进行深度加工、处理、关联，形成多种类型的基础服务能力，构建
转载
2023-06-19 15:31:48
394阅读
一、基本概念DW 数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。ODS ODS：是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的
转载
2023-08-02 16:30:24
164阅读
