时间维表的建立完整版 目录
转载
2024-04-23 22:22:04
83阅读
hbase 是 nosql的一种。nosql的话，不需要sql作为查询语言，也不需要固定的表模式（table schema），也不怎么有sql的join操作，一般都能水平扩展，放宽ACID属性（因为CAP定理）。Hbase是C+P类型的，强一致性（仅支持单行事务）。最常见的应用场景还是采集的网页数据的存储，日志信息的存储，不需要完全结构化的应用。hbase 是 OLTP应用为主。hive不一样，针
转载
2024-01-12 05:21:37
176阅读
Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。实际上，基于HMS存储的元数据也只是很少的信
转载
2023-07-12 12:51:10
95阅读
Hive 是facebook开源的一个基于hadoop框架的查询工具，也就是说，需要用hive的话，就要先安装hadoop。这次是小结一下最近用hive的心得，经验分享。hadoop和hive，pig，hbase的安装配置以后专门另开个连载说比较好。所以，我假设你已经有hive了。1.字段的数据类型。hive实际上为了数据挖掘的需要，对hive表的字段设置了数据类型，对于经常where的，还可以设
转载
2023-11-17 20:56:59
75阅读
大数据工具千千万，到底谁才是最强王者？外面有成千上万的大数据工具。它们都承诺可以为你节省时间和资金，并帮助发掘之前从来见过的业务洞察力。虽然确实如此，可是面对那么多的选择，想理清这么多的工具谈何容易。哪一种工具适合你的技能组合?哪一种工具适合你的项目?为了替你节省一点时间，并帮助你首次选对工具，我们列出了我们青睐的几款数据工具，涉及数据提取、存储、清理、挖掘、可视化、分析和整合等领域。
数仓理论数据仓库进阶 《阿里大数据之路》第二篇 数据模型篇 (完整版)说一下你对DWD和DWS的理解，为什么这一块要分两层？DWD层都是什么类型的事实表？说一下三种事实表的区别DWS层是周期快照型事实表还是事务型事实表？你知道无事实的事实表吗？含义： 即不包含事实或度量的事实表分类： （1）第一种是事实类的，记录事件的发生。例如日志类事实表，比如用户的浏览日志，对于每一次点击，其事实为1，但一般不
Hive入门第1章 Hive基本概念1.1 什么是Hive1.2 Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模第2章 Hive安装2.1 Hive 安装地址2.2 Hive安装部署2.2.1 安装Hive2.2.2 用 启动并使用 Hive2.3 MySQ
转载
2023-07-14 11:08:41
430阅读
一、简介 Hive由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类Sql查询的功能。hive本质是将HQL转化为MapReduce的程序hive处理的数据存储在HDFShive分析数据低层的实现是MapReduce执行程序运行在YARN上
转载
2023-07-12 11:22:06
56阅读
一、Hive的介绍1. Hive是一个数据仓库软件 Hive可以使用SQL来促进对已经存在在分布式设备中的数据进行读，写和管理等操作！ Hive在使用时，需要对已经存储的数据进行结构的投影(映射) Hive提供了一个命令行和JDBC的方式，让用户可以连接到hive！ 注意：Hive只能分析结构化的数据！ Hive在Hadoop之上，使用hive的前提是先要安装Hadoop2. Hi
转载
2023-07-13 00:08:53
50阅读
虽然自己看不太懂,蛋毕竟是高端项目,还是赶紧跑来看一下.中科院的开源项目在哪里~~~ NASA 的github :https://github.com/nasa NASA 美国国家航空航天局开源项目列表 Livingstone2 —— 人工智能(AI)软件系统 Livingstone2 是一个可重用的人工智能(AI)软件系统，旨在帮助飞船生命支持系统、化工厂或其他复杂系统在操作
# 使用HiveOS创建飞行表的完整指南
在这篇文章中，我们将介绍如何在HiveOS中创建飞行表。飞行表是Hive数据库中一种特定的表类型，它通常用于处理大规模数据，并进行高效查询。接下来，我们将逐步指导你完成这一过程，确保你能轻松掌握每一个步骤。
## 流程概览
在开始之前，让我们先了解一下整个流程。以下是创建飞行表的主要步骤：
| 步骤 | 描述
一、前言飞行仪表是测定和表示飞机数据的工具，飞机中必不可少的一部分，飞行员根据飞行仪表表示的数据才能正确地做出判断。一般飞机仪表包括高度表+空速表+垂直速率表+姿态仪+航向指示表+转弯协调表。这次要绘制的是其中的姿势仪，显示飞机相对于地平线的姿态，看姿态仪，飞行员能判断飞机姿态为偏左偏右，及偏上和偏下。姿态仪作用原理为一高度旋转的陀螺，不论飞机的姿态如何变化，此陀螺的定轴性在空间保持相同，因而能显
hive 安装过程：
1.修改主机名
hostnamectl set-hostname master
2，做IP和主机名的映射
vim /etc/hosts
192.168.31.27 master
3，关闭防火墙
systemctl stop firewalld.service
3，时间设置
查看当前时间
输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命
转载
2024-04-11 09:16:27
27阅读
Hive（一）概述一.简介1.概述2.Hive架构3.Hive数据模型4.Hive文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用 一.简介1.概述什么是 HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，用户只需要写
转载
2023-07-14 12:49:48
61阅读
Hive介绍What is hiveThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data al
转载
2023-11-20 23:02:30
84阅读
一、hive是什么Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理在分布式存储中的大数据集。 可以将结构映射到已存储的数据中。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。（官网翻译）二、hive的产生方便非java编程者对hdfs上的数据做MapReduce计算从上面这句话中，我们可以得出两个信息：1、hive的数据存储在hdfs上2、数据计算使用MapRedu
转载
2023-08-18 23:40:13
27阅读
# Hive OS更新驱动教程
## 概述
在Hive OS中，更新驱动是一个重要的操作，它可以提升挖矿性能和稳定性。本文将为你详细介绍Hive OS更新驱动的流程和每一步所需的代码。
## 流程图
以下是更新Hive OS驱动的流程图：
```mermaid
pie
title 更新Hive OS驱动流程
"A. 检查当前驱动版本" : 10
"B. 下载新驱动" : 20
"C. 安装新
原创
2023-09-30 09:35:26
941阅读
需求假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费 的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。 基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史
Hive 的优缺点及数据倾斜hive的特点hive的优缺点hive的数据倾斜什么是数据倾斜？hadoop框架特性数据倾斜的主要表现：不容易产生数据倾斜的情况：容易产生数据倾斜的情况：产生数据倾斜的原因：数据倾斜典型场景分析：大量的关联键为null值的时候关联键类型不统一大小表关联查询产生数据倾斜小表和小表关联大表和小表（小于23.8M ）关联大表和中表关联大表和大表关联hive的优化 hive的
转载
2023-07-20 20:31:25
67阅读
Hive的安装和使用我的版本：
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
HIVE_HOME=/usr/local/soft/hive-1.2.1一、离线安装mysqlhive的元数据需要存储在mysql，
安装hive前需要先在MySQL中创建hive元数据库create dat
转载
2024-02-03 04:11:03
64阅读
