Hive源码解析—之—hive的入口： 初衷：hi，大家好，我叫红门，在hive方面是个菜鸟，现在读hive源码希望能够更了解底层，尤其是hive与Hadoop切换这块。但在读hive源码时发现比Hadoop源码难读一些，虽然Hadoop源码量比较大，但是整体很规范，命名规范，关键地方注释的比较明确。 去年在读和修改Hadoop源码时都感觉比较清晰，可读性比较好一些，往往可以望文生义，可能也
转载
2023-08-18 22:29:17
49阅读
Hive源码阅读–作业的入口–CliDriver（main+run）Hive源码阅读–作业的提交–executeDriverHive源码阅读–作业的准备–processLineHive源码阅读–作业的执行–processCmdHive源码阅读–命令的执行与返回–processLocalCmd
Hive源码阅读–SQL on JOB–ParseDriver/BaseSemanticAnalyze
转载
2023-07-14 10:53:04
111阅读
spark默认会使用基于derby数据库存储元数据的hive，数据文件存储位置由spark.sql.warehouse.dir参数指定（默认为当前目录）。 比如当我们在/spark/目录下调用spark-shell，并且用Dataset的saveAsTable方法持久化一个表后。会发现在/spark目录下多出了：一个文件：derby.log，记录了derby数据库相关日志信息；一个目录：metas
转载
2023-08-24 19:25:45
157阅读
基于虚拟机搭建hdp集群,以下是我搭建集群的虚拟机环境说明一.环境预配置参照官网配置步骤:1. 配置hosts与主机名vim /etc/hosts
# 添加以下内容(三台)
192.168.127.121 hadoop121
192.168.127.122 hadoop122
192.168.127.123 hadoop123
设置主机名
hostnamectl set-hostname had
转载
2023-07-12 10:11:33
137阅读
# 如何实现HDP Hive授权
## 1. 流程图
```mermaid
flowchart TD
A(开始)
B(创建用户)
C(创建数据库)
D(授权数据库)
E(结束)
A --> B
B --> C
C --> D
D --> E
```
## 2. 具体步骤
### 步骤1：创建用户
```mar
# 编译 HDP Hive 的入门指南
## 引言
在大数据生态系统中，Hive 是一个重要的数据仓库工具，它可以让我们用 SQL-like 的语言查询 Hadoop 存储的数据。如果你是刚入行的小白，想要了解如何编译 HDP (Hortonworks Data Platform) 中的 Hive，本文将为你详细讲解整个流程和代码示例。
## 整体流程
以下是编译 HDP Hive 的步骤
# 检测 HDP Hive 的实现指南
欢迎来到数据工程的世界！本文将带你一步步了解如何检测 HDP Hive。Hortonworks Data Platform（HDP）是一个开源软件平台，Hive 是其下的数据仓库系统。通过检测 Hive 的状态，可以确保你的大数据平台的正常运行。
## 检测 HDP Hive 流程概述
我们将这个流程分为几个步骤，并用表格展示每一步的具体动作。
|
# HDP Hive LLAP：加速Hive查询的新选择
在大数据领域，Hive是一个非常流行的数据仓库解决方案，它提供了类似于SQL的查询语言来对存储在Hadoop中的大规模数据进行分析。然而，由于Hive基于MapReduce的架构在处理大规模数据时存在较大的延迟，因此查询速度往往不够快。为了解决这一问题，Hortonworks Data Platform（HDP）引入了Hive LLAP（
Hadoop是一个大数据处理框架，而Hive则是Hadoop生态系统中的一个数据仓库工具，它可以将结构化的数据映射到Hadoop集群上的文件中，从而方便我们使用SQL语句进行数据查询和分析。本文将介绍如何在Hadoop集群中安装和配置Hive，并给出一些常用的Hive操作示例。
## 1. 安装Hive
在安装Hive之前，我们需要先安装Hadoop，并确保Hadoop正常运行。
1. 下载
原创
2023-11-23 07:00:23
101阅读
1）安装HDP时，如果打印如下错误信息：[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)是由于系统的python版本过高，导致验证ssl失败，将python降级为2.7.5以下或修改每个安装节点的python证书验证配置文件，执行以下命令修改：$ sed -i 's/verify=platform_def
转载
2023-08-29 17:52:23
283阅读
Executor参数spark.executor.cores该参数表示每个Executor（任务） 可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition （竞争状态）。根据我们的实践，设定在3~6之间比较合理。 假设我们使用的服务器单节点有32个CPU核心可供使用。考虑到系统基础服务和HDFS等组件的余
对有志成为审计师或者IT管理者de朋友, 第一章. 信息系统审计过程 1. IS 审计和保障标准、指南、工具、职业道德规范 信息技术保证框架（ITAF，Information Technology Assurance Framework）l 审计准则：强制性要求ü 一般准则：基本的审计指
# HDP 开启hive LLAP
在大数据领域，HDP（Hortonworks Data Platform）作为一款开源的大数据平台，提供了一系列的工具和服务来帮助用户管理和分析大规模数据。其中，Hive是HDP中一个非常常用的工具，用于处理结构化数据。而LLAP（Live Long and Process）是Hive的一项优化技术，用于加快查询速度，提高性能。
在本文中，我们将介绍如何在H
# HDP配置Hive on Spark
在Hadoop生态系统中，Hive是一种数据仓库工具，它提供了一种类似于SQL的语言来查询和分析大规模数据。而Spark是一个快速、通用的数据处理引擎，它提供了强大的数据处理能力和更快的执行速度。
在HDP中，Hive on Spark是一种集成了Hive和Spark的解决方案，它可以让用户在Hive中使用Spark作为计算引擎来执行查询和分析。本文将
标题：如何配置HDP Hive Server
## 概述
本文将教你如何配置HDP Hive Server。HDP（Hortonworks Data Platform）是一个开源的Hadoop分发版本，Hive是其上的一个数据仓库基础设施。我们将按照以下步骤进行配置。
## 配置流程
下表展示了配置HDP Hive Server的步骤：
| 步骤 | 描述 |
| --- | --- |
CDH5.X 版本 hive1.x 与 hive2.x 并存使用(升级方案)1.Hive 2.3.9 下载解压安装至服务节点wget https://mirror.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
tar -zxvf apache-hive-2.3.9-bin.tar.gz
# 解压后
转载
2023-08-18 22:27:42
137阅读
准备工作JDKhadoophive执行引擎引擎说明mr默认引擎，hadoop自带的框架，在2.x版本中已不推荐使用tez相比于mr，减少了磁盘io，速度比mr有明显提升spark内存计算框架，速度最快运行模式模式说明特点内嵌模式数据保存在内嵌的 derby 数据库中不支持多用户登录本地模式数据保存在本地的数据库，如mysql支持多用户登录远程模式数据保存在远程的数据库中，如mysql多个hive客
转载
2023-07-14 10:52:53
141阅读
# HDP定时清理Hive日志的科普文章
在大数据处理领域，Hive是一个广泛使用的数据仓库工具，它允许用户使用类似SQL的语言进行数据的查询和分析。然而，随着时间的推移，Hive生成的日志文件可能会快速增大，导致存储空间不足和性能下降。因此，定期清理Hive日志文件显得尤为重要。本文将介绍如何在HDP（Hortonworks Data Platform）中定期清理Hive日志，并提供相关的代码
hive入门学习：join的三种优化方式
hive在实际的应用过程中，大部份分情况都会涉及到不同的表格的连接，例如在进行两个table的join的时候，
转载
2023-07-30 17:18:23
102阅读
一、下载安装包并解压
在官网下载最新版的hive包，apache-hive-3.1.3-bin.tar.gz,并进行解压
转载
2023-07-12 08:42:37
121阅读
