一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2.&nbs
转载
2023-07-14 23:15:11
915阅读
# Spark生成文件大小控制
在使用Apache Spark进行大数据处理时，生成的输出文件大小是一个需要注意的问题。默认情况下，Spark将输出数据存储为多个小文件，这可能会导致文件数量过多、占用过多的存储空间以及文件处理效率低下。为了解决这个问题，可以通过控制文件大小来优化Spark的输出结果。
## 文件大小控制的重要性
生成的文件大小对于文件处理的效率和存储空间的利用率都有很大的影
原创
2023-11-02 10:45:23
82阅读
在有些时候，想要控制hql执行的mapper,reducer个数,reducer设置过少，会导致每个reducer要处理的数据过多，这样可能会导致OOM异常，如果reducer设置过多，则会导致产生很多小文件，这样对任务的执行以及集群都不太好.通常情况下这两个参数都不需要手动设置，Hive会根据文件的大小和任务的情况自动计算,但是某些特殊情况下可能需要进行调优，下面列举两个常用的调优场景看看这两个
转载
2023-07-14 12:26:53
118阅读
小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。在本文中，我将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助。01背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2 MapReduce引擎），产生大量的小文件，从而导致Map数量剧增；Reduce数量越多，小文件也越多(R
转载
2023-08-02 21:18:22
210阅读
针对hive on mapreduce1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并：
原创
2020-08-03 18:21:00
163阅读
使用spark进行文件过滤ps:分隔线前的内容为4月8日更新
已经将代码整理好上传到github上面该项目链接: 本博客涉及到代码的链接: 注意: 本博客发布的时候所用的spark版本是1.6版本 上传到github上面使用的spark版本是2.4版本(与时俱进) 所以部分测试结果稍有差别,这是spark版本(源码不同)导致的 但是实现方式是一样的, 博客代码和github代码均已经过测试,请放心
# Spark SQL 设置生成文件大小的过程详解
Spark SQL 是一个非常强大的工具，可以处理大量数据并将其写入文件。然而，在这些操作中，我们可能会遇到生成的文件大小不符合预期的问题。这篇文章将指导你如何在 Spark SQL 中设置生成文件的大小，确保高效的数据处理流程。
## 整体流程
下面是实现 Spark SQL 设置生成文件大小的整体流程：
| 步骤 | 描述
MapReduce优化优化（1）资源相关参数：以下参数是在自己的 MapReduce 应用程序中配置就可以生效mapreduce.map.memory.mb: 一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb: 一个 Reduce Task 可使用的资源上
## Hive控制落HDFS文件大小
作为一名经验丰富的开发者，我将指导你如何实现在Hive中控制落HDFS文件大小的方法。下面将分为以下几个步骤来进行讲解：
1. 创建Hive表
2. 导入数据
3. 执行插入操作
4. 检查文件大小
5. 压缩文件
### 1. 创建Hive表
首先，我们需要创建一个Hive表。在Hive中，我们可以使用`CREATE TABLE`语句来创建表。例如，
原创
2023-12-20 13:10:21
189阅读
# 如何实现hive落表文件大小控制
## 1. 整体流程
```mermaid
journey
title 整体流程
section 开始
开始 --> 创建表 --> 设定表文件大小控制 --> 完成
```
## 2. 具体步骤
```mermaid
flowchart TD
A[创建表] --> B[设定表文件大小控制]
B -->
自定义输出和输入类型介绍我们在使用MapReduce处理需要两次聚合的数据时,我们会进行两次输出,第二次输出的结果是读取第一次输出的结果进程聚合处理的,但我们只需要看到第二次的聚合的结果就可以了,第一次聚合的结果我们是否能看懂都无所谓, 此时我们在进行第一次输出时,我们可以将输出类型由原来(当我们未自定义时默认的输入和输出类型都是TextInputFormat和TextOutputFormat)改
mybatis generator插件中，如果 mysql数据表中的字段是用下划线划分的(个人一般都是喜欢这么创建表的字段，如：company_name），那么生成的Vo中会自动对应为companyName；但是有时候表不是你设计的，全是这种格式的carBrandName或者是carbrandname，在生成对应的Vo时会是这样：carbrandname解决：在generatorConfig.xm
转载
2023-05-11 11:59:16
197阅读
Hive ---- 文件格式和压缩1. Hadoop压缩概述2. Hive文件格式1. Text File2. ORC3. Parquet3. 压缩1. Hive表数据进行压缩2. 计算过程中使用压缩 1. Hadoop压缩概述为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端
转载
2023-08-04 11:25:02
72阅读
# Hive和HDFS文件大小
Hadoop是一个开源的分布式存储和计算框架，它由HDFS（Hadoop分布式文件系统）和MapReduce组成。HDFS是Hadoop的一个关键组件，它用于存储海量的数据，并提供高可靠性和高可扩展性。而Hive是建立在Hadoop之上的一个数据仓库基础设施，它提供了一种类似于SQL的查询语言，用于分析和查询存储在Hadoop中的数据。
在Hive中，数据以文件
原创
2023-10-06 16:18:38
147阅读
# Hive 查看文件大小
## 1. 概述
在Hive中，我们可以使用一些简单的命令和技巧来查看文件大小。本文将介绍如何使用Hive查看文件大小的步骤和代码示例。
## 2. 查看文件大小的流程
下面是使用Hive查看文件大小的流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 登录到Hive的命令行界面 |
| 步骤2 | 创建一个外部表 |
| 步骤3 | 导入
原创
2023-09-26 23:00:33
338阅读
# 实现Hive限制文件大小的步骤
## 引言
在Hive中，限制文件大小是一个常见的需求，特别是在处理大量数据时。本文将介绍如何实现Hive限制文件大小的步骤，并提供相应的代码和注释。
## 流程概述
下面是实现Hive限制文件大小的流程概述：
```mermaid
erDiagram
Developer --|> Novice
```
## 详细步骤
下面是详细的步骤以及每一步
原创
2023-12-14 12:40:39
360阅读
一、hive的常用参数-- 设置名称
set mapred.job.name = "test";
-- 每个Map最大输入大小
set mapred.max.split.size = 300000000;
-- 每个Map最小输入大小
set mapred.min.split.size = 100000000;
-- 执行Map前进行小文件合并
set hive.input.format = or
转载
2023-07-14 12:12:13
922阅读
Hive的一个独特的功能就是：Hive不会强制要求将数据转换成特定的格式才能使用。 Hive利用Hadoop的InputFormatAPI来从不同的数据源读取数据，例如文本格式、sequence文件格式，甚至用户自定义格地。同样地，使用OutputFormat API也可以将数据写成不同的格式。 尽管Hadoop的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很大好处的。压缩通
# Hive表生成文件的实现流程
## 概述
在Hive中，我们可以通过使用HiveQL语言来创建和管理表，然后将表中的数据导出至文件中。本文将介绍如何使用Hive生成文件的具体步骤，以及每一步需要做什么和使用哪些代码。
## 流程图
下面是整个流程的状态图示意图：
```mermaid
stateDiagram
[*] --> 创建Hive表
创建Hive表 --> 导入数
原创
2023-11-19 13:49:06
50阅读
# Hive 导出外部表控制单文件大小的流程
在大数据处理中，使用 Hive 进行数据管理时，我们往往会遇到如何导出外部表数据的问题。尤其是当我们需要控制导出的文件大小时，这就需要我们采取一些特定的步骤。以下是实现这一目标的完整流程和详细说明。
## 一、整体流程
我们可以将整个导出和控制文件大小的过程分为以下几步：
| 步骤 | 描述 |
