hive建表没有创建hdfs文件

原创

mob649e815b1a71 2024-08-08 13:04:18 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815b1a71的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive建表没有创建HDFS文件及其原因分析

引言

Hive是一个建立在Hadoop之上的数据仓库工具，用于分析大规模数据集。它提供了一种类似SQL的查询语言（HiveQL），使得数据分析者能够更方便地操作存储在HDFS（Hadoop分布式文件系统）中的数据。然而，有时候在Hive中创建表的时候，表对应的HDFS文件并不会立即生成，本文将分析该现象的原因并提供解决方案。

Hive建表的基本概念

在Hive中创建表时，通常会有如下的基本操作：

CREATE TABLE my_table (
    id INT,
    name STRING,
    age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

上述代码定义了一个简单的Hive表 my_table，其中包含三个字段：id、name和age。在执行这段代码后，用户预期会在HDFS中看到对应的文件夹和文件。

为什么Hive建表没有创建HDFS文件

1. 表的存储方式

Hive中的表有两种存储方式：外部表和内部表。

内部表：如果你创建的是内部表，Hive会在HDFS上创建相应的目录，并将数据存储在该目录中。删除表时，数据也会一并删除。
外部表：如果你创建的是外部表，Hive仅会在HDFS上建立表的元数据，数据文件存储在指定的外部路径。删除表时，HDFS中的数据不会被删除。

创建外部表示应使用如下方式：

CREATE EXTERNAL TABLE my_external_table (
    id INT,
    name STRING,
    age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/user/hive/external/my_external_table/';

如果在HDFS指定路径没有数据文件，则在创建表时，HDFS中并不会产生任何文件。

2. 表的格式和分区

在创建表时，存储格式的选择和分区的定义也可能影响HDFS文件的生成。如果指定了分区，但还没有向分区中插入数据，则在HDFS上也看不到文件。

例如，创建一个分区表的示例：

CREATE TABLE my_partitioned_table (
    id INT,
    name STRING
)
PARTITIONED BY (age INT)
STORED AS ORC;

此时，如果没有插入数据到具体的分区中，HDFS中不会有任何文件生成：

ALTER TABLE my_partitioned_table ADD PARTITION (age=25);

此时需要插入数据：

INSERT INTO my_partitioned_table PARTITION (age=25) VALUES (1, 'Alice');

解决方案

检查表类型

确保你了解是创建内部表还是外部表。如果需要数据存储在HDFS中，并伴随表的删除，需要创建内部表。

数据插入

确保在表创建后，向表中插入数据。只有在至少有一条数据插入后，HDFS中才会生成实际的数据文件。

运行时流程图

下面的序列图展示了Hive建表的基本流程：

sequenceDiagram
    participant User as 用户
    participant Hive as Hive服务
    participant HDFS as HDFS系统

    User->>Hive: 执行 CREATE TABLE 语句
    Hive->>HDFS: 创建HDFS目录和文件
    Note right of HDFS: 如果分区表未插入数据，\n不生成文件
    User->>HDFS: 检查文件
    Note right of HDFS: 发现没有文件

表的关系图

以下是Hive表和HDFS之间的关系图，展示了其结构：

erDiagram
    HDFS {
        string fileName
        string filePath
    }
    HiveTable {
        int id
        string name
        int age
    }
    
    HiveTable ||--o{ HDFS : contains