hive 创建表指定 hdfs csv 文件的路径 hive创建数据库指定路径

转载

mob64ca140761a4 2024-05-30 01:47:23

Hive（三）——数据定义

每个数据库会创建一个目录，数据库下的表变现为改目录下的子目录(default库无自己的目录)
数据库目录默认在hive.metastore.warehouse.dir指定的顶层目录后，例如，常见数据库database，则hive创建一个/user/hive/warehouse/database.db目录。

# 我们可以通过以下命令修改建库默认位置
hive > CREATE DATABASE financials
　　  > LOCATION '/my/preferred/directory';

# 也可以为数据库增加一个描述信息
hive >CREATE DATABASE financials
　　  > COMMENT 'Holds all financial tables';

可以为数据库增加一些和其相关的键-值对属性信息，尽管目前仅有的功能就是提供了一种可以通过DESCRIBE DATABASE EXTENDED 语句显示出这些信息的方式：

hive> CREATE DATABASE financials
　　> WITH DBPROPERTIES ('creator' = 'Mark Moneybags', 'date' = '2012-01-02');

hive> DESCRIBE DATABASE financials;
financials　　hdfs://master-server/user/hive/warehouse/financials.db

hive> DESCRIBE DATABASE EXTENDED financials;
financials　　hdfs://master-server/user/hive/warehouse/financials.db
　{date=2012-01-02, creator=Mark Moneybags);

默认情况下，Hive是不允许用户删除一个包含有表的数据库的。用户要么先删除数据库中的表，然后再删除数据库；要么在删除命令的最后面加上关键字CASCADE，这样可以使Hive自行先删除数据库中的表：

hive> DROP DATABASE IF EXISTS financials CASCADE;

可以使用ALTER DATABASE命令为某个数据库的DBPROPERTIES设置键-值对属性值，来描述这个数据库的属性信息

hive> ALTER DATABASE financials SET DBPROPERTIES ('edited-by' = 'Joe Dba');

Hive会自动增加两个表属性：一个是last_modified_by，另一个是last_modified_time。如果用户未定义任何表属性，那么他们也不会显示在详细信息中。
我们可以拷贝一张已经存在的表的表结构(而无需拷贝数据)：

CREATE TABLE IF NOT EXISTS employee2 like employee；# 也可指定LOCATION

即使我们不在那个数据库下，我们还是可以列举指定数据库下的表的：

hive> SHOW TABLES IN mydb;
# 如果有很多表，可以使用正则表达式
hive>SHOW TABLE 'emplo.*';
# IN database_name语句暂不自持与正则一起使用

查看数据库或表的详细信息：

# 查看那数据库信息
hive>DESCRIBE DATABASE EXTENDED data_name;
# 查看表信息
hive>DESCRIBE EXTENDED table_name;
# 使用FORMATTED关键字替代EXTENDED关键字，可以提供更加可读与详细的信息
hive>DESCRIBE FORMATTED table_name; # 常用
# 还能查看表中某字段的信息
hive>DESCRIBE EXTENDED table_name.clo_name;

关键字EXTERNAL用于创建hive外部表，好处在于方便和其他工具共享数据。hive对于外部表不具备完全的权限，删除该外部表不会被清除数据，但是元数据会被清除。
LIKE关键字，复制表结构，且：
1、在无EXTERNAL关键字修饰时新表与模板表同为MANGER_TABLE或者EXTERNAL_TABLE；
2、有EXTERNAL关键字修饰则必为EXTERNAL_TABLE
将hive设置为“strict”模式，当where字句无分区过滤时，就不会提交这个查询，以防止一个巨大的mapreduce任务。

hive> set hive.mapred.mode=strict;

如果我们只想查看某特定分区键的分区：

hive> SHOW PARTITIONS employees PARTITION(country='US');
country=US/state=AL
country=US/state=AK
...

hive> SHOW PARTITIONS employees PARTITION(country='US', state='AK');
country=US/state=AK

查看分区数据所在的路径

hive> DESCRIBE EXTENDED log_messages PARTITION (year=2012, month=1, day=2);

将配置属性fs.trash.interval的值设置为一个合理的正整数即可(如果设置值为1440，那么就表示是24小时)，这个值是“回收站检查点”间的时间间隔，如果不小心删除了一张存储着重要数据的管理表的话，那么可以先重建表，然后重建所需要的分区，再从.Trash目录中将误删的文件移动到正确的文件目录下（使用文件系统命令）来重新存储数据。
修改表结构使用ALTER关键字，修改表结构只会修改元数据。

# 重命名
hive> ALTER TABLE log_messages RENAME TO logmsgs;

# 增加、修改和删除表分区
hive> ALTER TABLE log_messages ADD IF NOT EXISTS
PARTITION (year = 2011, month = 1, day = 1) LOCATION '/logs/2011/01/01'

hive> ALTER TABLE log_messages PARTITION(year = 2011, month = 12, day = 2)
SET LOCATION 's3n://ourbucket/logs/2011/01/02';

hive> ALTER TABLE log_messages DROP IF EXISTS PARTITION(year = 2011, month = 12, day = 2);

# 修改列信息（单列）
hive (default)> desc test;
first                   string
second                  string

hive (default)> alter table test change (columns) first one int after second;    # columns关键字可选
OK    # 若使用first，则后面不用跟列名，此操作将目标列提至第一列

hive (default)> desc test;
second                  string
one                     int

# 增加列
hive (default)> desc test;
one                     int
two                     int

hive (default)> alter table test add columns(three int,forth int);
OK    # 此columns不可省略

hive (default)> desc test;
one                     int
two                     int
three                   int
forth                   int

# 删除或替换列
hive (default)> desc test;
one                     int
two                     int
three                   int
forth                   int

hive (default)> alter table test replace columns(first string,second string,thrid string);
OK

hive (default)> desc test;
first                   string
second                  string
thrid                   string

# 修改表属性
hive> ALTER TABLE log_messages SET TBLPROPERTIES (
　'notes' = 'The process id is no longer captured; this column is always NULL');

ALTER TABLE … ARCHIVE PARTITION语句会将这个分区内的文件打成一个Hadoop压缩包（HAR）文件。但是这样仅仅可以降低文件系统中的文件数以及减轻NameNode的压力，而不会减少任何的存储空间，使用UNARCHIVE替换ARCHIVE就可以反向操作

hive> ALTER TABLE log_messages ARCHIVE
PARTITION(year = 2012, month = 1, day = 1);

下面的语句可以分别防止分区被删除和被查询，使用ENABLE替换DISABLE可以达到反向操作的目的。这些操作也都不可用于非分区表

ALTER TABLE log_messages
PARTITION(year = 2012, month = 1, day = 1) ENABLE NO_DROP;

ALTER TABLE log_messages
PARTITION(year = 2012, month = 1, day = 1) ENABLE OFFLINE;

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。