hdfs的java操作 hdfs操作方法和基础编程

HDFS 操作

• 一、HDFS 概述
• 二、NmaeNode 与 DataNode
• 三、HDFS 的 Shell 操作
• 四、HDFS 客户端操作

一、HDFS 概述

  随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

  HDFS（Hadoop Distributed File System）是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

  HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

  HDFS优缺点：

  优点

  1.高容错性，数据自动保存多个副本，当某一副本宕机或丢失时，不影响文件的获取。

  2.适合处理大数据，处理数据级别在GB、TB甚至PB级别的数据。

  3.可以构建在廉价机器上，通过多副本机制，提高可靠性。

  缺点

  1.不适合低延迟数据访问，比如毫秒级别的存储数据，是做不到的。

  2.无法高效的对大量的小文件进行存储。大量小文件会大量消耗 NameNode 的内存来存储文件目录和块信息，这样是不可取的。另外小文件的寻址时间大于读取时间，违反了 HDFS 的设计初衷。

  3.不支持并发写入、文件随机修改。一个文件只能有一个线程写，不允许多个同时写，仅支持文件追加，不支持文件修改。

二、NmaeNode 与 DataNode

  HDFS 集群有两类节点以管理节点（NameNode）与工作节点（DataNode）模式运行，即一个 NameNode 和多个 DataNode。NameNode 管理文件系统的命名空间。它维护着文件系统树及整棵树内的所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。NameNode 也记录着每个文件中各个块所在的数据节点信息，但是它并不会永久保存块的位置信息，因为这些信息会在系统启动时根据数据节点信息重建。

  NmaeNode 是一个 Master 节点，主要负责如下功能：

  （1）管理 HDFS 的名称空间

  （2）配置副本策略

  （3）管理块（Block）映射信息

  （4）处理客户端读写请求。

  DataNode 就是 Slave，主要负责如下功能：

  （1）存储实际的数据块

  （2）定期上报健康状况和数据块信息

  （3）执行数据块的读写操作

  注意：HDFS 中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize）来规定，默认大小在 Hadoop2.x 版本中是 128 M，老版本中是64 M。如果 HDFS 的块设置太小，会增加寻址时间，程序一直在找块的开始位置；如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。 HDFS 块的大小设置主要取决于磁盘传输速率。

三、HDFS 的 Shell 操作

  1.HDFS 使用语法与 Linux 基本类似，只是基本语法都是以下面命令开头。

bin/hadoop fs

  2.命令大全

bin/hadoop fs

[-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

  3.常用命令实操
  （1）-help：输出这个命令参数

hadoop fs -help rm

  （2）-ls: 显示目录信息

hadoop fs -ls /

  （3）-mkdir：在 HDFS 上创建目录

hadoop fs -mkdir -p /sanguo/shuguo

  （4）-moveFromLocal：从本地剪切粘贴到HDFS

hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo

  （5）-appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

  （6）-cat：显示文件内容

hadoop fs -cat /sanguo/shuguo/kongming.txt

  （7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt

  （8）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

hadoop fs -copyFromLocal README.txt /

  （9）-copyToLocal：从HDFS拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

  （10）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

  （11）-mv：在HDFS目录中移动文件

hadoop fs -mv /zhuge.txt /sanguo/shuguo/

  （12）-get：等同于copyToLocal，就是从HDFS下载文件到本地

hadoop fs -get /sanguo/shuguo/kongming.txt ./

  （13）-getmerge：合并下载多个文件，比如HDFS的目录 /user/test下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/test/* ./zaiyiqi.txt

  （14）-put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/test/

  （15）-tail：显示一个文件的末尾

hadoop fs -tail /sanguo/shuguo/kongming.txt

  （16）-rm：删除文件或文件夹

hadoop fs -rm /user/test/jinlian2.txt

  （17）-rmdir：删除空目录

hadoop fs -mkdir /test 
hadoop fs -rmdir /test

  （18）-du统计文件夹的大小信息

hadoop fs -du -s -h /user/test
1.3 K  /user/test/README.txt 
15     /user/test/jinlian.txt 
1.4 K  /user/test/zaiyiqi.txt

  （19）-setrep：设置HDFS中文件的副本数量

hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

  注意：这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得看 DataNode 的数量。如果只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10 台时，副本数才能达到 10。

四、HDFS 客户端操作

  使用 idea 创建 maven 项目普通 java 项目，并加入以下依赖。

<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.8.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.7.2</version>
</dependency>

  在资源文件夹下加入 log4j.properties 方便程序在运行过程中日志打印。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

  创建 HdfsClient 类测试。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;

public class HdfsClient{

    public static void main(String[] args) throws Exception {
        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop131:9000"), configuration, "root");
        // 2 创建目录
        fs.mkdirs(new Path("/1108/daxian/banzhang"));
        // 3 关闭资源
        fs.close();
    }    
}

  注意：参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文件 >（3）然后是服务器的默认配置

  客户端代码设置副本数

configuration.set("dfs.replication", "2");

  将 hdfs-site.xml 拷贝到项目的资源目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  HDFS 文件下载

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");
		
    // 2 执行下载操作
    // boolean delSrc 指是否将原文件删除
    // Path src 指要下载的文件路径
    // Path dst 指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件校验
    fs.copyToLocalFile(false, new Path("/banzhang.txt"), new Path("e:/banhua.txt"), true);
		
    // 3 关闭资源
    fs.close();
}

  HDFS 文件夹删除

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");
		
    // 2 执行删除
    fs.delete(new Path("/0508/"), true);
		
    // 3 关闭资源
    fs.close();
}

  HDFS 文件名更改

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root"); 
		
    // 2 修改文件名称
    fs.rename(new Path("/banzhang.txt"), new Path("/banhua.txt"));
		
    // 3 关闭资源
    fs.close();
}

  HDFS 文件详情查看 查看文件名称、权限、长度、块信息

@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{

    // 1获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root"); 
		
    // 2 获取文件详情
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
		
    while(listFiles.hasNext()){
        LocatedFileStatus status = listFiles.next();
			
        // 输出详情
        // 文件名称
        System.out.println(status.getPath().getName());
    	// 长度
        System.out.println(status.getLen());
        // 权限
    	System.out.println(status.getPermission());
        // 分组
        System.out.println(status.getGroup());
			
        // 获取存储的块信息
        BlockLocation[] blockLocations = status.getBlockLocations();
			
        for (BlockLocation blockLocation : blockLocations) {
				
            // 获取块存储的主机节点
            String[] hosts = blockLocation.getHosts();
            for (String host : hosts) {
                System.out.println(host);
            }
        }
			
		System.out.println("-----------分割线----------");
    }

    // 3 关闭资源
    fs.close();
}

  HDFS 文件和文件夹判断

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
		
    // 1 获取文件配置信息
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");
		
    // 2 判断是文件还是文件夹
    FileStatus[] listStatus = fs.listStatus(new Path("/"));
		
    for (FileStatus fileStatus : listStatus) {
		
        // 如果是文件
        if (fileStatus.isFile()) {
            System.out.println("f:"+fileStatus.getPath().getName());
        }else {
            System.out.println("d:"+fileStatus.getPath().getName());
        }
    }
		
    // 3 关闭资源
    fs.close();
}

  把本地 e 盘上的 banhua.txt 文件上传到 HDFS 根目录

@Test
public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException {

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");

    // 2 创建输入流
    FileInputStream fis = new FileInputStream(new File("e:/banhua.txt"));

    // 3 获取输出流
    FSDataOutputStream fos = fs.create(new Path("/banhua.txt"));

    // 4 流对拷
    IOUtils.copyBytes(fis, fos, configuration);

    // 5 关闭资源
    IOUtils.closeStream(fos);
    IOUtils.closeStream(fis);
    fs.close();
}

  从HDFS 上下载 banhua.txt 文件到本地 e 盘上

@Test
public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");
		
    // 2 获取输入流
    FSDataInputStream fis = fs.open(new Path("/banhua.txt"));
		
    // 3 获取输出流
    FileOutputStream fos = new FileOutputStream(new File("e:/banhua.txt"));
		
    // 4 流的对拷
    IOUtils.copyBytes(fis, fos, configuration);
		
    // 5 关闭资源
    IOUtils.closeStream(fos);
    IOUtils.closeStream(fis);
    fs.close();
}

  分块读取 HDFS 上的大文件，比如根目录下的 hadoop-2.7.2.tar.gz

  下载第一块

@Test
public void readFileSeek1() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");

    // 2 获取输入流
    FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));

    // 3 创建输出流
    FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part1"));

    // 4 流的拷贝
    byte[] buf = new byte[1024];
    for(int i =0 ; i < 1024 * 128; i++){
        fis.read(buf);
        fos.write(buf);
    }
    // 5关闭资源
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    fs.close();
}

  下载第二块

@Test
public void readFileSeek2() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "root");
    // 2 打开输入流
    FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));
    // 3 定位输入数据位置
    fis.seek(1024*1024*128);
    // 4 创建输出流
    FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part2"));
    // 5 流的对拷
    IOUtils.copyBytes(fis, fos, configuration);
    // 6 关闭资源
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
}

  合并文件 在 Window 命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并

type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1

  合并完成后，将 hadoop-2.7.2.tar.gz.part1 重新命名为 hadoop-2.7.2.tar.gz。解压发现该 tar 包非常完整。