bz2 hadoop 文件查看 hadoop查看文件位置

1.hdfs 文件系统存放文件的路径 – bd2

/home/hadoop/hdpdata/dfs/data/current/BP-2090395161-127.0.0.1-1538498248563/current/finalized

上面这个路径是对于 data node 的机器而言,而对于name node 则不是这个样子的:

上面data node 的文件存放的位置,是不能直接往这个位置放文件的,应该通过界面(客户端)去存放文件.但是页面没有上传只有浏览

1.查看hdfs文件系统里面的所有的文件:

hadoop fs -ls /

2.从本地上传文件到hadoop的hdfs文件系统

hadoop fs -put a.txt /

文件上传之后,可以使用hadoop命令查看,你会发现每一台hadoop集群的机器中,都有a.txt文件,并且可以使用网页进行查看.

3.查看hdfs文件系统里面的文件:

hadoop fs -cat /a.txt

这个a.txt会存放在hadoop的文件系统中,在某些hdpdata里面会有这个文件那

我当时是在 bd2上面上传的这个a.txt这个文件,但是只有在bd2根bd4上面才会有这个文件的存储:

bd1:

bd4:

.meta 文件存的是文件的描述信息

这个blk_1073741825文件就是a.txt的文件

默认这个文件是达到128M才会被切分.

测试:将hadoop压缩包上传:

ll -h       可以以可读的形式显示文件的大小

hadoop fs -put cenos-6.5-hadoop-2.6.4.tar.gz /

在bd2上查看:

在bd3上查看:

在bd4上查看:

超过128M会被切分,然后会被备份成2份

被拆分的文件还是可以被连接起来的,连接起来还是可以正常使用的.

对这个tmp.file文件进行解压:

4.从hdfs文件系统上下载文件

hadoop fs -get /cenos-6.5-hadoop-2.6.4.tar.gz

之前上传到hdfs文件系统的文件是被分成两块的,下载的时候,文件系统就是上传之前的完整的文件,而不是切分之后的文件.