cdh和hdfs关系 hdfs crc

转载

mob64ca140e4022 2024-02-20 18:39:15

文章标签 cdh和hdfs关系 hdfs 递归 xml 文章分类 架构后端开发

ls
格式：hdfs dfs -ls URI
作用：类似于linux的ls命令，显示文件列表
lsr
格式：hdfs dfs -lsr URI
作用：在整个目录下递归执行ls
mkdir
格式：hdfs dfs 【-p】 -mkdir <path>
作用：以《path》中的URI作为参数，创建目录，使用-p参数可以递归创建目录
put
格式： hdfs dfs -put <localsrc> <dst>
作用：将单个的源文件src或者多个源文srcs从本地文件系统拷贝到目标文件系统对应的路径<dst 对应的路径>
例： hdfs dfs -put /root/a.txt /dir1

moveFromLocal
格式：hdfs dfs -moveFromLocal <localsrc> <dst>
作用：和put 命令类似，但是源文件localsrc拷贝之后自身被删除
hdfs dfs -moveFromLocal /root/install.log /

get
格式： hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
作用：将文件拷贝到文件系统，CRC校验失败的文件通过-ignorecrc选项拷贝。文件和CRC
校验和可以通过-CRC选项拷贝
hdfs dfs -get /a.txt /export/servers

mv
格式：hdfs dfs -mv URI <dest>
作用：将hdfs上的文件从原路径移动到目标路径（移动之后文件删除），该命令不能跨文件系统
hdfs dfs -mv /dir/a.txt /dir2

rm
格式：hdfs dfs -rm [-r] [-skipTrash] URI [URI......]
作用：删除参数指定文件，参数可以有多个。此命令只删除文件和非空目录。
如果指定-skipTrash 选项，那么在回收站可用的情况下，改选项将跳过回收站而直接删除文件；
否则在回收站可用时，在HDFS Shell 中执行此命令，会将文件暂时放到回收站中。
hdfs dfs -rm -r /dir1

cp
格式： hdfs dfs -cp URI [URI......] <dest>
作用：将文件拷贝到目标路径中，如果<dest> 为目录的话，可以将多个文件拷贝到该目录下。
-f 选项将覆盖目标，如果它已经存在
-p 选项将保留文件属性
hdfs dfs -cp /dir1/a.txt /dir2/b.txt

cat
hdfs dfs -cat URI [URi....]
作用：将参数所指示的文件内容输出到stdout
hdfs dfs -cat /a.txt

chmod
格式： hdfs dfs -chmod 【-R】 URI 【URI.....】
作用：改变文件权限，如果使用 -R 选项，则对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户，或者是超级用户
hdfs dfs -chmod -R 777 /a.txt
chown
格式： hdfs dfs -chmod [-R] URI 【URI....】
作用：改变文件的所属用户和用户组。如果使用 -R 选项，则对整个目录有效递归执行。使用这个一命令的用户必须是文件所属用户
或者是超级用户。
hdfs dfs -chown -R hadoop:hadoop /a.txt