将自己工作中常用的Hadoop命令整理如下:
1. 查看hadoop文件
hadoop fs -ls /
2. 新建文件夹
hadoop dfs -mkdir /input
3. 上传本地文件
终端输入: vim test1.txt
键入内容保存:wq
终端输入:
hadoop fs -put ./test 1.txt /input(上传到Hadoop的目标路径)
hadoop fs –copyFromLocal <localsrc> … <dst>:等价于-put。
hadoop fs –moveFromLocal <localsrc> … <dst>:等同于-put,只不过源文件在拷贝后被删除。
4. 查看文件内容
hadoop fs –cat <src>
如:
hadoop fs -ls /input
hadoop fs -cat /input/test1.txt
5. 运行自带的hadoop-mapreduce-example-2.7.4.jar
6. 运行 hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output
7.删除生成的output 文件夹
删除 :hadoop fs -rm -r /output
8. 修改文件夹权限
hadoop fs -chmod 777 /output
9.将指定格式的文件 move到指定的目标位置。当src为多个文件时,dst必须是个目录。
hadoop fs –mv <src> <dst>
10.拷贝文件到目标位置,当src为多个文件时,dst必须是个目录
hadoop fs –cp <src> <dst>
11.删除匹配pattern的指定文件,等价于unix下的rm <src>
hadoop fs –rm [-skipTrash] <src>:
12.从DFS拷贝文件到本地文件系统,文件匹配pattern,若是多个文件,则dst必须是目录
hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>
hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>:等价于-get
13.从DFS拷贝多个文件、合并排序为一个文件到本地文件系统
hadoop fs –getmerge <src> <localdst>
14.修改文件的权限
-R标记递归修改。MODE为a+r,g-w,+rwx等,OCTALMODE为755这样
hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…
15.计数文件个数及所占空间的详情
hadoop fs –count[-q] <path>