hadoop遍历目录 java hadoop java_home is not set

转载

互联网小思悟 2023-07-13 16:47:12

文章标签 hadoop遍历目录 java Hadoop hdfs xml 文章分类 Hadoop 大数据

安装Hadoop时出现的问题

1、安装Java环境手动下载
文件夹的格式不正确 apt-get的文件被占用
2、解压Hadoop安装包到下载路径下 —— **路径不够详细准确

路径是相对路径不是绝对路径

3、Hadoop伪分布式配置打开core-site.xml和hdfs-site.xml使用gedit的方式权限不够

应该使用vim的方式打开

4、配置的时候出现 error：Java-HOME is not set and could not be found. Java-HOME的变量配置未完善。

在.bashrc中更改

5、安装完成后退出Hadoop后再输入jps只显示jps一行

hadoop遍历目录 java hadoop java_home is not set_xml

要重新打开运行启动Hadoop才可以 start-dfs.sh

6、启动Hadoop时，Java_HOME is not set

hadoop-env.sh文件，删除export前的“#”

Hbase安装时出现的问题

1、单机模式配置
配置JAVA环境变量，并添加配置HBASE_MANAGES_ZK为true。编辑hbase-env.sh时，直接复制教程上面的代码。由于我虚拟机的jdk版本是不一样的，所以造成了后续的问题。

修改回自己虚拟机的jdk版本

hadoop遍历目录 java hadoop java_home is not set_xml_02

2、启动关闭Hadoop和HBase的顺序：

启动Hadoop → 启动HBase → 关闭HBase → 关闭Hadoop

3、在这次操作中，由于我的虚拟机内存不够大，无法进行下去

从同学那里复制虚拟机过来

hdfs基本操作实验（shell模式）

1、使用了 hadoop dfs 的命令 ，

其作用等同于 hdfs dfs的命令

2、下载、创建、删除hdfs上的文件时，容易把hdfs上的目录同虚拟机上的目录搞混。

hadoop遍历目录 java hadoop java_home is not set_Hadoop_03

注意区分操作的作用、位置，在虚拟机内就本地 hdfs就用hdfs的目录

java api操作

1、在打包时，没有把类写完全，进行一个操作就需要打包上传一次。

把所有类写完一次性打包上传

2、class里面的文件路径不是自己随意编的

hadoop遍历目录 java hadoop java_home is not set_hadoop遍历目录 java_04

用在虚拟机里真实存在的路径

3、pom文件里的Hadoop、hbase、jdk的version必须与自己虚拟机配置相一致

hadoop遍历目录 java hadoop java_home is not set_xml_05

Hadoop集群的搭建

1、Hadoop02、Hadoop03由Hadoop01复制过来的

虚拟机里的主机名、DHCP、静态IP等都需要修改成各自的

2、配置集群环境时，修改配置salves

需要把它改成Hadoop02 、Hadoop03，而不是salve。
教程里的 salve是节点的主机名，不代表salve节点。

3、core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 配置里的“master”，由于教程里面的master节点的名字就叫master，所以使用的是master。这一点很容易被我们混淆，这个“master”应该是master节点的主机名。