搭建spark伪分布式集群伪分布式hadoop集群搭建过程

转载

时光机3号 2023-10-03 13:57:05

文章标签 搭建spark伪分布式集群 Hadoop hadoop hdfs 文章分类 Spark 大数据

我在后面学习Hive的时候，在最开始我的Hadoop集群搭建的有问题，所以我决定重头搭建，然后做出笔记。写了一些自己遇到的坑，这里来把这些坑给填上。

Hadoop基本安装配置主要包括以下5个步骤。
（1）创建Hadoop用户
（2）安装Java
（3）设置SSH登录权限
（4）单机安装配置
（5）伪分布式安装配置
我使用的操作系统是Ubuntu14.4，Hadoop版本为2.7.3

第一步，先安装一个Linux系统，创建Hadoop用户

我用的是VMware虚拟机，我大学生涯就用了这一个虚拟机，感觉短小精悍功能强大。
我选择的是Ubuntu系统，因为我感觉Ubuntu的系统用起来比较舒服，并且遇到问题在网络上写Ubuntu的解决方案也比较多，推荐使用Ubuntu。

这里我就完成了第一步的操作
在创建虚拟机的过程中我就建立了一个Hadoop用户，为了规范，在使用Linux系统对于用户比较敏感，因为Linux是多用户的。尽量养成一种好的习惯，名字为Hadoop用户那么这个用户就是关于Hadoop的。

第二步，安装Java

我以为是新装的Ubuntu不能连接FileZilla，需要下载ssh

安装ssh

sudo apt-get install openssh-server

安装完后查看ssh server是否启动

sudo /etc/init.d/ssh status

如果没有启动，使用一下命令启动：

sudo /etc/init.d/ssh start

根据ifconfig查看IP，用FileZilla连接，使用非常简单一看就会。
网上下载一个JDK-linux版本的

这里遇到了一个坑，一定要注意和自己Linux位数相同的看好自己的是32位还是64位，我下的12.0.1版本的JDK

这里一定不要下高版本的JDK，我在后面的Hive数据仓库安装的时候出现了问题，最后我改成改了1.8版本的。

sudo uname --m

之后就是JDK的配置问题，网络有有好多的配置方法可以参考

特别注意：在配置环境变量的时候
sudo gedit ~/.bashrc #这里配置是给当前用户配置的环境变量，如果用的prefile配置则不考虑用户的问题，特别注意

第三步，SSH登录权限设置，设置无密码登录

$ sudo apt-get install openssh-server   #安装SSH server
$ ssh localhost                         #登陆SSH，第一次登陆输入yes
$ exit                                  #退出登录的ssh localhost
$ cd ~/.ssh/                            #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa

其中，第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于下图所示的输出，即成功：

之后再输入

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost                         #此时已不需密码即可登录localhost

第四步，单机安装Hadoop

我安装的Hadoop版本为2.7.3，下载地址为http://hadoop.apache.org/releases.html#Download

在目录中选择hadoop-2.7.3.tar.gz进行下载就行了

我是放在了/usr/local/haddoop文件夹下，注意这里一定要改这个文件夹的权限

sudo chown -R hadoop ./hadoop                        #修改文件权限

然后给hadoop配置环境变量，在当前用户下配置

gedit ~/.bashrc

添加如下代码：

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3  #这里的路径为你安装hadoop的文件夹
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：一定要看好自己装的文件夹，别把Hadoop的上级文件放上去。就是在这个目录下一级是如下图所示：

在使用source ~/.bashrc命令出现如下图，证明你迈出了第一步，安装好了Hadoop但是没有集群的搭建，不要放弃，也不要觉得配置完了

接下来才是更大的难题，更容易出错的地方

第五步，Hadoop伪分布式安装

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.7的路径添（export JAVA_HOME=/usr/lib/jvm/java ）加到hadoop-env.sh文件

配置hadoop-env.sh文件，在hadoop安装目录下的/etc/hadoop/

gedit hadoop-env.sh

修改第27行

export JAVA_HOME=你的JDK路径

接下来修改core-site.xml文件:

<configuration>
 <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/hadoop-2.7.3/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

还要特别注意这里面的路径都要写你安装hadoop的路径，千万别错了。后面出问题找很麻烦
这里要注意要创建一个tmp的文件夹，防止以后有问题出现

然后配置hdfs-site.xml文件

<configuration>
<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/hadoop-2.7.3/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/hadoop-2.7.3/tmp/dfs/data</value>
        </property>
</configuration>

注意：这里的路径也是安装路径

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（可参考官方教程），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

配置完成后，执行 NameNode 的格式化