hadoop 2和3 的区别

1.Hadoop与HBase版本对应关系

在安装Hadoop和HBase时需要适配合适的版本，根据HBase的版本选择相应的Hadoop版本。Hadoop和HBase不同适配版本如下图：

或可访问官网，找到Hadoop version support matrix的地方即可查到上面列表

更多详情访问官网

2.安装Hadoop

确定好Hadoop版本后先下载

2.1.下载Hadoop

直接访问官网
Hadoop下载地址

2.2.配置环境变量

将下载的压缩包解压到其他盘，在环境变量中配置好Hadoop的环境变量，新建HADOOP_HOME，如下

在Path中增加%HADOOP_HOME%\bin

另外Hadoop在启动时需要依赖JDK，建议将Hadoop与JDK安装在同一个目录下

2.3.修改配置文件

在hadoop-3.2.2目录下新建data和tmp两个文件夹，在data目录下新建datanode、namenode、snn三个文件夹。打开hadoop-3.2.2\etc\hadoop目录，修改配置文件
core-site.xml文件

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

hdfs-site.xml文件

<configuration>
	<!-- 单机版配置为1 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/D:/Java/hadoop-3.2.2/data/namenode</value>
	</property>
	<property>
		<name>fs.checkpoint.dir</name>
		<value>file:/D:/Java/hadoop-3.2.2/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>file:/D:/Java/hadoop-3.2.2/data/snn</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/D:/Java/hadoop-3.2.2/data/datanode</value>
	</property>
</configuration>

mapred-site.xml文件

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

yarn-site.xml文件

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/D:/Java/hadoop-3.2.2/tmp</value>
	</property>
</configuration>

2.4.添加动态库

在hadoop-3.2.2/bin目录下添加hadoop.dll和winutils.exe文件，可以从https://github.com/cdarlint/winutils和https://github.com/steveloughran/winutils获取对应版本的文件。

2.5.验证

以管理员身份打开命令提示符

执行hadoop version查看hadoop是否安装/配置成功，如下图：

执行hdfs namenode -format验证配置文件是否修改成功

看到successfully，说明format成功

2.5.启动

在sbin目录下，以管理员身份运行start-all.cmd

会弹出四个窗口，如下图所示：

浏览器中输入地址：http://localhost:8088/

输入地址：http://localhost:9870/

3.安装HBase

确定HBase版本后下载

3.1.下载HBase

直接访问官网HBase下载地址

3.2.修改配置文件

在hbase-2.3.5目录下，新建tmp和zoo文件夹。打开hbase-2.3.5\conf目录，修改配置文件
hbase-env.cmd文件

set JAVA_HOME=D:\Java\jdk1.8.0_291
set HBASE_CLASSPATH=D:\Java\hbase-2.3.5\conf
set HBASE_MANAGES_ZK=false

hbase-site.xml文件

<property>
	<name>hbase.rootdir</name>
	<value>hdfs://127.0.0.1:9000/hbase</value>
</property>
<property>
	<name>hbase.tmp.dir</name>
	<value>D:/Java/hbase-2.3.5/tmp</value>
</property>
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>127.0.0.1</value>
</property>
<property>
	<name>hbase.zookeeper.property.dataDir</name>
	<value>D:/Java/hbase-2.3.5/zoo</value>
</property>
<property>
	<name>hbase.cluster.distributed</name>
	<value>false</value>
</property>
<property>
	<name>hbase.unsafe.stream.capability.enforce</name>
	<value>flase</value>
</property>

注意：hbase.rootdir中value值为hadoop中的地址

3.3.启动HBase

启动HBase前，先启动Hadoop和Zookeeper

以管理员权限执行hbase-2.3.5\bin目录下start-hbase.cmd文件，如下图：

无报错，即启动正常

3.4验证

以管理员权限打开命令提示符窗口，在hbase-2.3.5\bin目录下执行hbase shell，进入shell命令界面，如下图：

注意：在执行hbase shell之前，先在hbase-2.3.5\lib目录下加入jansi.jar包，否则会报错Could not initialize class org.fusesource.jansi.internal.Kernel32。

至此Hadoop和HBase环境搭建完成，就可以操作HBase了