主要过程有：
一、安装前的准备：
先将26作为主节点搭建环境。以下目录都基于/home/hml/xtu1/。
192.168.1.126 master
192.168.1.123 slave1
1. 环境：
Ubuntu 17.0
JDK1.8.0_161
Scala-2.11.8
Hadoop-2.7.4
Spark-2.2.1-bin-hadoop2.7
2. 安装vim编辑器（dmdb-26）
3. 安装SSH，配置SSH免密码登录
4. Ubuntu下设置静态IP
5. 本机电脑安装好xshell和xftp
二、安装过程：
1. JDK的安装与配置
2. Scale的安装与配置
3. Hadoop的安装与配置
4. Spark的安装与配置
实验步骤记录：
0. 修改主机名和添加主机IP与主机名映射
1） 将之前的修改为dmdb-26:
$sudo vim /etc/hostname
2） 修改127.0.0.1后面的主机名：
$sudo vim /etc/hosts
3）添加映射，在后面添加： $sudo vim /etc/hosts
192.168.1.126 dmdb-26
192.168.1.123 dmdb-23 （slave1）
1. 安装SSH，配置SSH免密码登录
进入主目录/home/hml
1） 查看是否安装了SSH:
$sudo ps -e |grep ssh
2） 进入root目录：
$cd /home/hml
3） $sudo apt-get update
4） 客户端和服务端都安装：
$sudo apt-get install openssh-server
5） 测试是否可以登录：
$ssh –l dmdb 192.168.1.126
6） 开始配置免密码登录：
$cd /home/hml/
$ssh-keygen -t rsa -P ""
7） 将公钥追加到authorized_keys 文件中:
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
8） 赋予authorized_keys 文件权限:
$chmod600 .ssh/authorized_keys
9） 验证免密码登录：
$ssh localhost
2. Ubuntu下设置静态IP
1） 查看网卡名称，知道dmdb-26网卡为enp9s0f0
$ifconfig
2） 查看默认网关地址，192.168.1.1
$route
3） 在下面文件中注释掉之前的配置，并添加以下内容：
$vim /etc/network/interfaces
4） 重启使静态IP设置生效。
3. JDK的安装与配置
1）卸载jdk：$rpm -e jdk （强制卸载：rpm -e –nodepsjdk）
sudo apt-get remove openjdk
2）进入路径：$cd /home/hml/xtu1（创建目录：$sudo mkdir /usr/lib/jvm）
3）解压：$sudo tar -xzf jdk-8u161-linux-x64.tar.gz
其他格式的解压命令：
tar:tar –xvf
gz:gzip -d /gunzip
tar.gz和tgz: tar -xzf
4）修改配置文件：$sudo vim /etc/profile
添加：
exportJAVA_HOME=/home/hml//xtu1/jdk1.8.0_161
exportJRE_HOME=/home/hml/xtu1/jdk1.8.0_161/jre
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5）使配置文件生效：$source /etc/profile
6）验证：$java -version
4.Scala的安装与配置
Scala安装过程与JDK类似。
1）创建目录：sudo mkdir /home/hml/xtu1/scala
2）解压到目录/home/hml/xtu1/scala ：
$sudo tar -xzf scala-2.11.8.tgz -C/home/hml/xtu1/scala3）环境变量的配置如下：
$sudo vim /etc/profile添加：
exportSCALA_HOME=/home/hml/xtu1/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin4）最后使环境变量生效:
$source/etc/profile
5.hadoop的安装与配置
1.解压到/home/hml/xtu1/:
$sudo tar -xzf hadoop-2.7.4.tar.gz-C /home/hml/xtu12.配置环境变量
$ sudo vim /etc/profile添加：
exportHADOOP_HOME=/home/hml/xtu1/hadoop-2.7.4
exportPATH=$PATH:$HADOOP_HOME/bin
exportPATH=$PATH:$HADOOP_HOME/sbin
exportHADOOP_MAPRED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportHADOOP_YARN_HOME=${HADOOP_HOME}3.使环境变量生效：$ source /etc/profile
4. 在/home/hml/xtu1/hadoop目录中创建几个文件夹：
$cd /usr/local/hadoop
/usr/local/hadoop$mkdir tmp
/usr/local/hadoop$mkdir tmp/dfs
/usr/local/hadoop$mkdir tmp/dfs/data
/usr/local/hadoop$mkdir tmp/dfs/name
/usr/local/hadoop$sudo chown hadoop:hadoop tmp
5.进入目录/home/hml/xtu1/hadoop-2.7.4/etc/hadoop/，在该目录下配置7个文件：hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，yarn-env.sh，slaves，masters。参照各文件的xxx.xml.template(对应的模板）修改。
（1）hadoop-env.sh
exportJAVA_HOME=/home/hml/xtu1/jdk1.8.0_161
（2）core-site.xml
（3）hdfs-site.xml
（4）mapred-site.xml
（5）yarn-site.xml
（6）slaves：$sudo vim slaves
将localhost去掉，加上dmdb-23等子节点，一行一个。
（7）masters：sudo vim masters
写上主节点dmdb-26。
（8）验证hadoop安装好：
1）第一次启动Hadoop需要初始化，切换到/home/hml/xtu1/hadoop-2.7.4/bin目录下输入：$hadoop namenode -format
2）切换到/home/hml//xtu1/hadoop-2.7.4/sbin目录，启动HDFS输入:
$start-dfs.sh
(这里还没有配置dmdb-23,所以这里显示找不到)
3）启动YARN,输入:$start-yarn.sh
6.spark的安装与配置
1. 进入目录：$cd /home/hml/xtu1
2. 解压到目录/home/hml/xtu1/spark-2.2.1-bin-hadoop2.7
$sudo tar -xzf spark-2.2.1-bin-hadoop2.7.tgz -C/home/hml/xtu13. 配置环境变量
$ sudo vi /etc/profile
配置如下：
export SPARK_HOME=/home/hml//xtu1/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin4. 使变量生效：$ source /etc/profile
5. 进入spark-2.2.1-bin-hadoop2.7/conf/目录，编辑两个文件：spark-env.sh，slaves
1）$ sudo vim /conf/spark-env.sh
2）$ vim slaves
增加所有的子节点主机名，dmdb-23，一行一个
6. 在spark-1.1.0/sbin/目录下启动spark集群（仅在master结点）
$ start-all.sh
7.将spark master节点环境复制到其他slave节点
