shell安装docker脚本 shell脚本一键安装hadoop

文章目录

• 1、事前准备 资源下载
• 2、准备好虚拟机，安装JDK
• 3、安装hadoop

• 启动hadoop

1、事前准备 资源下载

提取码: tw6j

2、准备好虚拟机，安装JDK

创建虚拟机

创建完虚拟机之后
可以使用first.sh脚本执行一些基本设置

#!/bin/bash
#创建虚拟机之后需要做的一些事情
#关防火墙
systemctl stop firewalld
systemctl disable firewalld
#修改主机名（根据自己需要修改）
hostnamectl set-hostname hadoop1
#修改主机列表
echo 192.168.17.101 hadoop1 >> /etc/hosts
#免密
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
#看防火墙状态
echo "-----防火墙状态-----"
systemctl status firewalld

安装类型的shell脚本基本都会修改配置文件，所以是用完成之后，最好立即删除，以免以后误操作，造成不必要的麻烦

/shell目录下

rm -rf first.sh

虚拟机安装完成之后 进入操作界面
创建一个用来放shell脚本的目录
mkdir /shell 创建一个用来放安装包的目录
mkdir /software 将安装包与脚本分别拖入
在shell目录下 给脚本赋权
cd /shellchmod 777 jdk.sh 执行脚本
./jdk.sh

#!/bin/bash
#安装JDK

#解压（这里安装包需要在/software目录下，不然会报错）
tar -zxvf  /software/jdk-8u221-linux-x64.tar.gz -C /opt/
#改名
mv /opt/jdk1.8.0_221 /opt/jdk8
#修改配置文件
echo 'export JAVA_HOME=/opt/jdk8' >> /etc/profile
echo 'export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jar' >> /etc/profile
echo 'export JRE_HOME=$JAVA_HOME/jre' >> /etc/profile
echo 'export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin' >> /etc/profile
#刷新配置文件
source /etc/profile

#查看java版本（成功出现java版本表示jdk安装成功）
java -version

rm -rf jdk.sh

3、安装hadoop

首先确认安装包和conf文件夹（放的是写好的配置文件的模板）都放到/software目录下，
cd /software/conf 查看所有配置文件，根据自己的机器ip进行修改
这里有一点需要提醒大家，我的配置文件都是修改好格式为“Unix”的，如果之后想要自己写一些配置文件修改的，请一定要注意配置文件的格式，推荐使用Notepad文件编辑器修改

准备好之后将脚本‘oneHadoop.sh’拖入shell

cd /shellchmod 777 oneHadoop

./oneHadoop

#!/bin/bash
#单机hadoop安装
#解压
tar -zxvf  /software/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/
tar -zxvf  /software/zookeeper-3.4.6.tar.gz -C /opt/
tar -xvf /software/hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6.0-cdh5.14.2/lib/native/
cp /opt/hadoop-2.6.0-cdh5.14.2/lib/native/libh* /opt/hadoop-2.6.0-cdh5.14.2/lib/
#改名
mv /opt/hadoop-2.6.0-cdh5.14.2 /opt/hadoop
#修改环境变量(如果和我步骤相同 不用修改)
echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile
echo 'export HADOOP_MAPRED_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_COMMON_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_HDFS_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export YARN_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native' >> /etc/profile
echo 'export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile
#刷新环境变量
source /etc/profile
#修改配置文件
sed -i  '25s/\${JAVA_HOME}/\/opt\/jdk8/' /opt/hadoop/etc/hadoop/hadoop-env.sh
#替换配置文件    执行之前先保证conf文件拖入software
cat /software/conf/core-site.xml > /opt/hadoop/etc/hadoop/core-site.xml
cat /software/conf/hdfs-site.xml > /opt/hadoop/etc/hadoop/hdfs-site.xml
mv /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
cat /software/conf/mapred-site.xml > /opt/hadoop/etc/hadoop/mapred-site.xml
cat /software/conf/yarn-site.xml > /opt/hadoop/etc/hadoop/yarn-site.xml

source /etc/profile

hadoop version

出现hadoop版本表示安装成功

rm -rf oneHadoop.sh

启动hadoop

start-all.sh 如果提示找不到命令就刷新一下配置文件

打开浏览器

192.168.17.101:50070

成功