阿里云容器镜像服务使用文档

原创

wx61b85fc50cb72 2022-10-20 09:53:40 ©著作权

©著作权归作者所有：来自51CTO博客作者wx61b85fc50cb72的原创作品，请联系作者获取转载授权，否则将追究法律责任

版本介绍

版本	说明
hadoop-1.3	Hadoop单机镜像，快速搭建一套Hadoop单机环境，亦可起多个容器稍作修改配置高可用集群
hadoop-1.4	以hadoop单机环境为基础镜像，安装了Hive数据仓库，并适配了Iceberg，开箱即用
hadoop-1.5	以hadoop单机环境为基础镜像，安装了Spark框架，开箱即用

hadoop-1.3版本要做以下步骤

Windows主机需要做以下步骤：

配置hosts文件映射并刷新 ipconfig /flushdns

192.168.195.128（CentOS宿主机IP）    hadoop

CentOS宿主机需要做以下步骤：

安装docker环境

拉取镜像

- -  yum install -y docker
  -  docker --version
  -  vim /etc/docker/daemon.json
  -  {"registry-mirrors": ["https://d8b3zdiw.mirror.aliyuncs.com"]}
  -  systemctl  restart docker
  - docker pull 675361896/hadoop:tagname

运行镜像

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 --name hadoop --user root  921cad23e02d /usr/sbin/init

进入镜像后的操作

- source /etc/profile
- /usr/local/hadoop-3.2.4/sbin/start-all.sh

Web 端查看 HDFS 的 NameNode：http://CentOS宿主机IP:9870

Web 端查看 YARN 的 ResourceManager：http://CentOS宿主机IP:8088

hadoop-1.4版本要做以下步骤

1，重复hadoop-1.3的步骤
启动容器增加暴露Hive相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 --name iceberg --user root  921cad23e02d /usr/sbin/init

2，开启hive服务

# 启动hive的元数据服务
./hive --service metastore &
# 启动server
./hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000 &
# 初始化元数据
schematool --initSchema -dbType derby
# 连接hive服务
./beeline -u jdbc:hive2://hadoop:10000 -n root

Web 端查看 Hive 的 Home页面：http://CentOS宿主机IP:10002

hadoop-1.5版本要做以下步骤

1，重复hadoop-1.3的步骤

启动容器增加暴露Spark相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 -p4040:4040 --name iceberg --user root  921cad23e02d /usr/sbin/init

2，启动pyspark服务