helm单节点部署 kafka

转载

mob64ca140e4022 2024-07-26 11:02:16

文章标签 helm单节点部署 kafka hadoop 守护进程 hdfs 文章分类 架构后端开发

Hadoop官方文档 — 设置单节点集群

目标

本文档介绍如何设置和配置单节点hadoop的安装，以便您可以使用hadoop mapreduce和hadoop分布式文件系统（hdfs）快速执行简单的操作。

准备工作

支持平台

gnu / linux被支持作为开发和生产平台。hadoop已经在具有2000个节点的gnu / linux集群上进行了演示。
Windows也是一个受支持的平台，但以下步骤仅适用于Linux。在windows上设置hadoop，请参阅wiki页面。

需要的软件

系统必须安装Java。HadoopJavaVersion描述了推荐的Java版本
如果要使用可选的启动和停止脚本，则必须安装ssh，并且必须运行sshd才能使用管理远程hadoop守护进程的hadoop脚本。此外，建议安装pdsh以获得更好的ssh资源管理。

安装软件

如果你的集群没有以上必须的软件，那么你应该先安装。在ubuntu中可以使用以下方式安装：

sudo apt-get install ssh
sudo apt-get install pdsh

下载

要获得hadoop发行版，请从apache下载镜像下载最近的稳定发行版

启动hadoop集群前的准备工作

解压下载的hadoop二进制压缩包。编辑etc/hadoop/，定义以下参数：

# 设置你的Java安装路径(JAVA_HOME)，这里我以我自己的系统为例
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_152

尝试运行以下命令：

bin/hadoop

这个命令会显示hadoop脚本的使用文档。

现在你可以通过以下三种模式启动你的hadoop集群：

本地（单机）模式
伪分布式模式
完全分布式模式

单机操作

默认情况下，hadoop被设置为以Java单进程的形式运行在非分布式模式下。这有助于我们进行调试。

以下示例将我们解压缩的conf目录复制作为输入，然后在里面查找并显示给定正则表达式的每个匹配项。输出被写入到给定的输出目录中。

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'
cat output/*

伪分布式操作

hadoop也可以在伪分布式模式下的单个节点上运行，其中每个hadoop守护进程都在独立的java进程中运行。

配置

使用以下配置：

etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

设置不需要密码的ssh

现在检查你能不能不使用密码就通过ssh登录到localhost：

ssh localhost

如果你不能不使用密码就登录到localhost，执行以下命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

执行

以下说明是在本地运行mapreduce作业。如果您想要在YARN上执行作业，请参考YARN on Single Node。

格式化文件系统

bin/hdfs namenode -format

启动NameNode守护进程和DataNode守护进程

sbin/

hadoop守护进程的日志被写入$HADOOP_LOG_DIR目录下。（默认为$HADOOP_HOME/logs）

浏览NameNode的web界面，默认为：

NameNode - http://localhost:9870/

创建执行MapReduce作业所需要的HDFS文件夹：

bin/hdfs dfs -mkdir /user

# 这里的username是你ssh登录时的文件名

bin/hdfs dfs -mkdir /user/<username>

复制输入文件到分布式文件系统

bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input

运行实例：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'

检查输出文件：将输出文件从分布式文件系统复制到本地并进行检查：

bin/hdfs dfs -get output output
cat output/*

或者，直接查看分布式文件系统上的输出文件：

bin/hdfs dfs -cat output/*

以上命令运行结束后，可执行下面的命令停止守护进程：

sbin/

在单节点上使用YARN

您可以通过设置几个参数并运行resourcemanager守护进程和nodemanager守护进程，以伪分布模式在YARN上运行mapreduce作业。

以下说明假设已经执行了上述指令的1〜4个步骤。

按照以下内容配置参数：
etc/hadoop/mapred-site.xml:

<configuration>
<property>
    <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

etc/hadoop/yarn-site.xml

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
    <name>yarn.nodemanager.env-whitelist</name>
       <value>JAVA_HOME, HADOOP_COMMON_HOME, HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
   </property>
</configuration>