hadoop mac 下载安装

原创

mob649e815b5994 2025-01-06 04:57:06 ©著作权

文章标签 Hadoop bash hadoop 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者mob649e815b5994的原创作品，请联系作者获取转载授权，否则将追究法律责任

在Mac上下载安装Hadoop的全面指南

Hadoop是一个开源的分布式计算框架，广泛用于存储和处理大规模的数据集。随着大数据技术的不断发展，Hadoop越来越被企业和开发者所重视。本文将介绍如何在Mac上下载安装Hadoop，并提供相应的代码示例。

一、准备工作

在开始之前，你需要确保你的Mac上已安装以下工具和软件：

Java Development Kit (JDK)：Hadoop是用Java编写的，因此需要先安装JDK。可以通过命令行检查Java版本：
```
java -version
```
如果没有安装，可以通过Homebrew进行安装：
```
brew install openjdk@17
```
安装完成后，确保JAVA_HOME环境变量已设置。在终端中添加以下命令：
```
echo 'export JAVA_HOME="$(/usr/libexec/java_home -v 17)"' >> ~/.bash_profile
source ~/.bash_profile
```
Hadoop二进制文件：我们将从Apache官网上下载Hadoop的二进制文件。

二、下载安装Hadoop

下载Hadoop

访问 [Apache Hadoop Releases]( 页面，下载最新版本的Hadoop压缩包。假设我们下载的是 hadoop-3.3.4.tar.gz。

你也可以使用以下命令下载：
```
wget 
```
解压Hadoop

下载完成后，使用以下命令解压文件：
```
tar -xzf hadoop-3.3.4.tar.gz
```
移动Hadoop目录

我们将Hadoop移动到 /usr/local/hadoop 目录下：
```
sudo mv hadoop-3.3.4 /usr/local/hadoop
```
配置Hadoop环境变量

打开 .bash_profile 文件，添加Hadoop相关的环境变量：
```
nano ~/.bash_profile
```
在文件末尾添加以下内容：
```
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
```
保存并退出后，运行以下命令使配置生效：
```
source ~/.bash_profile
```

三、Hadoop的基本使用

创建Hadoop目录结构

在Hadoop中，文件存储在HDFS（Hadoop Distributed File System）中。我们需要创建一些目录：

hdfs namenode -format
start-dfs.sh

代码示例

我们将使用Hadoop Shell命令创建一个HDFS上的目录并上传文件。

首先，创建一个HDFS目录：

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/myuser

接下来，上传一个本地文件到HDFS：

hdfs dfs -put /path/to/local/file.txt /user/myuser/

类图示例

为了更好地理解Hadoop的组件，我们可以使用类图来表示Hadoop的基本组件关系。

classDiagram
    class Hadoop {
        +start()
        +stop()
    }
    class Namenode {
        +format()
    }
    class Datanode {
        +storeData()
    }
    class HDFS {
        +createFile()
        +readFile()
    }
    
    Hadoop --> Namenode
    Namenode --> Datanode
    HDFS --> Namenode

四、状态图示例

Hadoop在运行时的状态转换可以通过状态图来表示。

stateDiagram
    [*] --> Idle
    Idle --> Processing : startJob()
    Processing --> Waiting : waitForResources()
    Waiting --> Processing : resourcesAvailable()
    Processing --> Completed : jobDone()
    Completed --> Idle : reset()