Hadoop配置变量 - CentOS

简介

Hadoop是一个开源的分布式计算框架，它被广泛应用于大数据处理和分析任务中。在CentOS操作系统中，我们可以通过配置一些环境变量来使用Hadoop。本文将介绍如何在CentOS中配置Hadoop环境变量，并提供相关的代码示例。

流程图

flowchart TD
    A[安装Hadoop] --> B[配置环境变量]
    B --> C[启动Hadoop]

状态图

stateDiagram
    [*] --> 安装Hadoop
    安装Hadoop --> 配置环境变量
    配置环境变量 --> 启动Hadoop
    启动Hadoop --> [*]

安装Hadoop

首先，我们需要在CentOS上安装Hadoop。以下是安装Hadoop的步骤：

  1. 下载Hadoop安装包

    wget

  2. 解压安装包

    tar -xvf hadoop-3.3.0.tar.gz

  3. 移动解压后的文件夹到指定目录

    mv hadoop-3.3.0 /usr/local/hadoop

配置环境变量

配置Hadoop环境变量是为了让系统能够找到Hadoop的安装路径。以下是配置环境变量的步骤：

  1. 打开~/.bashrc文件

    vi ~/.bashrc

  2. 在文件末尾添加以下内容

    export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  3. 使环境变量生效

    source ~/.bashrc

启动Hadoop

完成上述步骤后，我们可以启动Hadoop并开始使用。以下是启动Hadoop的步骤：

  1. 格式化Hadoop文件系统

    hdfs namenode -format

  2. 启动Hadoop

    start-all.sh

  3. 检查Hadoop是否成功启动

    jps

如果一切正常，您应该能够看到类似以下输出：

DataNode
NameNode
ResourceManager
SecondaryNameNode
NodeManager

代码示例

以下是一个使用Hadoop的简单Java代码示例，用于统计文本文件中每个单词的出现次数：

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath