idea开发spark 代码本机运行

原创

mob64ca12d97dad 2024-08-06 11:49:36 ©著作权

文章标签 spark java apache 文章分类 Spark 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12d97dad的原创作品，请联系作者获取转载授权，否则将追究法律责任

在 IntelliJ IDEA 中开发 Spark 代码并本地运行指南

在本篇文章中，我们将一起探讨如何在 IntelliJ IDEA 中开发 Spark 代码并在本机上运行。对于刚入行的小白来说，步骤虽然看似复杂，但只要按照以下流程执行，就可以轻松上手。

流程概述

以下表格展示了主要步骤：

步骤	描述
1. 安装 IDEA 和 JDK	下载并安装 IntelliJ IDEA 和 Java Development Kit (JDK)。
2. 创建新项目	使用 IDEA 创建一个新的 Maven 项目。
3. 添加 Spark 依赖	在项目的 `pom.xml` 中添加 Apache Spark 相关的依赖。
4. 编写 Spark 代码	使用 Scala 或 Java 编写 Spark 程序。
5. 运行代码	在 IDEA 中运行代码并查看输出。

具体步骤及代码示例

1. 安装 IDEA 和 JDK

首先，你需要确保你的计算机上安装了 IntelliJ IDEA 和 JDK。可以从官方网站下载并安装：

[下载 JDK](
[下载 IntelliJ IDEA](

2. 创建新项目

打开 IntelliJ IDEA，点击 "Create New Project"，选择 "Maven" 作为项目类型。在弹出的对话框中填写项目名称和保存位置，点击"Finish"完成项目创建。

3. 添加 Spark 依赖

在项目的根目录中找到 pom.xml 文件，打开并添加 Spark 的依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.0.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>3.0.1</version>
    </dependency>
</dependencies>

这段代码告诉 Maven 该项目依赖于 Apache Spark 的核心库以及 SQL 相关的库。

4. 编写 Spark 代码

在 src/main/java 目录下创建一个新的 Java 类，例如 SparkApp.java，并编写如下代码：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;

public class SparkApp {
    public static void main(String[] args) {
        // 创建 Spark 配置
        SparkConf conf = new SparkConf().setAppName("My Spark App").setMaster("local");
        // 创建 JavaSparkContext 对象
        JavaSparkContext sc = new JavaSparkContext(conf);
        
        // 创建一个简单的 RDD 并执行操作
        sc.parallelize(Arrays.asList(1, 2, 3, 4, 5))
          .map(n -> n * n) // 对 RDD 中的每个元素求平方
          .forEach(System.out::println); // 输出结果

        // 关闭 Spark 上下文
        sc.close();
    }
}

以上代码中：

首先，我们创建了 SparkConf 对象，设置应用名称和本地模式运行。
然后，我们创建了 JavaSparkContext 对象，用于创建 RDD 和执行操作。
最后，我们使用 map 方法对 RDD 中的每个元素进行了平方计算，并输出结果。

5. 运行代码

在 IDEA 中，右键点击 SparkApp 类，选择 Run 'SparkApp.main()'，程序开始运行。你应该能在控制台上看到结果的输出。

旅行图示意

我们可以用以下旅行图展示这个过程：

journey
    title 开发 Spark 应用的旅程
    section 环境准备
      安装 JDK: 5: 了解
      安装 IntelliJ IDEA: 4: 了解
    section 创建项目
      创建 Maven 项目: 3: 了解
      添加 Spark 依赖: 2: 了解
    section 编写及运行代码
      编写代码: 4: 了解
      运行程序: 5: 了解