java 设置flink 本地运行模式

原创

mob64ca12cfa7d5 2024-09-27 08:11:47 ©著作权

文章标签 flink Java apache 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12cfa7d5的原创作品，请联系作者获取转载授权，否则将追究法律责任

设置Flink本地运行模式的Java示例

Apache Flink 是一个分布式流处理框架，可为实时数据处理和批处理提供支持。Flink非常适合大数据处理，但在开发和测试阶段，使用本地运行模式可以大幅度提高开发效率。本文将带您了解如何使用Java设置Flink本地运行模式，并提供相应的代码示例和可视化图示。

1. 环境准备

在开始之前，您需要以下准备工作：

已安装Java JDK（建议使用Java 8或以上版本）。
已安装Apache Flink（请访问 [Flink官网]( 下载并解压缩）。
一个IDE（如IntelliJ IDEA）用以编写和运行Java代码。

2. 创建Flink项目

首先，在您的IDE中创建一个新的Java项目，并添加Flink依赖。在Maven项目的pom.xml文件中，添加如下依赖：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.15.2</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java</artifactId>
    <version>1.15.2</version>
</dependency>

3. 编写Flink应用程序

我们将编写一个简单的Flink应用程序，该程序从集合中读取数字并对其进行求和。

代码示例

以下是完整的Flink程序代码：

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class LocalFlinkExample {
    public static void main(String[] args) throws Exception {
        // 创建流执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 创建数据源
        DataStream<Integer> numbers = env.fromElements(1, 2, 3, 4, 5);

        // 执行简单的映射操作
        DataStream<Integer> squares = numbers.map(new MapFunction<Integer, Integer>() {
            @Override
            public Integer map(Integer value) throws Exception {
                return value * value;
            }
        });

        // 打印结果
        squares.print();

        // 执行程序
        env.execute("Local Flink Example");
    }
}

代码解析

创建流执行环境：通过StreamExecutionEnvironment.getExecutionEnvironment()方法创建流执行环境。
创建数据源：env.fromElements(1, 2, 3, 4, 5)表示从集合中创建数据源。
映射操作：使用map方法对数字进行平方运算。
打印结果：最终结果输出到控制台。
执行程序：调用env.execute()方法启动Flink任务。

4. 类图

以下是该程序的类图示意：

classDiagram
    class LocalFlinkExample {
        +main(args: String[]): void
    }
    class StreamExecutionEnvironment {
        +getExecutionEnvironment(): StreamExecutionEnvironment
        +fromElements(elements: Integer[]): DataStream<Integer>
        +execute(name: String): JobID
    }
    class DataStream {
        +print(): DataStream
        +map(mapFunction: MapFunction): DataStream
    }
    class MapFunction {
        +map(value: Integer): Integer
    }
    LocalFlinkExample --> StreamExecutionEnvironment : Uses >
    StreamExecutionEnvironment --> DataStream : Creates >
    DataStream --> MapFunction : Uses >

5. 状态图

应用程序的状态图如下：

stateDiagram
    [*] --> Start
    Start --> CreateEnvironment
    CreateEnvironment --> CreateDataSource
    CreateDataSource --> MapFunction
    MapFunction --> PrintResult
    PrintResult --> ExecuteJob
    ExecuteJob --> [*]