搭建一个java flink项目

原创

mob64ca12d652c7 2024-03-19 04:29:22 ©著作权

文章标签 Java flink apache 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d652c7的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何搭建一个Java Flink项目

整体流程

erDiagram
    开始 --> 步骤1: 创建一个 Maven 项目
    步骤1 --> 步骤2: 添加 Flink 依赖
    步骤2 --> 步骤3: 创建 Flink Job 类
    步骤3 --> 结束

每一步具体操作

步骤1：创建一个 Maven 项目

首先，打开你的 IDE（比如 IntelliJ IDEA），选择新建一个 Maven 项目。

步骤2：添加 Flink 依赖

在项目的 pom.xml 文件中，添加 Flink 的依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>1.12.2</version>
    </dependency>
</dependencies>

这段代码的作用是引入 Flink Java API 的相关依赖。

步骤3：创建 Flink Job 类

在项目中创建一个 Java 类，这个类就是你的 Flink Job 类。以下是一个简单的 Flink Job 示例：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.util.Collector;

public class WordCount {

    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<String> text = env.fromElements(
                "To be, or not to be, that is the question",
                "Whether 'tis nobler in the mind to suffer",
                "The slings and arrows of outrageous fortune"
        );

        DataSet<Tuple2<String, Integer>> wordCounts = text
            .flatMap(new Tokenizer())
            .groupBy(0)
            .sum(1);

        wordCounts.print();
    }

    public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            String[] words = value.toLowerCase().split("\\W+");

            for (String word : words) {
                if (word.length() > 0) {
                    out.collect(new Tuple2<>(word, 1));
                }
            }
        }
    }
}

在这个示例中，我们实现了一个简单的 WordCount 程序，统计给定文本中每个单词出现的次数。