乐胖代购免代理版

flink

public class StreamWordCount { public static void main(String[] args) throws Exception { Str

kafka

flink

apache

原创 2022-10-28 09:23:34 27 阅读

【Flink-API】之复习一系列Transformation/Sink操作

一、Map1.1 介绍1.DataStream->DataStream 数据集转换。2.数据集合中的元素一一映射的

ide

字段

实体类

原创 2022-10-28 09:19:53 102 阅读

【Flink-API】之复习窗口Window

一、Flink时间1.1 概念1.EventTime 时间创建的时间，时间戳描述。2.Ingestion Time 数据进入到

数据

java

ide

原创 2022-10-28 09:19:39 73 阅读

【Flink-需求】RichMapFunction实现活动数据实时计算关联维度信息

一、需求分析1.维度信息，关联mysql数据库查询2.数据为以下格式：user001,A1,2020-09-23

kafka

flink

ide

原创 2022-10-28 09:19:31 214 阅读

【Flink-需求】KafkaSource根据经纬度查询高德API关联位置信息

一、需求分析1.KafkaSource根据经纬度查询高德API关联位置信息2.查询一条数据及时没有及时的

json

kafka

git

原创 2022-10-28 09:19:23 72 阅读

【Flink-容错API】重启策略-CheckPoint/StateBackend

一、Flink容错1.1 State状态Flink实时计算为了保证计算过程中，出现异常可以容错，就要中间结果的

重启

flink

本地文件

原创 2022-10-28 09:19:13 320 阅读

【Flink-API】Table API & SQL 以及自定义UDF函数

一、 Flink Table API & SQL简介1.1 Table API & SQL的背景Flink虽然已经拥有了强大的DataStream/Dat

sql

flink

kafka

原创 2022-10-28 09:19:09 123 阅读

【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis

一、FlinkKafkaToRedis思考一个问题：flink程序运行的时候，我们可以通过神魔样的形式进行

flink

redis

kafka

原创 2022-10-28 09:19:02 207 阅读

【Flink-API】取消Kafka记录偏移量，flink管理偏移量

一、偏移量1.1 取消kafka偏移量默认是使用kafka来管理偏移量，下面我们来取消他的管理机制，

kafka

偏移量

flink

原创 2022-10-28 09:18:58 490 阅读

【Flink-API】数据交换和Redistribute

在Flink中，是TaskManager而不是task在网络上交换数据.比如，处于同一个TM内的task,他们之

数据

序列化

数据传输

原创 2022-10-28 09:18:08 135 阅读

【Alink-CsvSourceBatchOp】实现网络广告点击预测，实时训练分类模型，实时预测评估

一、数据源在网络广告中，点击率（CTR）是衡量广告效果的一个非常重要的指标。因此，点

数据

特征工程

json

原创 2022-10-28 09:17:49 96 阅读

温习大数据框架阿里Flink面试题

1、Flink如何保证精确一次性消费Flink 保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint的时候，会往

big data

flink

大数据

数据

spark

原创 2022-10-27 11:07:51 118 阅读

【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境

一、环境1.centos7.62.zookeeper-3.4.53.kafka_2.11-0.10.2.14.jdk1.8_261二、单机-ECS-zookeepertar -zxvf zookeepe

kafka

hadoop

zookeeper

原创 2022-10-27 11:05:33 208 阅读

Flink与Spark的区别

三、Flink与Spark的区别3.1 设计理念1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单

spark

flink

big data

数据

原创 2022-10-27 11:02:12 135 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Coding路人王的博客

flink

【Flink-API】之复习一系列Transformation/Sink操作

【Flink-API】之复习窗口Window

【Flink-需求】RichMapFunction实现活动数据实时计算关联维度信息

【Flink-需求】KafkaSource根据经纬度查询高德API关联位置信息

【Flink-容错API】重启策略-CheckPoint/StateBackend

【Flink-API】Table API & SQL 以及自定义UDF函数

【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis

【Flink-API】取消Kafka记录偏移量，flink管理偏移量

【Flink-API】数据交换和Redistribute

【Alink-CsvSourceBatchOp】实现网络广告点击预测，实时训练分类模型，实时预测评估

温习大数据框架阿里Flink面试题

【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境

Flink与Spark的区别

欢迎