一、CDC 简介CDC 即 Change Data Capture 变更数据捕获，为Flink 1.11中一个新增功能。我们可以通过 CDC 得知数据源表的更新内容（包含Insert Update 和 Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数据的增加，修改和删除。> +I：新增数据。
> -U：一条数据的修改会产生两个U 标识
转载
2023-08-30 17:08:10
172阅读
简介Flink CDC：解决了传统数据库实时同步的痛点， 该技术抛弃了其他第三方组件（例如Kafka等），能够实时读取Mysql master节点全量和增量数据，能够捕获所有数据的变化，同时它完全与业务解耦，运维也及其简单。具体介绍请参考：Flink_CDC搭建及简单使用 及 flink-cdc-connectors。Apache Doris：它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应
转载
2023-08-12 10:04:37
118阅读
一、Doris简介 1.1 简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！
转载
2023-08-10 23:02:43
182阅读
目录准备开始制作镜像编写测试应用发布应用测试checkpoint测试Savepoint 准备前提已经有一定flink基础 上一篇文章 环境搭建Demo运行 已经完成基础的Demo试跑 接下来测试 精确一次 语义 source 为kafka sink 为print 主要测试算子状态和checkpoint、savepoint的情况开始阅读官网，可以知道很多Connector支持 精确一次 语义 而且
hive远程配置前提环境要求安装mysql和安装hadoop安装hive，要搭建可以进行远程连接hive的环境远程连接hive，服务端和客户端不在一个节点的上的搭建方式1.前期准备的包 环境为hive-3.1.2 需要下载 hive-exec-3.1.2.jar，mysql-connector-java-5.1.40.jar这两个包放在hive_home／lib下mysql-connector-j
文章目录一. 概述二. Flink配置MinIO实现Checkpoint和Savepoint1. 配置s3文件系统2. 配置checkpoint和savepoint3. 提交一个flink job到flink集群上三. minio的安装1.单节点安装2.多节点安装多节点minio安装 ing配置tegine三. flink的高可用安装1. 配置flink-conf.yaml2. Masters
1、Flink参数配置jobmanger.rpc.address：jobmanger的地址jobmanger.rpc.port：jobmanger的端口jobmanager.heap.mb：jobmanager的堆内存大小。不建议配的太大，1-2G足够。taskmanager.heap.mb：taskmanager的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。task
Flink SQL 基础概念（三）：SQL 动态表 & 连续查询
1.SQL 应用于流处理的思路2.流批处理的异同点及将 SQL 应用于流处理核心解决的问题3.SQL 流处理的输入：输入流映射为 SQL 动态输入表4.SQL 流处理的计算：实时处理底层技术 - SQL 连续查询5.SQL 流处理实际应用：动态表 & 连续查询技术的两个实战案例5.1 查询案例一5.
前言最近正在深入地研究与重度使用Flink，中途了解到它实际上就是Google Dataflow模型的一种implementation。我是个喜欢刨根问底的人，于是就阅读了Dataflow的原始论文与其他相关资料，顺便写篇东西来总结下。看官如果对Flink有了解的话，就会发现Flink的设计与Dataflow模型高度贴合。Dataflow模型入门Dataflow模型在2015年由一群来自Googl
VLOOKUP函数是Excel中的一个纵向查找函数，它与LOOKUP函数和HLOOKUP函数属于一类函数，在工作中都有广泛应用。VLOOKUP是按列查找，最终返回该列所需查询列序所对应的值；与之对应的HLOOKUP是按行查找的。VLOOKUP函数的语法结构整个计算机就相当于一门语言，首先我们就是要获取该函数的语法结构。以下是官网的语法结构VLOOKUP(lookup_value, table_ar
这两天正好在看现在比较火的大数据流处理框架flink,熟悉了flink的搭建过程，还是比较简单的，于是便了解了一下flink的配置文件安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 1、flink-conf.yaml （1）、基础配置 # jobManager 的IP地址
转载
2023-09-06 19:34:18
185阅读
目录1、Flink是什么2、Flink的特性、优点2.1、流式模型，高吞吐、低延时2.2、丰富的时间语义，支持 Event Time2.3、良好的乱序数据处理能力2.4、高度灵活的窗口2.5、exactly-once 语义2.6、带反压的连续流模型3、标题常用参数 1、Flink是什么Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布
jvm内存优化内存优化netty优化akka优化并行度优化对象重用checkpoint优化网络内存调优状态优化flink数据倾斜优化flink背压jvm内存参数调优Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的Contai
SQL 和关系代数在设计时并未考虑流数据。因此，在关系代数(和 SQL)之间几乎没有概念上的差异。本文会讨论这种差异，并介绍 Flink 如何在无界数据集上实现与数据库引擎在有界数据上的处理具有相同的语义。一、DataStream 上的关系查询下表比较了传统的关系代数和流处理与输入数据、执行和输出结果的关系。关系代数 / SQL流处理关系(或表)是有界(多)元组集合。流是一个无限元组序列。对批数据
转载
2023-12-06 20:15:47
73阅读
背景最近在使用 flink sql （jdbc）做离线数据同步（历史数据修复），遇到一个问题，只同步几条数据的情况下，测试环境执行竟然需要30+分钟。进一步研究，发现where条件没有下推到数据库执行，而是全表读取（排查过程详见下面的文章）。flink sql 执行慢问题排查（flink jdbc where 条件没有下推数据库）flink sql 源码走读 — 解释flink jdbc wher
转载
2023-11-09 18:25:08
148阅读
1.flink生产环境配置2.flink 可配置参数2.1常用选项键默认描述jobmanager.heap.size1024MBJobManager的JVM堆大小。taskmanager.heap.size1024MBTaskManager的JVM堆大小，它们是系统的并行工作器。在YARN设置上，此值会自动配置为TaskManager的YARN容器的大小减去某个公差值。parallelism.de
转载
2023-11-09 15:07:40
0阅读
文章目录1、本地独立部署会话模式的Flink2、本地独立部署会话模式的Flink集群3、向Flink集群提交作业4、Standalone方式部署单作业模式5、Standalone方式部署应用模式的Flink Flink的常见三种部署方式：独立部署（Standalone部署）基于K8S部署基于Yarn部署1、本地独立部署会话模式的Flink独立部署就是独立运行，即Flink自己管理Flink资源，
JobManager 高可用(HA)jobManager协调每个flink任务部署。它负责调度和资源管理。默认情况下，每个flink集群只有一个JobManager，这将导致一个单点故障(SPOF)：如果JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从JobManager故障中恢复，从而避免SPOF 。 用户在standalone或
slf4j是原来log4j的作者写的一个新的日志组件，意思是简单日志门面接口，可以跟其他日志组件配合使用，常用的配合是slf4j+logback,无论从功能上还是从性能上都较之log4j有了很大的提升，我想很多用户都已经尝试，并应用到项目中，下面来介绍一下logback的配置 logback的官网地址：http://logback.qos.ch/manual/appenders.html1.app
文章目录说明Transformation 数据处理SingleDataStreamMapFlatMapFilterKeyByReduceAggregationsMultiDataStreamUnioConnect,CoMap,CoflatMapsplitSelectIterate物理分区随机分区（Random Partitioning）平衡分区（Roundrobin Partitioning）R
