乐胖代购免代理版

Flink的Checkpoint

最近面试问的最多的就是Flink如何进行容错的，总结一下关于checkpoint的知识点

flink

java

大数据

数据

hdfs

原创 2022-11-18 18:30:19 297 阅读

TPC-H基准测试

TPC-H基准测试cd /home/project/tpcd/dbgen./dbgen -s 5 -fmv ./*.tbl /home/project/file/data5gCreate external table lineitem (L_ORD

大数据

5g

数据

sql

原创 2022-11-18 18:29:57 377 阅读

FlinkSQL自定义TableSink

从StreamTableSinkFactory开始

flink

DLI

apache

java

原创 2022-11-18 16:17:15 212 阅读

FlinkCEP(01)--普通数据源

CEP(Complex Event Processing)就是在无界事件流中检测事件模式步骤分为四步1、cala_2.11&

scala

flink

apache

ide

原创 2022-11-18 16:17:11 220 阅读

FlinkCEP(02)--kafka数据源

需求：用户点击完立刻购买的信息数据源kafka，这里比较重要的一点设置水t org.ap

kafka

flink

apache

原创 2022-11-18 16:17:07 50 阅读

奇奇怪怪的ES搜索需求

需求：给定一个list，多个词语，快速返回每个词语所在doc的detail字段的个数，如三医院*"

elasticsearch

大数据

big data

analyzer

支付宝

原创 2022-11-18 16:17:02 82 阅读

Redis使用经历总结

redis使用记录

redis

数据库

缓存

数据

mysql

原创 2022-11-18 16:16:57 45 阅读

kafka使用经历总结

kafka使用经历

kafka

java

分布式

数据

重启

原创 2022-11-18 16:16:43 46 阅读

Flink的三种join

很多架构开始往流批一体进行过渡，其中flink面临最大的挑战之一就是做好流join。

flink

java

scala

原创 2022-11-18 16:16:39 538 阅读

scala常用操作符和Iterable、Seq特质方法

用于添加和移除元素的操作符操作符：coll:+elem 或 elem+:coll集合类

操作符

集合类型

字符串

原创 2022-11-18 15:58:09 141 阅读

spark的rdd算子

spark的rdd算子文章目录spark的rdyBykeys valuescollectAsMaprepartition, coalesce, partit...

scala

spark

apache

原创 2022-11-18 15:57:26 72 阅读

Scala的引用

普通数据类型无引用 var x = 1 var y = x y = 2 println(x,"hashCode值："

数据类型

原创 2022-11-18 15:57:19 30 阅读

zookeeper是如何进行维护offset

zookeeper是如何进行维护offset引言： SparkStreaming消费kafka有两种

kafka

zookeeper

偏移量

原创 2022-11-18 15:57:17 150 阅读

flume对接kafka，模拟生产者实时生产数据

flume对接kafka，模拟生产者实时生产数据引言flume可以实时的监控

kafka

数据

hadoop

原创 2022-11-18 15:57:09 93 阅读

Flink1.11内存模型与参数调整

Flink TaskManager启动日志INFO [] - Loading configuration property: tas

flink

.net

缓存

原创 2022-11-18 15:57:00 127 阅读

Flink手动维护kafka的offset

Flink手动维护offset引言对比spark来说一下，flink是如何像spar

flink

kafka

java

原创 2022-11-18 15:56:55 394 阅读

简单的ELK日志展示(docker)

简单的ELK日志展示(docker)引言目前许多数据服务安排到了k8s上，对于服务的完美的解决了日志问题。搭建例子1、log数据2020/11/26

docker

elk

elasticsearch

kafka

原创 2022-11-18 15:56:50 51 阅读

ClickHouse的简单部署和应用

ClickHouse引言市面上比较流行的KFC套餐中的C就是ClickHouse，很多做实时和缩=>0.23.磁盘存

clickhouse

数据

sed

xml

原创 2022-11-18 15:56:41 172 阅读

使用Docker快速搭建Doris集群

使用Docker快速搭建Doris集群以DORIS-0.12.21-release为例，如果想自己

doris

docker

创建文件夹

java

原创 2022-11-18 15:56:27 946 阅读

spark在风控用户团伙中的应用

spark在风控用户团伙中的应用引言20年年初

spark

风控

neo4j

kafka

数据

原创 2022-11-18 15:56:23 213 阅读

Spark监控之StreamingListener

Spark报警之StreamingListener引言关于spark的报警

spark

数据

ide

原创 2022-11-18 15:56:17 76 阅读

kafka监控：Prometheus+Grafana+kafka_exporter

引言目前kafka使用越来越频繁，集群压力也越来越大，做好对

kafka

java

github

原创 2022-11-18 15:56:10 1037 阅读

Neo4j部署及使用

Neo4j部署及使用引言做交易相关的风控嘛，面对两个问题1、

neo4j

jar

数据

java

原创 2022-11-18 15:56:04 1387 阅读

Noe4j存量数据Load

Noe4j存量数据Load引言noe4j是一个图数据库，存在节点和关系，家购买了卖家的商品，也就达成了购买关系。多种load方式比较(网图)数据导入1)、数据预加载：neo4j-im

neo4j

大数据

java

数据

数据库

原创 2022-11-18 15:55:58 176 阅读

Flink/Spark中ETL的简单模版

我们往往可以忽略外界的干扰因素，避免焦虑，专心做自己想做的事情

java

spark

flink

json

bash

原创 2022-11-18 15:55:52 67 阅读

Doris同步多库多表

官方的东西抽象到技术层面，跟具体的业务有点脱节，我们需要下沉封装，而不是削足适履。引言 Doris用多，把一下坑都免疫了，遇到就知道不该跳，就想spark/flink的算子调优一样，他妈的还用后期调优吗？不应该在写的时候，

大数据

olap

flink

数据

kafka

原创 2022-11-18 15:55:41 905 阅读 1收藏

Flink广播变量

connect的应用场景实时更新配置，例如：任务在统计3个页面的播流，一个流作为数据流，即一个大流，一个小流，广播流会将配置或者维表不定时的广播发布，数据流收

flink

数据

ide

加载

原创 2022-11-18 15:55:28 187 阅读

python上传maven私仓

私仓地址：stutils]index-servers = pypi nexus

python

nexus

flask

redis

原创 2022-11-18 15:55:25 308 阅读

Flink基于State做千万用户的pv

需求：记录每天某一页面下所有用户的访问次数和第一次访问的时间解此

flink

java

json

redis

原创 2022-11-18 15:55:16 69 阅读

maven私仓之Nexus

maven私仓之Nexus引言

java

Nexus

maven

xml

ide

原创 2022-11-18 15:54:26 189 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

提拉米苏的博客

Flink的Checkpoint

TPC-H基准测试

FlinkSQL自定义TableSink

FlinkCEP(01)--普通数据源

FlinkCEP(02)--kafka数据源

奇奇怪怪的ES搜索需求

Redis使用经历总结

kafka使用经历总结

Flink的三种join

scala常用操作符和Iterable、Seq特质方法

spark的rdd算子

Scala的引用

zookeeper是如何进行维护offset

flume对接kafka，模拟生产者实时生产数据

Flink1.11内存模型与参数调整

Flink手动维护kafka的offset

简单的ELK日志展示(docker)

ClickHouse的简单部署和应用

使用Docker快速搭建Doris集群

spark在风控用户团伙中的应用

Spark监控之StreamingListener

kafka监控：Prometheus+Grafana+kafka_exporter

Neo4j部署及使用

Noe4j存量数据Load

Flink/Spark中ETL的简单模版

Doris同步多库多表

Flink广播变量

python上传maven私仓

Flink基于State做千万用户的pv

maven私仓之Nexus

欢迎