【书本上的算法往往讲得非常复杂，我和我的朋友计划用一些简单通俗的例子来描述算法的流程】 匈牙利算法是由匈牙利数学家Edmonds于1965年提出，因而得名。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。 -------等等，看得头大？那么请看下面的版本： 通过数代人的努力，你终于赶上了剩男剩女
Spark算子 1.Transformations转换算子： 概念： Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。 Transformation类算子： filter 过滤符合条件的记录数，true保留，false过滤掉。 map 将一个RDD中的每个数据项，通
转载
2023-08-13 15:14:41
62阅读
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。（注：以下截图为windows下运行结果）Transformation：1.mapmap的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次
转载
2023-07-21 19:48:25
193阅读
目录标题1.有类型的转换算子(1)转换1.flatMap2.map3.mapPartitions4.transform5.as(2)过滤1.filter(3)聚合1.groupByKey(4)切分1.randomSplit2.sample(5)排序1.ordweBy,别名sort功能一样名称不同(6)分区1.coalesce2.repartitions(7)去重1.dropDuplicates2
转载
2023-12-15 14:37:05
31阅读
问题现象有个flink实时任务，读kafka和redis，中间有复杂的逻辑处理过程，最终结果写redis。flink实时任务运行一段时间后阻塞了，有时是几个小时后，有时是一两天后。任务看起来正常是正常的，但kafka消费已经停止，checkpoint也失败。看日志，当问题出现后，kafka一直WARN，提示如下Marking the coordinator xxxxxx dead. Marking
转载
2023-12-30 16:34:08
113阅读
1. flink 状态管理包含哪些？Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑。2. flink 状态的类型？算子状态(Operator State) 算子状态的作用范围限定为算子任务键控状态(Keyed State) 根据输入数据流中定义的键(key) 来维护和访问3. 算子状态的特点？算子状态的作用范围限定为算子任务，由同一并行
目录Spark常用算子详解1. mapPartitions
2. mapPartitionsWithIndex
3. getNumPartitions
4. partitions
5. foreachPartition
6. coalesce
7. repartition
8. union，zip，join
9. zipWithIndex，zipWithUniqueIdSpark常用算子详解&nb
转载
2023-08-24 16:17:23
118阅读
Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。在Flink中，有多种不同的DataStream类型，他们之间是使用各种算子进行的。如下图所示： flink中常用的算子mapDataStream --> DataStream]：输入一个参数产生一个参数，map的功能是对输入的参数进行转换操作。flatMap
转载
2023-07-26 10:42:30
90阅读
转载注明出处谢谢~~ 1.Spark初始1.什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结
转载
2023-11-02 21:07:20
194阅读
java精确计算工具类 import java.math.BigDecimal;
import java.math.RoundingMode;
import java.math.BigDecimal;
import java.text.DecimalFormat;
import org.springframework.stereotype.Component;
/**
* 工具类 - 运算
基本转换算子 map(映射) filter（过滤） flatMap（扁平映射） 聚合算子&nbs
Spark RDD Action算子的基本使用（Java）最近在总结Spark RDD相关算子的使用，列出了一些基本使用方法，可供大家参考，快速上手。package com.edward.spark.core;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.*;
import java.util.*;
i
转载
2023-07-15 11:57:19
21阅读
sobel算子参数ksize:sobel核的大小，为-1时会使用scharr算子运算直接将参数ddepth的值设置为-1，在计算时得到的结果可能是错误的。 在实际操作中，计算梯度值可能会出现负数。如果处理的图像是8位图类型，则在ddepth的参数值为-1时，意味着指定运算结果也是8位图类型，那么所有负数会自动截断为0，发生信息丢失。为了避免信息丢失，在计算时要先使用更高的数据类型 cv2.CV_64F，再通过取绝对值将其映射为cv2.CV_8U（8位图）类型。所以，通常要将函数cv2.Sobel（）内参
原创
2023-02-24 17:17:33
480阅读
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。DataSet一、Source算子1. fromCollectionfromCollection：从本地集合读取数据例：val env = ExecutionEnvironmen
转载
2023-10-28 19:31:49
183阅读
文章目录一 Java 中的流库1.1 引子1.2 分类1.3 基本用法1.3.1 Collection下的 stream() 和 parallelStream() 方法1.3.2 Arrays 中的 stream() 方法，将数组转成流1.3.3 静态方法1.3.4 文件流1.4 流的中间操作1.4.1 筛选与切片1.4.2 映射1.4.3 排序1.4.4 消费1.5 流的简约操作1.6 流的收
转载
2023-09-19 12:49:14
92阅读
java8
stream.filter 过滤集合中的数据
java8
stream.filter 过滤集合中的数据List<Problem> problemByExample = problemService.getProblemByExample(problemExample);
List<Problem> problemList = problemByExa
转载
2023-05-29 15:51:26
423阅读
目录3.1 Map3.2 FlatMap3.3 Filter3.4 KeyBy3.5 Reduce3.6 Fold3.7 Aggregations3.8 Window3.9 WindowAll4.0 Aggregations on windows4.1 Union4.2 Split4.3 select 3.1 MapDataStream → DataStream一对一转换,即输入的记录和
转载
2023-12-27 15:12:53
36阅读
一、stream概要与使用场景首先，Java8中的stream与InputStream和OutputStream是完全不同的概念，stream是用于对集合迭代器的增强，使之能够完成更高效的聚合操作（过滤、排序、统计分组）或大批量数据操作，使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。此外，stream与lambda表达式结合后编码效率大大提
转载
2023-07-21 21:56:54
769阅读
Java8 新增的 Stream 流大大减轻了我们代码的工作量，但是 Stream 流的用法较多，实际使用的时候容易遗忘，整理一下供大家参考。1. 概述Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来对 Java 集合运算和表达的高阶抽象。Stream API 可以极大提高 Java 程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流，
转载
2023-06-30 22:42:42
125阅读
Java8新增的Stream，配合同版本出现的 Lambda ，给我们操作集合（Collection）提供了极大的便利。 文章目录前言一、stream是什么？二、使用步骤1.得到sream
2.Api操作总结 前言在项目和学习中各种各样的集合我们都会使用到,对集合的遍历也是经常会遇到的操作,不管是for循环遍历 还是迭代器遍历 多多少少还是会有一定的冗余。使用Stream流可以
转载
2023-06-15 21:07:03
216阅读
