背景大表2T,小表 30G+，两表join到一新表分区。要求： 尽可能的少用executor core和memory，并减少时间占用 前提executor core和memory占用已经够高（--num-executors 200 --executor-cores 4 --executor-memory 30G ），不能再添加过多了。executor内存 集群统一配置的上限是：ya
转载
2023-11-20 14:33:38
53阅读
概序：要减少内存的消耗，除了使用高效的序列化类库以外，还有一个很重要的事情，就是优化数据结构。从而避免Java语法特性中所导致的额外内存的开销，比如基于指针的Java数据结构，以及包装类型。有一个关键的问题，就是优化什么数据结构？其实主要就是优化你的算子函数，内部使用到的局部数据，或者是算子函数外部的数据。都可以进行数据结构的优化。优化之后，都会减少其对内存的消耗和占用。一、如何优化数据结构？对集
每天都在努力的我，每天都在努力的你，总有一天我们会相见 Spark collect和collectAsList是用于将RDD/DataFrame/DataSet的所有元素检索到驱动程序节点的操作。如果数据集较大，使用collect之后可能会导致内存不足val data = Seq(Row(Row("James","","Smith"),"36636","M",30
转载
2023-08-19 00:24:27
208阅读
coalescedef coalesce(numPartitions: Int, shuffle: Boolean = false,partitionCoalescer:Option[PartitionCoalescer] = Option.empty)(implicit ord: Ordering[T] = null): RDD[T]一、功能介绍coalesce算子最基本的功能就是返回一个num
sparkspark概述Spark特点快速的易用的通用的无处不在Spark核心模块体系架构核心模块运行模式spark总体流程spark整体框架spark运行流程执行组件执行模块RDDschedulerStorageshuffle运行spark集群搭建 spark概述spark定义：spark是基于内存的快速、通用、易扩展的大数据分析计算引擎spark vs Hadoop从组成上看Hadoopsp
转载
2023-12-20 05:50:52
25阅读
文章目录Spark运行环境Linux环境下运行本地SparkStandalone 模式Yarn模式K8S & Mesos 模式Windows 模式 Spark运行环境Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来看看不同环境运行的sparkLinux环境下运行本地Spark所谓的
转载
2023-08-09 23:07:25
62阅读
摘要：spark的优势：（1）图计算，迭代计算（训练机器学习算法模型做广告推荐，点击预测，同时基于spark的预测模型能做到分钟级）（2）交互式查询计算（实时）spark的主要应用场景：（1）推荐系统，实时推荐 （2）交互式实时查询 spark特点：（1）分布式并行计算框架（2）内存计算，不仅数据加载到内存，中间结果也存储内存（中间结果不需要落地到hdfs） 还有一个特点：Spark在做Shu
转载
2023-08-03 19:42:52
54阅读
今天,我们就先聊一下spark中的DAG以及RDD的相关的内容 1.DAG:有向无环图:有方向,无闭环,代表着数据的流向，这个DAG的边界则是Action方法的执行 2.如何将DAG切分stage,stage切分的依据:有宽依赖的时候要进行切分(shuffle的时候, 也就是数据有网络的传递的时候)，则一个wordCount有两个stage, 一个是reduceByKey之前的，一个事
转载
2023-12-07 08:53:21
45阅读
spark基本的RDD算子:在学习spark的过程中，有这样几个算子非常重要，但是却容易混淆。在这里我想做一下记录.1) 第一个是aggregate算子.我们首先可以看看aggregate算子的api，def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U这个算子接收三个参
转载
2023-12-12 13:10:43
41阅读
通过一个简单的单词计数的例子来开始介绍RDD编程。import org.apache.spark.{SparkConf, SparkContext}
object word {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("
转载
2023-06-19 06:20:57
144阅读
1、Spark 介绍Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是Scala编写，方便快速编程; Spark 技术栈中包括 SparkCore,SparkStreaming,SparkSQL,SparkMllib等。 Spark与MapReduce的区别 1. Spark 基于内存迭代处理数据，MR基于磁盘迭代处理数据 2. Spark 粗粒度资源申请，MR
转载
2024-03-03 10:14:36
213阅读
1、partition数目spark的输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为
InputSplit
，注意InputSplit不能跨越文件。 随后将为这些输入分片生成具体的 Task
。InputSpli
转载
2023-08-30 08:12:52
31阅读
编写类似MapReduce的案例-单词统计WordCount要统计的文件为Spark的README.md文件 分析逻辑：1. 读取文件，单词之间用空格分割2. 将文件里单词分成一个一个单词3. 一个单词，计数为1，采用二元组计数word ->（word,1）4. 聚合统计每个单词出现的次数RDD的操作 1.读取文件：sc.textFile("file:///opt/mod
转载
2023-08-18 13:01:30
33阅读
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。答: HDFS是hadoop的核心组件之一，分布式存储海量的数据； MapReduce也是hadoop的核心组件之一，分布式计算数据，将计算抽象成Map 和Reduce两部分，其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。
转载
2023-07-12 13:21:26
113阅读
Spark支持3种集群管理器（Cluster Manager），分别为：Standalone：独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群；Apache Mesos：一个强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn；Hadoop YARN：统一的资源管理机制
转载
2023-08-10 12:40:42
42阅读
案例介绍与编程实现
1. 案例介绍
该案例中，我们假设某论坛需要根据用户对站内网页的点击量，停留时间，以及是否点赞，来近实时的计算网页热度，进而动态的更新网站的今日热点模块，把最热话题的链接显示其中。
2. 案例分析
对于某一个访问论坛的用户，我们需要对他的行为数据做一个抽象，以便于解释网页话题热度的计算过程。
首先，我们通过一个向量来定义用户对于某个网页的行为
Spark是基于内存的计算模型，但是当compute chain非常长或者某个计算代价非常大时，能将某些计算的结果进行缓存就显得很方便了。Spark提供了两种缓存的方法 Cache 和 checkPoint。本章只关注 Cache (基于spark-core_2.10)，在后续的章节中会提到 checkPoint.主要从以下三方面来看persist时发生什么执行action时如何去缓存及读取缓存如
转载
2023-08-13 18:22:57
132阅读
什么是 APACHE SPARK？伴随数据的巨量增长，Apache Spark 已成为分布式横向扩展数据处理的热门框架之一，可以在本地和云端数以百万计的服务器上运行。Apache Spark 是应用于大型数据处理的快速通用分析引擎，可在 YARN、Apache Mesos、Kubernetes 上运行，也可独立或在云端运行。借助用于 SQL、流处理、机器学习和图形处理的高级运算符及库，Spark
转载
2023-09-07 09:33:26
1388阅读
前言spark的shuffle计算模型与hadoop的shuffle模型原理相似，其计算模型都是来自于MapReduce计算模型，将计算分成了2个阶段，map和reduce阶段。 目录一 多维度理解shuffle二 shuffle过程的内存分配三 shuffle过程中的数据倾斜四 shuffle write过程一 多维度理解shuffleshuffle的作用就是把map阶段和reduce
转载
2023-10-07 21:36:18
92阅读
推荐系统之余弦相似度的Spark实现（1）原理分析 余弦相似度度量是相似度度量中最常用的度量关系，从程序分析中，第一步是数据的输入，其次是使用相似性度量公式最后是对不同用户的递归计算。 本例子是基于欧几里得举例的相似度计算。（2）源代码 1 package com.bigdata.demo
2
3 import org.apache.spar
转载
2023-11-06 20:33:55
46阅读
