[TOC]一、spark中一些基本术语RDD：弹性分布式数据集，是spark的核心重点算子：操作RDD的一些函数application：用户的写的spark程序（DriverProgram+ExecutorProgram）job：一个action类算子触发的操作stage：一组任务，会根据依赖关系将job划分成若干个stagetask：同一个stage内部有多个同样操作的task（但处理的数据不同
原创
2019-11-15 18:04:38
1027阅读
一、Spark基本概念在学习Spark运行架构之前，我们有必要先了解Spark中几个基本概念。1、Application（应用程序）：是指我们编写的Spark应用程序，包含驱动程序（Driver）和分布在集群中多个节点上运行的Executor代码，在执行过程中由一个或多个job组成。2、Driver（驱动程序）：Spark中的Driver即运行Application的main方法，并且创建Spar
转载
2023-08-13 15:19:51
65阅读
文章目录sparkcore1.rdd是不可变的，只能通过计算/操作得到一个新的rdd2.rdd五大特性：3.创建rdd的三种方式：4.saprk中落地文件的个数和什么有关系：5.转换算子和action算子有什么区别：6.常用的转换算子：7.常用的action算子：8.sparkcore核心概念：9.spark执行流程：10.spark执行架构补充：每个spark作业都有自己的executor进程
转载
2024-01-26 08:48:59
47阅读
我们介绍了 ASP.NET Core 的启动过程，主要是对 WebHost 源码的探索。而本文则是对上文的一个补充，更加偏向于实战，详细的介绍一下我们在实际开发中需要对 Hosting 做一些配置时经常用到的几种方式。目录本系列文章从源码分析的角度来探索 ASP.NET Core 的运行原理，分为以下几个章节：ASP.NET Core 运行原理解剖[1]:HostingASP.NET Core 运
转载
2023-06-30 14:43:58
86阅读
一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算）把连续的流式数据，当成不连续的RDD来处理本质：是一个离散计算（不连续的数据）面试中问到时：先说它的本质，然后说自己的理解常用的方法和其他同类型技术的对比3、A
原创
2019-11-15 18:07:27
1101阅读
Spark 2.x与1.x对比Spark 1.x：Spark Core（RDD）、Spark SQL（SQL+Dataframe+Dataset）、Spark Streaming、Spark MLlib、Spark GraphxSpark 2.x：Spark Core（RDD）、Spark SQL（ANSI-SQL+Subquery+Dataframe/Dataset）、Spark Streami
转载
2024-01-30 20:10:22
45阅读
## Spark AQE 和 Spark DPP 的原理与使用场景
在大数据处理的世界中，Apache Spark 是最流行的数据处理引擎之一。了解其自适应查询执行（AQE）和动态分区 pruning（DPP）原理对开发者提升性能和优化查询至关重要。本文将以清晰的步骤和代码示例引导你理解 AQE 和 DPP 的实现及应用场景。
### 整体流程
以下是实现 Spark AQE 和 DPP 的
文章目录1. Spark 运行架构1.1 1 运行架构1.2 核心组件1.2.1 Driver1.2.2 Executor1.2.3 Master & Worker1.2.4 ApplicationMaster1.3 核心概念1.3.1 Executor 与 Core1.3.2 并行度（Parallelism）1.3.3 有向无环图（DAG）1.4 提交流程1.4.1 Yarn Clie
Spark Core学习 对最近在看的赵星老师Spark视频中关于SparkCore的几个案例进行总结。 目录1.WordCountWordCount 执行流程详解2.统计最受欢迎老师topN1. 方法一：普通方法，不设置分组/分区2. 方法二：设置分组和过滤器3. 方法三：自定义分区器3.根据IP计算归属地 1.WordCountSpark Core入门案例。//创建spark配置，设置应用程序
转载
2023-09-18 00:28:10
114阅读
本期内容 1. Tungsten内存分配内幕 2. Tungsten内存管理内幕 内存分配和管理内幕恭喜Spark2.0发布，今天会看一下2.0的源码。今天会讲下Tungsten内存分配和管理的内幕。Tungsten想要工作，要有数据源和数据结构，这时候会涉及到内存管理，而内存管理也是后续做很多分析和逻辑控制的基础。内存分配我们从内存分配的入口MemoryAllocator开始：allocate
## Spark 内存和 core 比例详解
### 1. 介绍
在使用 Spark 进行大数据处理时，合理分配内存和核心数量是非常重要的。内存和核心的比例决定了作业的性能和效率。本文将详细介绍如何在 Spark 中合理分配内存和核心。
### 2. 内存和核心比例的影响
在 Spark 中，每个 Executor 都会占用一定的内存和核心。合理分配内存和核心可以提高作业的并行度和性能。通
Spark运行架构： Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor） 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop
转载
2023-07-21 19:46:10
95阅读
文章目录核心组件核心概念提交流程 核心组件 Spark框架可以大致分三个部分：第一部分： Driver + Executor ，任务执行和调度第二部分： Master + Worker ，Saprk自身的资源调度框架，只有Standalone模式下才有Master和Worker.第三部分： Cluster Manager ，集群管理中间件，协调任务的调度Application：Spark应用程序
转载
2023-09-15 21:42:31
33阅读
一、Spark Streaming 基础概念1、DStream Discretized Stream 是 SS 的基础抽象，代表持续性的数据流和经过各种 Spark 原语操作后的结果数据流。DStream 本质上是一个以时间为键，RDD 为值的哈希表，保存了按时间顺序产生的 RDD，而每个 RDD 封装了
转载
2023-11-29 12:02:20
42阅读
键值对RDD(pairRDD)是Spark中许多操作所需要的常见数据类型。1，创建pairRDD在Spark中有许多创建pairRDD的方式，很多存储键值对的数据格式会在读取时直接返回由其键值对数据组成的pairRDD。此外当需要把一个普通RDD转换为pairRDD时，可以调用map()函数。简单的创建方式如下：scala> val lines = sc.parallelize(List("
[TOC]一、sparkSQL概述1.1什么是sparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。1.2sparkSQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件（一种列式存
原创
2019-11-15 18:06:38
3861阅读
Spark特点：1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中2.主要基于内存（少数情况基于磁盘，如shuffle阶段） 所有计算操作，都是针对多个节点上内存的数据，进行并行操作的3.迭代式计算对分布式节点内存中的数据进行处理，处理后的数据可能会移动到其他节点的内存中，当需要用到某些数据时，从这些节点的内存中就能找到，迭代出来使用Spark与MapReduce的区别Spar
转载
2023-09-26 17:02:59
36阅读
# Spark Core: 解放大数据处理的核心引擎
## 引言
在当今信息爆炸的时代，大数据已经成为了企业和组织中无法忽视的重要资源。处理海量数据需要强大的计算能力和高效的分布式处理框架。Apache Spark就是应运而生的一款分布式计算引擎，它提供了强大的数据处理能力和丰富的API，使得开发人员能够灵活地进行大数据分析和处理。
在本文中，我们将重点介绍Spark Core，这是Spar
原创
2023-11-18 15:39:02
66阅读
SparkCore是Spark计算引擎的基础，后面的sparksql以及sparkstreaming等，都是基于SparkCore的。这里笔者就开始详细的介绍SparkCore。如果要介绍SparkCore，必须详细介绍一下RDD。一、RDD编程RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素
转载
2023-08-27 21:13:33
142阅读
大数据作为当下做火热的新科技，其内容受到了来自各个领域的关注。在大数据的内涵中sapr是无法避免的重点，那么对于spark core你了解多少呢？其实，spark core包括各种spark的各种核心组件，它们能够对内存和硬盘进行操作，或者调用CPU进行计算。毕竟，SparkCore是Apache Spark的核心，是其他扩展模块的基础运行时环境，定义了RDD、DataFrame和DataSet。
转载
2023-10-03 11:30:44
49阅读
