乐胖代购免代理版

欢迎

【Spark篇】---SparkStream初始与应用

一、前述SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：

spark

apache

java

原创 2022-12-30 16:51:11 149 阅读

【Spark篇】---SparkSQL on Hive的配置和使用

一、前述Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。二、具体配置1、在Spark客户端配置Hive On Spa

hive

sql

spark

原创 2022-12-30 16:51:08 353 阅读

【Spark篇】---SparkSQL on Hive的配置和使用

<...

hive

sql

spark

原创 2022-12-30 16:51:07 109 阅读

【Spark篇】---SparkStreaming算子操作transform和updateStateByKey

一、前述今天分享一篇SparkStreaming常用的算子transform和updateStateByKey。可以通过transform算子，对Dstream做RDD

spark

apache

java

原创 2022-12-30 16:51:04 107 阅读

【Spark篇】---Spark中Shuffle机制，SparkShuffle和SortShuffle

一、前述Spark中Shuffle的机制可以分为HashShuffle,SortShuffle。SparkShuffle概念reduceByKey会将上一个RDD中的每一个

数据

内存结构

数据结构

原创 2022-12-30 16:51:00 104 阅读

【Spark篇】---Spark初始

一、前述Spark是基于内存的计算框架，性能要优于Mapreduce，可以实现hadoop生态圈中的多个组件，是一个非常优秀的大数据

资源调度

数据

JVM

原创 2022-12-30 16:48:57 197 阅读

【Spark篇】---Spark中Transformations转换算子

一、前述Spark中默认有两大类算子，Transformation（转换算子）,懒执行。action算子，立即执行，有一

spark

java

apache

原创 2022-12-30 16:48:56 159 阅读

【Spark篇】---Spark中控制算子

一、前述 Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。控制算子有三种，c

持久化

System

依赖关系

原创 2022-12-30 16:48:49 129 阅读

【Spark篇】--Spark中Standalone的两种提交模式

一、前述Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-master模式。二、具体 1、Stand

spark

客户端

jar

原创 2022-12-30 16:48:46 139 阅读

【Spark篇】---Spark中yarn模式两种提交任务方式

一、前述Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务

spark

jar

apache

原创 2022-12-30 16:48:41 333 阅读

【Spark篇】---Spark中Action算子

一、前述Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执

spark

java

apache

原创 2022-12-30 16:48:38 103 阅读

【Spark篇】---Spark资源调度和任务调度

一、前述Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的

资源调度

细粒度

粗粒度

原创 2022-12-30 16:48:33 391 阅读

【Spark篇】--Spark中的宽窄依赖和Stage的划分

一、前述RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。二、具体细节窄依赖父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的

数据

依赖关系

并行度

原创 2022-12-30 16:48:30 135 阅读

【Spark篇】---Spark中transformations算子二

一、前述今天继续整理几个Transformation算子如下：mapPartitionWithIndexrepartitioncoalescegroupByKeyzipzipWithIndex

spark

java

apache

原创 2022-12-30 16:48:22 190 阅读

【Spark篇】---Spark中资源和任务调度源码分析与资源配置参数应用

一、前述Spark中资源调度是一个非常核心的模块，尤其对于我们提交参数来说，需要具体到某些配置，所以提交配置的参数于源码一一对应，掌握此节对于Spark在任务执行过程中的资源分配会更上一层楼。由于源码部分太多本节只抽取关键部分和结论阐述，更多的偏于应用。二、具体细节 1、Spark-Submit提交参数Options:--master MASTER_URL, 可

spark

jar

apache

原创 2022-12-30 16:48:19 197 阅读

【Spark篇】---Spark中广播变量和累加器

一、前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。累

spark

apache

System

原创 2022-12-30 16:48:13 241 阅读

【Spark篇】---Spark中Master-HA和historyServer的搭建和应用

一、前述本节讲述Spark Master的HA的搭建，为的是防止单点故障。Spark-UI 的使用介绍，可以更好的监控Spark应用程序的执

spark

zookeeper

高可用

原创 2022-12-30 16:48:09 277 阅读

【Spark篇】---Spark中内存管理和Shuffle参数调优

一、前述Spark内存管理Spark执行应用程序时，Spark集群会启动Driver和Executor两种JVM进程，Driver负责创建SparkContext上下文，

内存管理

spark

调优

原创 2022-12-30 16:48:05 184 阅读

【Spark篇】---SparkSQL中自定义UDF和UDAF，开窗函数的应用

一、前述SparkSQL中的UDF相当于是1进1出，UDAF相当于是多进一出，类似于聚合函数。开窗函数一般分组取topn时

sql

spark

apache

原创 2022-12-30 16:48:00 329 阅读

【Spark篇】---SparkSQL初始和创建DataFrame的几种方式

一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完

sql

json

Hive

原创 2022-12-30 16:47:56 264 阅读

Spark算子篇 --Spark算子之combineByKey详解

一。概念rdd.combineByKey(lambda x:"%d_" %x, lambda a,b:"%s@%s" %(a,b), lambda a,b:"%s

Spark

spark

公众号

持续更新

原创 2022-12-30 16:46:59 175 阅读

Spark算子篇 --Spark算子之aggregateByKey详解

一。基本介绍rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值3代表

Spark

c函数

数据

函数调用

原创 2022-12-30 16:46:54 124 阅读

【Spark篇】---SparkStreaming中算子中OutPutOperator类算子

一、前述SparkStreaming中的算子分为两类，一类是Transformation类算子，一类是OutPutOperator类算子。Transformation类

Spark

原创 2022-12-30 16:45:44 60 阅读

从0到1搭建spark集群---企业集群搭建

今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。一。下载Spark安装包可以从官网下载，本集群选择的版本是spark-1.6.0-bin-hadoop2.6在官网中找到对应的链接即可http://spark.apache.org/downloads.html或者用本人云盘下载地址附上链接如下链接：https://pan.baidu.com/s/1

spark

SPARK

配置文件

原创 2022-12-30 16:45:38 141 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

L先生AI课堂

欢迎

【Spark篇】---SparkStream初始与应用

【Spark篇】---SparkSQL on Hive的配置和使用

【Spark篇】---SparkSQL on Hive的配置和使用

【Spark篇】---SparkStreaming算子操作transform和updateStateByKey

【Spark篇】---Spark中Shuffle机制，SparkShuffle和SortShuffle

【Spark篇】---Spark初始

【Spark篇】---Spark中Transformations转换算子

【Spark篇】---Spark中控制算子

【Spark篇】--Spark中Standalone的两种提交模式

【Spark篇】---Spark中yarn模式两种提交任务方式

【Spark篇】---Spark中Action算子

【Spark篇】---Spark资源调度和任务调度

【Spark篇】--Spark中的宽窄依赖和Stage的划分

【Spark篇】---Spark中transformations算子二

【Spark篇】---Spark中资源和任务调度源码分析与资源配置参数应用

【Spark篇】---Spark中广播变量和累加器

【Spark篇】---Spark中Master-HA和historyServer的搭建和应用

【Spark篇】---Spark中内存管理和Shuffle参数调优

【Spark篇】---SparkSQL中自定义UDF和UDAF，开窗函数的应用

【Spark篇】---SparkSQL初始和创建DataFrame的几种方式

Spark算子篇 --Spark算子之combineByKey详解

Spark算子篇 --Spark算子之aggregateByKey详解

【Spark篇】---SparkStreaming中算子中OutPutOperator类算子

从0到1搭建spark集群---企业集群搭建