Spark知识点讲解SparkSpark环境部署Spark简介为什么使用SparkSpark的优势Spark技术栈Spark架构设计Spark架构核心组件Spark交互工具Spark APISparkContextSparkSessionRDDDataSetDataFrameSpark RDD概念RDD与DAGRDD的特性RDD编程流程创建RDDRDD分区RDD的操作RDD转换算子RDD常用算子
转载
2023-09-13 09:32:57
93阅读
一、Spark 是什么 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有Hadoop MapReduce所具有的优点，但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce 在
转载
2023-08-08 11:32:20
44阅读
1 Spark背景 Spark是一个加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集（Resilient distributed datasets），提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘
转载
2023-06-20 09:40:24
118阅读
# Spark原理与应用
## 引言
Spark是一个快速、可扩展且易于使用的开源分布式计算系统，它提供了丰富的API支持，可用于大规模数据处理和分析。本文将介绍Spark的基本原理和应用，并向刚入行的开发者解释如何使用Spark。
## Spark流程
下表展示了使用Spark的基本流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建SparkSession对象
# Spark安装及应用
Apache Spark是一个快速、通用的集群计算系统，提供了大规模数据处理的强大能力。其设计理念是以内存计算为主，能够显著提高数据处理速度，成为大数据处理的热门工具。本文将介绍Spark的安装过程以及基本应用示例。
## 一、Spark的安装
### 1. 环境准备
在安装Spark之前，需要确保下面的软件已经安装在你的系统中：
- Java 8或更高版本
-
简介： SparkStreaming是一套框架。 SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理。 支持多种数据源获取数据： Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结
转载
2021-02-01 19:07:00
402阅读
2评论
（一）、原理 1. 前言        VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议，最新协议在RFC3768中定义，原来的定义RFC2338被废除，新协议相对还简化了一些功能。 2. 协议说明     2
原创
2012-08-19 18:48:13
1513阅读
IPTABLES 基于内核的防火墙，里面有raw，mangle，net，filter四个表，它们的优先级依次降低，也就是raw最高，匹配的时候是从raw开始的。 1， iptables有四张表 raw,mangle,net,f
原创
2014-08-20 18:24:04
889阅读
什么是 epoll？ epoll 是 Linux 内核的可扩展 I/O 事件通知机制。取代了 select 与 poll 系统函数，让需要大量操作文件描述符的程序得以发挥更优异的性能。旧有的系统函数所花费的事件复杂度为 O(1)，epoll 的时间复杂度为 O(logn)。epoll 实现的功能与
转载
2021-07-11 00:25:00
531阅读
1.背景 关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT地址和xgboost导读和实战地址，希望对xgboost原理进行深入理解。2.xgboost vs gbdt 说到xgboost，不得不说gbdt。了解gbdt（梯度提升树）可以看我这篇文章 地址，g
转载
2022-09-27 09:39:31
215阅读
MPLS原理及应用
MPLS（Multiprotocol Label Switching，多协议标签交换）是一种基于标签的高效网络传输技术，被广泛应用于现代的数据通信网络中。MPLS通过在数据包前面添加标签，并在网络节点上进行标签交换，从而实现路由和包转发的高速处理，提高了网络传输的性能和可靠性。本文将简要介绍MPLS的原理及应用。
MPLS的基本原理在于将网络中的数据包划分为不同的流量类别，
1.背景关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT 地址和xgboost导读和实战 地址，希望对xgboost原理进行深入理解。2.xgboost vs gbdt说到xgboost，不得不说gbdt。了解gbdt可以看我这篇文章 地址，gbdt无论在理论推导还是在应用场景实践都是相当完美的，但有一个问题：第n颗树训练时，
转载
2016-12-30 20:11:00
217阅读
阅读目录 Spark 特点 Spark的适用场景 Spark成功案例 导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验
转载
2021-02-01 19:06:00
478阅读
2评论
在材料检验和分析工作中，显微分析是重要的手段之一，常见的显微分析仪器有光学显微镜和电子显微镜。光学显微镜利用的是光学信号，光源是可见光，由于受到光源波长的影响，其放大倍数受到限制，通常只能放大至1000倍左右。而扫描电子显微镜(SEM)利用的是静止或在样品表面进行光栅扫描的一束精细聚焦的电子束轰击样品表面，产生各种信号，如二次电子、背散射电子、俄歇电子、特征射线及不同能量的光子等，利用电磁透镜系统
Spark是分布式内存计算框架，而不是分布式内容存储框架，搭配tachyon分布式内存文件系统，会更加有效果。在文件模式下，spark比hadoop快10倍，在内存计算模式下，快100倍！下面是一些1 spark是分布式 基于内存 特别适合于迭代计算的计算框架2 mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。
原创
2016-09-19 14:13:45
534阅读
Spark基本架构及原理 Spark(一): 基本架构及原理 Hadoop 和 Spark 的关系 Spark 运算比 Hadoop 的 MapReduce 框架快的原因是： 因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运
转载
2019-01-10 15:43:00
98阅读
2评论
，spark streaming原理及实践，还有spark调优以及环...
原创
精选
2023-07-03 13:48:55
313阅读
一、什么是lvs？ LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。 如图： 二、技术简介 LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的
原创
2012-10-11 16:50:31
927阅读
一、基础介绍1、简介ansible是新出现的自动化运维工具，基于python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。主要包括。（1）、连接插件conn
原创
精选
2016-01-14 11:54:40
1987阅读
点赞
虽然现在的轮子很多，但我们在使用过程中会碰到很多问题，而我们经常不知道从哪里下手，说明轮子不是你造的你不熟悉。因此我们不仅要重复造轮子，还要好好造，深入造，才能用好轮子，把轮子转化成自身的力量。同样的道理适用于这篇文章。虽然网上BA的资料无穷无尽，但我们还是要好好深入理解其原理，并且一定要通过实践才能懂得其中原理。在“第一届SLAM论坛”中沈劭劼老师的发言中，他提到团队的成员都要手写BA，既然大佬
转载
2022-10-09 09:15:32
147阅读
