Spark Standalone模式为经典的Master/Slave(主/从)架构,资源调度是Spark自己实现的。在Standalone模式中,根据应用程序提交的方式不同,Driver(主控进程)在集群中的位置也有所不同。应用程序的提交方式主要有两种:client和cluster,默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。

spark指定offset消费 spark指定节点_链路

 

spark指定offset消费 spark指定节点_spark_02

                              Spark集群拓扑

spark指定offset消费 spark指定节点_spark_03

spark指定offset消费 spark指定节点_spark指定offset消费_04

 

防火墙相关命令

spark指定offset消费 spark指定节点_big data_05

 

集群搭建组件的主从架构

spark指定offset消费 spark指定节点_spark指定offset消费_06

 

 

spark指定offset消费 spark指定节点_spark_07

 

spark指定offset消费 spark指定节点_链路_08

 1、节点
一个“节点”其实就是一个网络端口。节点又分为“转节点”和“访问节点”两类。“转节点”的作用是支持网络的连接,它通过通信线路转接和传递信息,如交换机、网关、路由器、防火墙设备的各个网络端口等;而“访问节点”是信息交换的源点和目标点,通常是用户计算机上的网卡接口。如我们在设计一个网络系统时,通常所说的共有××个节点,其实就是在网络中有多个要配置IP地址的网络端口。
2、结点
一个“结点”是指一台网络设备,因为它们通常连接了多个“节点”,所以称之为“结点”。在计算机网络中的结点又分为链路结点和路由结点,它们就分别对应的是网络中的交换机和路由器。从网络中的结点数多少就可以大概知道你的计算机网络规模和基本结构了。
3、链路
“链路”是两个节点间的线路。链路分物理链路和逻辑链路(或称数据链路)两种,前者是指实际存在的通信线路,由设备网络端口和传输介质连接实现;后者是指在逻辑上起作用的网络通路,由计算机网络体系结构中的数据链路层标准和协议来实现。如果链路层协议没有起作用,数据链路也就无法建立起来。
4、通路
“通路”从发出信息的节点到接收信息的节点之间的一串节点和链路的组合。也就是说,它是一系列穿越通信网络而建立起来的节点到节点的链路串连。它与“链路”的区别主要在于一条“通路”中可能包括多条“链路”。

关于主从架构一定要检查配置版本号是否一致,若不一致则无法唤醒从属框架

spark指定offset消费 spark指定节点_链路_09