spark 时间减一必须用函数 spark 事件时间

转载

代码探险家 2023-08-27 09:52:15

文章标签 spark 时间减一必须用函数大数据 Spark spark SPARK 文章分类 Spark 大数据

1.关于Spark

2009年，spark诞生于伯克利大学的amplab。最重要的是，spark只是一个实验项目，只包含很少的代码，属于轻量级框架。
2010年，伯克利大学正式启动了Spark项目。
2013年6月，Spark成为Apache基金会的一个项目，并进入了高速开发阶段。第三方开发人员贡献了大量代码，并且非常活跃
2014年2月，Spark被称为Apache的顶级项目。与此同时，大数据公司cloudera宣布增加对spark框架的投资，以取代MapReduce。
2014年4月，大数据公司MAPR进入了Spark阵地。Apache mahout放弃了MapReduce，将使用spark作为计算引擎。
2014年5月，发布了Spark 1.0.0。
2015年，Spark在国内IT行业中越来越受欢迎。越来越多的公司开始专注于部署或使用Spark取代MR2，hive，storm和其他传统的大数据并行计算框架。

2.什么是Spark？

Apache Spark™ 是用于大规模数据处理的统一分析引擎。
大型数据集的统一分析引擎
Spark是基于内存的通用并行计算框架，旨在使数据分析更快
Spark包含大数据领域的各种通用计算框架
Spark Core（离线计算）
Sparksql（交互式查询）
Spark Streaming（实时计算）
Spark mllib（机器学习）
Spark graphx（图形计算）

3. Spark可以取代Hadoop吗？

不完全正确。

因为我们只能用火花的核心，而不是MR用于离线计算，数据存储仍取决于HDFS。

Spark+Hadoop的结合是最流行的组合和最有前途的一个，在未来大数据的领域！

4.Spark的特点

速度
内存计算比Mr快100倍
磁盘计算比Mr快10倍以上
易于使用
提供Java Scala Python R语言的API接口
一站式解决方案
Spark核心（离线计算）
Spark SQL（交互式查询）
Spark流式传输（实时计算）
…..
可以在任何平台上运行
Yarn
Mesos
Standalone

5.Spark的缺点

JVM的内存开销太大，1g的数据通常会消耗5g的内存（tungsten项目试图解决此问题）
不同的spark应用程序之间没有有效的共享内存机制（项目Tachyon正在尝试引入分布式内存管理，因此不同的spark应用程序可以共享缓存的数据）

6. Spark与MR

6.1 MR的局限性

低层次的抽象，需要手工编写代码，很难使用
仅提供两个操作，即Map和Reduce，缺少表达式
作业只有两个阶段：映射和缩小。复杂的计算需要完成大量工作。作业之间的依赖关系由开发人员自己管理。
中间结果（reduce的输出）也放置在HDFS文件系统中
高延迟，仅适用于批处理数据，并且对交互式数据处理和实时数据处理的支持不足
迭代数据处理性能不佳

6.2 Spark解决了哪些问题？

低层次的抽象，需要手工编写代码，很难使用
在Spark中通过RDD（弹性分布式数据集）进行抽象
仅提供两个操作，即map和reduce，缺少表达式
火花中提供了许多运算符
作业只有两个阶段：map和reduce。
Spark可能有多个阶段
中间结果也在HDFS文件系统上（缓慢）
如果中间结果在内存中，它将被写入本地磁盘而不是HDFS。
高延迟，仅适用于批处理数据，并且对交互式数据处理和实时数据处理的支持不足
Sparksql和sparkstreaming解决了以上问题
迭代数据处理性能不佳
通过将数据缓存在内存中来提高迭代计算的性能

==因此，将Hadoop MapReduce替换为新一代大数据处理平台是技术发展的趋势。在新一代的大数据处理平台中，spark是目前得到最广泛认可和支持的。

7. Spark版本

spark1.6.3：Scala版本2.10.5
spark2.2.0：Scala 2.11.8版本（建议用于新项目）
hadoop2.7.5

8.独立安装spark

准备安装软件包spark-2.2.0-bin-hadoop 2.7.tgz

$tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/ $mv spark-2.2.0-bin-hadoop2.7/ spark

修改spark env.sh

export JAVA_HOME=/opt/jdk export SPARK_MASTER_IP=hdp01 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=4 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=2g export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

配置环境变量

#Configure environment variables for spark export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

启动stand-alone模式的Spark

$start-all-spark.sh

查看启动状态

http://hdp01:8080

9.安装spark分布式集群

配置spark env.sh

[root@hdp01 /opt/spark/conf]

export JAVA_HOME=/opt/jdk #Configure the host of the master export SPARK_MASTER_IP=hdp01 #Configure the port for master host communication export SPARK_MASTER_PORT=7077 #Configure the number of CPU cores used by spark in each worker export SPARK_WORKER_CORES=4 #Configure one worker per host export SPARK_WORKER_INSTANCES=1 #The memory used by worker is 2GB export SPARK_WORKER_MEMORY=2g #Directory in Hadoop's configuration file export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

配置slaves

[root@hdp01 /opt/spark/conf]

hdp03 hdp04 hdp05

分发Spark

[root@hdp01 /opt/spark/conf]

$scp -r /opt/spark hdp02:/opt/ $scp -r /opt/spark hdp03:/opt/ $scp -r /opt/spark hdp04:/opt/ $scp -r /opt/spark hdp05:/opt/

分发在hdp01上配置的环境变量

$scp -r /etc/profile hdp03:/etc/

[root@hdp01 /]

$scp -r /etc/profile hdp02:/etc/ $scp -r /etc/profile hdp03:/etc/ $scp -r /etc/profile hdp04:/etc/ $scp -r /etc/profile hdp05:/etc/

启动Spark

[root@hdp01 /]

$start-all-spark.sh

10. 配置Spark高可用性集群

先停止正在运行的火花集群

修改spark env.sh

#Note the following two lines #export SPARK_MASTER_IP=hdp01 #export SPARK_MASTER_PORT=7077

添加以下内容

$export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER - Dspark.deploy.zookeeper.url=hdp03:2181,hdp04:2181,hdp05:2181 -Dspark.deploy.zookeeper.dir=/spark"

分发修改后的配置

$scp /opt/spark/conf/spark-env.sh hdp02:/opt/spark/conf
$scp /opt/spark/conf/spark-env.sh hdp03:/opt/spark/conf
$scp /opt/spark/conf/spark-env.sh hdp04:/opt/spark/conf
$scp /opt/spark/conf/spark-env.sh hdp05:/opt/spark/conf

启动集群

[root@hdp01 /]

$start-all-spark.sh

[root@hdp02 /]

$start-master.sh

11.第一个Spark Shell程序

$spark-shell --master spark://hdp01:7077 
	#Spark shell can specify the resources (total cores, memory used on each work) used by the spark shell application at startup.
	$spark-shell --master spark://hdp01:7077 --total-executor-cores 6 --executor-memory 1g
	
	#If you do not specify to use all cores on each worker by default, and 1G memory on each worker
	>>>sc.textFile("hdfs://ns1/sparktest/").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).collect

12.Spark中的角色