乐胖代购免代理版

大数据面试题：Spark的任务执行流程

可回答：1）Spark的工作流程？2）Spark的调度流程；3）Spark的任务调度原理；4）Spark的任务提交和执行流程；5）Spark任务调度到yarn上面，流程；6）Spark job提交过程讲一下？7）Spark On YARN流程，Client与Cluster模式；8）spark执行机制参考答案：运行流程以SparkContext为程序运行的总入口，在SparkContext的初始化过

大数据

spark

面试

资源管理器

调度模块

原创 2023-10-31 10:26:59 100 阅读

大数据面试题：Spark和MapReduce之间的区别？各自优缺点？

Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。有一个误区，Spark是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop也是如此，只不过Spark支持将需要反复用到的

大数据

面试

数据

数据集

迭代

原创 2023-10-18 11:19:32 203 阅读

大数据面试题：Spark和Flink的区别

Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给JobManager 进行处理， JobManager 会谓的有界流和无界流。

大数据

spark

flink

批处理

数据

原创 2023-10-18 11:19:25 154 阅读

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

可回答：Spark常见的算子介绍一下参考答案：我们先来看下Spark算子的作用：下图描述了Spark在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，

大数据

spark

面试

数据集

数据

原创 2023-10-14 07:44:56 132 阅读

大数据面试题：MapReduce压缩方式

对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。当Mapreduce作业的Map输出的数据比较大的时候，作为Map到Reduce的中间数据的压缩格式。一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显。输出之

大数据

mapreduce

面试

压缩率

数据

原创 2023-10-06 11:24:03 257 阅读

大数据面试题：Hadoop中的几个进程和作用

Hadoop中的几个进程和作用

大数据

hadoop

面试

数据块

Hadoop

原创 2023-08-12 10:14:33 193 阅读

大数据面试题：HBase的读写缓存

HBase上RegionServer的cache主要分为两个部分：MemStore & BlockCache。

大数据

hbase

面试

缓存

数据

原创 2023-08-12 10:14:28 202 阅读

大数据面试题：HBase的RegionServer宕机以后怎么恢复的？

通常情况下要求集群中至少启动两个Master进程，进程启动之后会lGc引起长时间停顿。

大数据

hbase

面试

数据

故障恢复

原创 2023-08-09 14:15:46 136 阅读

大数据面试题：Kafka的单播和多播

大数据

面试

kafka

单播

原创 2023-08-08 08:48:08 149 阅读

大数据面试题：Kafka怎么保证数据不丢失，不重复？

大数据

kafka

面试

数据

数据丢失

原创 2023-07-30 22:56:22 490 阅读

大数据面试题：超详细版MapReduce工作原理

大数据

mapreduce

面试

数据

环形缓冲

原创 2023-07-30 22:56:17 90 阅读

大数据面试题：HBase读写数据流程

大数据

hbase

面试

Server

数据

原创 2023-07-30 22:56:09 98 阅读

大数据面试题：Kafka的消费者和消费者组有什么区别？为什么需要消费者组？

大数据

kafka

面试

数据

原创 2023-07-23 00:02:31 152 阅读

大数据面试题：Kafka的Message包括哪些信息

大数据

面试

时间戳

取值

原创 2023-07-10 06:44:54 148 阅读

大数据面试题：Zookeeper架构

大数据

zookeeper

架构

客户端

返回结果

原创 2023-07-02 00:50:03 117 阅读

大数据面试题：Hive的cluster by 、sort by、distribute by 、order by 区别？

Hive的cluster by 、sort by、distribute by 、order by 区别

hive

面试

大数据

升序

Hive

原创 2023-06-24 10:52:16 334 阅读

HBase为什么查询快

hbase

大数据

面试

数据

存储方式

原创 2023-06-24 10:52:11 628 阅读

Hadoop的mapper和reducer的个数如何确定？reducer的个数依据是什么？

；分片是按照splitszie的大小进行分割的，一个split的大小在没有设置的情况下，默认等于hdfs block的大小。x为reduce的数量。

hadoop

大数据

面试

HDFS

文件分割

原创 2023-06-18 17:44:37 357 阅读

Hive的用户自定义函数实现步骤与流程

参考答案：1、如何构建UDF？用户创建的UDF使用过程如下：第一步：继承UDF或者UDAF或者UDTF，实现特定的方法；第二步：将写好的类打包为jar，如hivefirst.jar；第三步：进入到Hive外壳环境中，利用add jar /home/hadoop/hivefirst.jar注册该jar文件；第四步：为该类起一个别名，create temporary function mylength

hive

大数据

面试

jar

自定义

原创 2023-05-29 10:11:03 205 阅读

字节电商大数据开发一面，已过，面试题已配答案

数据仓库

大数据

面试

数据

数据质量

原创精选 2022-12-26 16:31:40 390 阅读

Spark的内存管理机制

spark

序列化

内存管理

原创 2022-11-21 11:03:38 212 阅读

计算机网络面试题

网络

服务器

tcp/ip

客户端

服务器端

原创精选 2022-11-19 06:42:21 226 阅读

悲观锁与乐观锁

java

面试

数据库

数据

乐观锁

原创 2022-11-13 00:34:05 75 阅读

Flink面试进阶篇

flink

大数据

面试

数据

并行度

原创 2022-11-13 00:04:02 187 阅读

Spark面试题—Spark Troubleshooting

大数据

spark

数据

故障排除

原创 2022-11-13 00:03:47 97 阅读 1收藏

Spark常见数据倾斜情况及调优方案

大数据

spark

hive

数据倾斜

数据

原创 2022-11-13 00:03:41 279 阅读

Spark面试题——说下对RDD的理解？RDD特点、算子？

大数据

spark

面试

数据

缓存

原创 2022-11-06 00:07:56 150 阅读

Spark面试题——Spark小文件问题及解决方案

Spark小文件问题及解决方案

hive

大数据

spark

并行度

原创 2022-11-06 00:07:49 225 阅读

阿里云大数据开发三面面经，已过，面试题已配答案

1024程序员节

大数据

spark

数据

flink

原创 2022-10-30 18:09:35 165 阅读

数据仓库面试题——数据仓库分层

数据仓库分层

数据仓库

数据挖掘

数据库

数据

原始数据

原创 2022-10-30 18:09:23 229 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

蓦然

大数据面试题：Spark的任务执行流程

大数据面试题：Spark和MapReduce之间的区别？各自优缺点？

大数据面试题：Spark和Flink的区别

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

大数据面试题：MapReduce压缩方式

大数据面试题：Hadoop中的几个进程和作用

大数据面试题：HBase的读写缓存

大数据面试题：HBase的RegionServer宕机以后怎么恢复的？

大数据面试题：Kafka的单播和多播

大数据面试题：Kafka怎么保证数据不丢失，不重复？

大数据面试题：超详细版MapReduce工作原理

大数据面试题：HBase读写数据流程

大数据面试题：Kafka的消费者和消费者组有什么区别？为什么需要消费者组？

大数据面试题：Kafka的Message包括哪些信息

大数据面试题：Zookeeper架构

大数据面试题：Hive的cluster by 、sort by、distribute by 、order by 区别？

HBase为什么查询快

Hadoop的mapper和reducer的个数如何确定？reducer的个数依据是什么？

Hive的用户自定义函数实现步骤与流程

字节电商大数据开发一面，已过，面试题已配答案

Spark的内存管理机制

计算机网络面试题

悲观锁与乐观锁

Flink面试进阶篇

Spark面试题—Spark Troubleshooting

Spark常见数据倾斜情况及调优方案

Spark面试题——说下对RDD的理解？RDD特点、算子？

Spark面试题——Spark小文件问题及解决方案

阿里云大数据开发三面面经，已过，面试题已配答案

数据仓库面试题——数据仓库分层

欢迎