乐胖代购免代理版

yarn架构组件

YARN 总体上是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slave。YARN的基本组成结构，YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成。ResourceManager是Master上一个独立运行的进程，负责集群统一的资源管理、调度、分配等等；NodeManager是Slave上一个独立运行的进程，负责上

hadoop

大数据

应用程序

资源分配

重启

原创 2022-02-16 16:24:59 153 阅读

大数据高频面试题之Hive的数据存储格式

类型texfile：默认的存储格式：普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。sequencefile：提供的一种二进制存储格式，可以切割，天生压缩。rcfile：提供的是一种行列混合存储方式，该方式会把相近的行和列数据放在一块儿，存储比较耗时，查询效率高，也天生压缩。orc：是rcfile的一种优化存储。parquet：自定义输入输出格式。具体描述1）texfile普通文本文件（通常默认的就是这个格式）创建表create table if not exists one (

大数据

hive

hadoop

大数据面试

hive面试题

原创 2022-02-16 15:56:13 115 阅读

HDFS架构和组成

HDFS架构和组成Hdfs 采用Master/Slave的架构来存储数据，

hdfs

hadoop

大数据

面试

大数据面试

原创 2022-02-11 11:38:39 130 阅读

MapReduce的优化

一、概述优化前我们需要知道hadoop适合干什么活，适合什么场景，在工作中，

hadoop

大数据

数据

数据倾斜

hdfs

原创 2022-02-11 11:33:45 260 阅读

如何使用MapReduce实现两表的join

map join：map side join 是针对一下场景进行的优化。两个待连接的表中，有一个表非常大

大数据

hadoop

数据

网络传输

数据分布

原创 2022-02-11 11:32:00 382 阅读

大数据面试之HDFS的读写流程

1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位置客户端得到文件块存储的位置后,会调用read()方法,去读取数据在读取之前会先进行一个checksum的操作,去判断一下校验和是否正确,正确则读,不正确则去下一个存放该block块的DataNode节点上读取读取完NameNode这次发送过来

hadoop

hdfs

大数据

客户端

数据

原创 2022-02-11 11:26:49 146 阅读

HDFS架构的稳定性

1. 心跳机制和重新复制每个 DataNode 定期向 NameNode 发送心跳消息。如果超过指定时间没有收到心跳消息，则将 DataNode 标记为死亡。NameNode 不会将任何新的 IO 请求转发给标记为死亡的 DataNode，也不会再使用这些 DataNode 上的数据。由于数据不再可用，可能会导致某些块的副本个数小于其默认值，NameNode 会跟踪这些块，并在必要的时候进行重新复制.2. 数据的完整性由于存储设备故障等原因，存储在 DataNode 上的数据块也会发生损坏。为了

hadoop

hdfs

大数据

数据

校验和

原创 2022-02-11 11:26:49 244 阅读

大数据面试之HDFS副本存放

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性在hdfs-site.xml当中修改dfs.replication配置属性，即可更改文件的副本数低版本Hadoop副本节点选择

hdfs

大数据

面试

数据

hadoop

原创 2022-02-11 11:26:49 373 阅读

HDFS的安全模式

什么时候进入安全模式？有两种方式人为进入集群二次启动安全模式有什么特点？安全模式中只能读取数据，不能修改数据（增、删、改）在安全模式下集群在做什么？在安全模式下集群在进行恢复元数据，即在合并fsimage和edits log，并且接受datanode的心跳信息，恢复block的位置信息，将集群恢复到上次关机前的状态如何进入/退出安全模式？进入:hdfs dfsadmin -safemode enter退出:hdfs dfsadmin -safemode leave.

hadoop

hdfs

大数据

安全模式

数据

原创 2022-02-11 11:26:48 116 阅读

大数据面试之HDFS高可用原理

HDFS高可用原理：HDFS HA（High Available）同时配置两个Namenode，状态分别是Active和Standby。Standby Namenode作为热备份，在机器发生故障时能够快速进行故障转移，同时在日常维护的时候进行Namenode切换。Namenode只能配置一主一备，不能多于两个Namenode。主Namenode处理所有的操作请求（读写），而Standby只是作为slave，用来同步主Namenode的状态，保证发生故障时能够快速切换。为了使Standby Namen.

hadoop

分布式

hdfs

数据

高可用

原创 2022-02-11 11:26:48 178 阅读

大数据高频面试题之Hive的优缺点

1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。2)避免了去写MapReduce，减少开发人员的学习成本。3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。缺点1．Hive的HQL表达能力有限（1）迭代式算法无法表达（2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效

hive

程序员面试

大数据面试

编程

大数据简历

原创 2022-02-11 11:26:48 235 阅读

大数据面试之HDFS的fsimage和edit logs文件分别指的是什么？

.fsimage：HDFS文件系统元数据的镜像文件，其中包含HDFS文件系统的所有目录和文件inode及相关属性的序列化信息。edits：用户操作的编辑日志文件，存放HDFS文件系统的所有更新操作的动作，文件所有写操作会被记录到Edits文件中。在namenode运行期间, 客户端对hdfs的写操作都保存到edit文件中, 久而久之就会造成edit文件变得很大, 如果namenode重启, 它会将fsimage中的内容映射到内存中, 然后再一条一条执行edit文件中的操作, 所以日志文件

hdfs

大数据

hadoop

文件系统

日志文件

原创 2022-02-11 11:26:48 104 阅读

HDFS压缩方式

文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格

大数据

hadoop

hdfs

mapreduce

压缩率

原创 2022-02-11 11:26:47 245 阅读

HDFS故障类型和其检测方法

常见的故障三种节点故障，通讯故障，数据损坏。节点故障主要关注DateNode的检查方法DateNode每三秒会向NameNode发送自己的心跳信息如果十分钟内NameNode没有收到心跳信息，就判定DataNode死亡通讯故障每当发送数据，接受者会回复一个应答信号如果没有收到应答信号（多

hadoop

分布式

大数据

数据

校验和

原创 2022-02-11 11:24:27 78 阅读

大数据高频面试题之Hive的内部表和外部表

创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，

数据仓库

hive

大数据面试

程序员面试

大数据简历

原创 2022-02-11 11:22:32 205 阅读

HDFS的特点

高容错保存多个副本，且提供容错机制。副本丢失或宕机自动恢复，默认存3份。系统故障是不可避免的，如何做到故障之后的数据恢复和容错处理是至关重要的

hdfs

大数据

大数据面试

面试

数据

原创 2022-02-11 11:22:07 156 阅读

HDFS集群优化

hadoop

hdfs

数据

数据块

原创 2022-02-11 11:21:14 285 阅读

简单的介绍一下YARN

Apache、可靠性差：采用了master/slave结构，master容

hadoop

大数据

yarn

mapreduce

资源管理器

原创 2022-02-07 17:20:41 97 阅读

mapreduce为什么分两部分

是为了实现分布式计算，提高计算效率。很多情况下都是需要对整个数据集进行计算操作，单单的分成每个单独的小部分虽然能提高计算效率，但是导致无法结果汇总进行处理，使得更加能满足一般需求...

mapreduce

分布式计算

数据集

原创 2022-02-07 17:20:23 90 阅读

大数据高频面试题之HiveSQL的转化过程

Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树

hive

sql

大数据

大数据面试

程序员面试

原创 2022-02-07 17:17:41 94 阅读

MapReduce编程模型简述（mr任务流程）

1.在客户端执行submit()方法之前,会先去获取一下待读取文件的信息 2.将job提交给yarn,这时候会带着三个信息过去(job.split(文件的切片信息),jar.job.xml) 3.yarn会根据文件的切片信息去计算将要启动的maptask的数量,然后去启动maptask 4.maptask会调用InPutFormat()方法去HDFS上面读取文件,InPutFormat()方法会再

大数据

hadoop

mapreduce

数据

读取文件

原创 2022-02-07 17:17:33 201 阅读

Hive是什么？

Hive是什么？一、概述Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模

大数据

hive

hadoop

mapreduce

原创 2022-02-07 17:17:11 234 阅读

MapReduce的序列化

1．概述序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。当要在进程间传

hadoop

mapreduce

大数据

序列化

反序列化

原创 2022-02-07 17:16:51 43 阅读

Mapreduce的combiner

每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。combiner是MR程序中Mapper和Reducer之外的一种组件 combiner组件的父类就是Reducer combiner和reducer的区别在于运行的位置： Combiner是在

mapreduce

大数据

网络传输

父类

原创 2022-02-07 17:16:37 51 阅读

Hadoop为什么会有Yarn?

Hadoop为什么会有Yarn?Hadoop2.x较Hadoop1.x来说，变化非常大，主要主要体现在Hadoop2.x引入了“Yarn”这个核心部件。hadoop1.x有两大部件，HDFS和MadpReduce，其中HDFS（Hadoop Distributed Files System）用于分布式存储文件，由一个NameNode和多个DateNode组成，便于集群中各机器从上面读

hadoop

大数据

hdfs

mapreduce

原创 2022-02-07 17:16:28 103 阅读

大数据高频面试题之Hive怎么解决数据倾斜

场景： MR中,shuffle阶段的一个key值对应了很多值,那么就会将这么多值分到一个分区中hive中,两个表做join maptask中一个任务处理的时间明显大于其他task的时间就是出

大数据

hive

大数据面试

Hive面试题

hive优化

原创 2022-02-07 17:16:16 106 阅读

大数据高频面试题之Hive的自定义函数

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2）当Hive提供的内置函数无法满足你的业务处理需要时，自定

hive

大数据

面试

大数据面试

大数据开发

原创 2022-02-07 17:16:05 91 阅读

大数据高频面试题之Hive的小文件合并

（1）在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合

hive

大数据

大数据面试

hive面试题

hive优化

原创 2022-02-07 17:15:15 154 阅读

8周吃透JVM之年薪百万的Java架构师每天都会思考什么?

思考如何让我的系统变得更快，如何避免系统出现瓶颈。生产中经常会遇到的问题运行着的线上系统突然卡死，系统无法访问，甚至直接OOM！想解决线上JVM GC问题，但却无从下手。新项目上线，对各种JVM参数设置一脸茫然，然后就GG了。每次面试之前都要背一遍JVM的一些原理概念性的东西，然而面试官却经常问把你在实际项目中如何调优JVM参数的，如何解决GC、OOM等问题，导致你一脸懵逼架构师的任务，就是解

java

面试

开发语言

参数设置

无法访问

原创 2022-01-18 10:12:10 44 阅读

字节二面，居然给我出的是这道算法题（8）【推荐收藏】

题目是：定义一个二叉树结构，并实现一个接受根结点作为参数，将二叉树中每个节点的左右子节点交换位置的二叉树翻转方法。我给出了以下答案：/** * Definition for a binary tree node. * public class TreeNode { * int val; * TreeNode left; * TreeNode right; * Tr

算法

二叉树

结点

子节点

原创 2022-01-18 10:11:45 32 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据面试宝典

yarn架构组件

大数据高频面试题之Hive的数据存储格式

HDFS架构和组成

MapReduce的优化

如何使用MapReduce实现两表的join

大数据面试之HDFS的读写流程

HDFS架构的稳定性

大数据面试之HDFS副本存放

HDFS的安全模式

大数据面试之HDFS高可用原理

大数据高频面试题之Hive的优缺点

大数据面试之HDFS的fsimage和edit logs文件分别指的是什么？

HDFS压缩方式

HDFS故障类型和其检测方法

大数据高频面试题之Hive的内部表和外部表

HDFS的特点

HDFS集群优化

简单的介绍一下YARN

mapreduce为什么分两部分

大数据高频面试题之HiveSQL的转化过程

MapReduce编程模型简述（mr任务流程）

Hive是什么？

MapReduce的序列化

Mapreduce的combiner

Hadoop为什么会有Yarn?

大数据高频面试题之Hive怎么解决数据倾斜

大数据高频面试题之Hive的自定义函数

大数据高频面试题之Hive的小文件合并

8周吃透JVM之年薪百万的Java架构师每天都会思考什么?

字节二面，居然给我出的是这道算法题（8）【推荐收藏】

欢迎