以下内容截取自：在spark-1.6版本之前，采用HashShuffle，在spark-1.6版本之后使用Sort-Base Shuffle，因为HashShuffle存在的不足所以就替换了HashShuffle.在HashShuffle没有优化之前，每一个ShufflleMapTask会为每一个ReduceTask创建一个bucket缓存，并且会为每一个bucket创建一个文件。这个bucket
转载
2023-09-13 17:25:21
46阅读
大数据要解决的就是大规模数据存储、大规模数据计算、大规模数据处理，而 Hadoop 生态系统就是用来实现这些功能的。任务：电商平台里所有的用户在 PC 端和 App 上的浏览、点击、购买等行为日志都存放起来集中分析，并形成报表，以供老板每天查看。可以把大数据理解为 Hadoop 的生态圈(或者泛生态圈)。Hadoop 生态圈里的各种软件，比如 HDFS、Hive、Pig、Spark、Storm 等
文章目录1.服役新节点1.准备新节点2.服役新节点具体步骤2.退役旧数据节点 目标：掌握HDFS新添加节点到集群的步骤 1.服役新节点1.准备新节点第一步：复制一台纯净的虚拟机出来 注：纯净的虚拟机不能安装过hadoop软件，只配置过ip和JDK第二步：修改mac地址及其IP地址修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改
hdfs 如何实现退役节点快速下线（也就是退役节点上的数据块快速迁移）speed up decommission blocks removal
以下是选择复制源节点的代码代码总结：A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和。
1. 优先选择退役中的节点，因为其无写入请求，负载低。
2. 不会选
最近遇见加载程序写入hdfs速度缓慢问题。经过长时间的分析后解决，这里写下思路和解决方案。实时数据写入kafka过慢，导致加载到多个存储组件的sparkstreaming延迟过高。其中hbase10ms，tsdb70ms，hdfs20s。第一次尝试，分离加载程序，独立写入hdfs单独加载。速度仍然缓慢。通过日志分析得到，程序的瓶颈在于写的过程，即：InputStream in = new Buf
转载
2023-06-05 12:48:08
387阅读
前言经过了前5篇文章的介绍 ，本专栏的内容已经近半了。本文接下来主要介绍Spark中的流计算，以及编程的基本方法。在正式开始介绍流计算前，首先要理解几种不同的数据类型。然后给出流计算的基本框架以及其处理的基本流程。全部的Spark Streaming内容分为两篇，本文介绍其基本概念以及基本操作。下一篇主要是介绍如何设置输入源，且对其数据抽象DStream进行转换与输出操作。本文的主要内容包括以下几
## Spark如何传输HDFS数据
在Spark中，可以使用Hadoop Distributed File System（HDFS）作为底层存储系统来传输数据。HDFS是一个分布式文件系统，具有高容错性、高吞吐量和高可扩展性的特点。本文将介绍如何使用Spark来传输HDFS数据，并提供相应的代码示例。
### 准备工作
在开始之前，需要确保在Spark环境中正确配置了HDFS。以下是一个简
原创
2023-09-15 16:55:26
123阅读
1. 解决hdfs单点故障问题的方法HDFS HA：通过主备NameNode解决 一个集群中只能有一个NameNode处于工作状态 当主NameNode发送故障 则切换到备NameNode上（NameNode的两大功能：接收客户端的读写请求 存储元数据 ）整个集群在输入hdfs namenode -format时 产生元数据 此时hdfs集群还没有启动 主NameNode会格式化产生（初始化）fs
一、服役新数据节点1、需求 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。2、环境准备 (1) 在 hadoop153 主机上再克隆一台 hadoop154 主机(2) 修改 hadoop153 的ip地址和主机名称(3) 修改 roo
服役新数据节点随着业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来，作为新的节点第二步： 修改mac地址以及IP地址 修改mac地址命令 ： vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令
RPC(RemoteProcedureCall,远程过程调用)是一种通过网络从远程计算机上请求服务来得到计算服务或者数据服务，且不需要了解底层网络技术的协议和框架。RPC远程调用是构建在语言级别的，必须使用Socket通信完成，将现有的本地方法调用和Socket网络通信技术结合起来实现透明的远程调用过程。实现透明的远程调用重点是创建客户存根(clientstub)，存根(stub)就像代理(age
目录计算机集群结构HDFS的局限性：HDFS的优点：HDFS的主要组件名称结点NameNode FSImage文件SecondaryNameNode第二名称节点数据节点（DataNode）计算机集群结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（S
转载
2023-07-01 09:50:21
124阅读
Hadoop 和Spark完全分布式部署1. 配置相关服务器1.1 修改主机名hostname master1.2 修改/etc/hosts文件, 添加如下配置，方便通过主机名访问服务器127.0.0.1 localhost
master_ip master
worker1_ip worker01
worker2_ip worker021.3 配置ssh免密登录cd ~/.ssh
ssh-keyg
转载
2023-08-25 22:34:13
66阅读
1.HDFS简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。HDFS体系结构中有三类节点，一类是NameNode，又叫”名称节点/元
1.hdfs介绍Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。2.HDFS的特点它适用于在分布式存储和
1、生成票据
1.1、创建认证用户
登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作：
转载
2023-07-12 08:35:31
44阅读
1. HADOOP和spark的关系？如下图所示： Hadoop和 Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储, 也有计算处理的功能。Spark，则是一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。2.Hadoop主要包括哪些重要组
转载
2023-08-18 22:16:07
64阅读
1.前言E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装，方便用户使用SQL语言进行Spark流式分析开发。Spark Streaming SQL直接地透明地受惠于Spark SQL的优化带来的性能提升，同时也遵循Spa
Spark数据读取对于存储在本地文件系统或分布式文件系统（HDFS、Amazon S3）中的数据，Spark可以访问很多种不同的文件格式，比如文本文件、JSON、SequenceFileSpark SQL中的结构化数据源，包括JSON和Hive的结构化数据源数据库和键值存储，自带的库，联结HBase或其他JDBC源格式名称结构化备注文本文件否普通的文本文件，每行一条记录JSON半结构化每行一条记录
转载
2023-07-12 10:10:20
89阅读
1.创建黑名单配置文件进入到hadoop安装目录下etc/hadoop/touch dfs.hosts.exclude2.添加黑名单配置到 hdfs-site.xml中3.将退役节点的ip在白名单中移除vim dfs.hosts4.将退役节点ip在黑名单中添加vim dfs.hosts.exclude5.将文件在slaves中移除vim slaves6.刷新集群状态...
原创
2021-12-29 15:00:14
98阅读
1评论
