简介 本向导简述了YARN资源管理器的HA，并详述了如何配置并使用该特性。RM负责追踪集群中的资源，并调度应用程序（如MapReduce作业）。Hadoop2.4以前，RM是YARN集群中的单点故障。HA特性以Active/Standby RM对的形式对集群添加了冗余，从而消除了这种单点故障。 架构 RM故障恢复RM HA是通过Active/S
转载
2023-07-16 22:26:59
774阅读
零 ，基础知识 ：1 ，目的 ：用 emr 处理 s3 中的数据。2 ，适用场景 ：适合 ： 学习使用为什么这篇文章的内容只适合学习用 ： 没有详细配置为什么不适合生产，我们还要看这篇文章呢 ： 因为这篇文章讲解的是开发流程，先懂流程，才能看以后的细节。3 ，5 大步骤 ：步骤 1：设置先决条件步骤 2：启动集群步骤 3：允许 SSH 访问步骤 4：运行 Hive 脚本以处理数据步骤 5：清理资源
代码地址：https://github.com/brandon-rhodes/fopnp/tree/m/本书在kindle显示为乱码。背景：https://github.com/brandon-rhodes/fopnp/tree/m/playground以下每台机器可以用docker容器实现。
RPC
RPC简介远程过程调用(Remote Pr
转载
2023-10-18 20:38:24
68阅读
HBase/Hadoop学习笔记 学习目标： 至少掌握五点：1. 深入理解HTable，掌握如何结合业务涉及高性能的HTable。2. 掌握与HBase的交互，通过HBase Shell命令及Java API进行数据的增删改查。3. 掌
--rm容器退出时就能够自动清理容器内部的文件系统
原创
2021-06-17 11:35:57
3103阅读
# Docker run --rm 是什么意思？
在使用 Docker 运行容器时，我们经常会遇到 `docker run` 命令。其中，`--rm` 是一个常用的参数选项，它用于在容器退出后自动删除容器。本文将介绍 `docker run --rm` 的具体意义以及如何使用它。
## 为什么要删除容器？
在使用 Docker 运行容器时，我们通常会创建临时的容器来执行某项任务。这些任务可能
原创
2023-08-12 06:37:41
2413阅读
--rm容器退出时就能够自动清理容器内部的文件系统
原创
2022-03-28 13:42:21
328阅读
一、Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础框架 2、主要解决，海量数据的存储和海量数据的分析计算问题 3、广义上来说，Hadoop通常是指一个更广泛的概念–hadoop生态圈二、Hadoop发展历史1、 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整
转载
2023-07-12 15:00:32
121阅读
1 Read Uncommitted（读未提交） 在RU级别下，所有的事务都可以看到其他未提交事务所修改的数据，也就是说，在这个隔离级别下会产生脏读和幻读的问题。该级别性能也并不比其他隔离级别好多少，因此很少实际使用。在「读未提交」隔离级别下，可能发生脏读、不可重复读和幻读现象；2 Read Committed(提交读) 在RC级别下，一个事务开始执行后，只能看到其他已经提交的事务造成的修改，
vim是什么？vim是Linux环境下一款功能强大、高度可定制的文本编辑工具，类似于Windows下面的source insight、sublime、notepad。VI是visual interface的缩写，即可视化接口。vim 即 vi IMproved，在 vi 的基础上做了很多改进，如：增加了多级撤销、多窗口操作、崩溃后也可以恢复、增加了稳定性、关键字自动补全、上下文自动补全等功能。vi
转载
2023-09-22 21:45:17
100阅读
# 深入了解Hadoop中的Pig
在大数据处理的广袤天地里，Hadoop如同一盏明灯，为数据分析提供了强大的支持。而Pig，作为Hadoop生态系统的一部分，以其灵活性和易用性吸引了众多开发者与数据分析师的关注。本文将探讨Pig的含义、功能以及实际应用，并提供相关代码示例。
## 什么是Pig？
Apache Pig是一个用于大规模数据处理的高级平台，主要用于处理和分析存储在Hadoop分
Hadoop2.X MR作业流情景概述:作为HFDS的高层建筑,MR被设计与在大型分布式文件系统之上的离线数据运算,在对一些运算时效性要求不高的场景中更适合于MR作业,MR在ETL流不同阶段可扮演不同的角色,甚至在某些场景下基于MR的链式操作可完成ETL的整个流程.MR概述:Hadoop MR(Mapper Reduce) 是一个软件架构的实现,用户处理大批量的的离线数据作业,运行于大型集群中,硬
0. 项目背景基于阿里云ECS云服务器进行搭建私有的大数据平台，采用Apache Hadoop生态，为大数据提供存储及处理。 1. 购买ECS云服务器实例在这里，因为实验需要3个节点，所以我们购买3台ECS实例。 2. 远程登录服务器，进行基础环境的配置。# 工欲善其事，必先利其器# 前提准备 # 安装系统命令yum -y install wget vim ntpdate net-tools
HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个
转载
2023-07-20 23:27:12
370阅读
Hadoop狭义的Hadoop VS 广义的Hadoop广义的Hadoop：指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分，生态系统中每一子系统只解决某一个特定的问题域（甚至可能更窄），不搞统一型的全能系统，而是小而精的多个小系统；Hive:数据仓库R:数据分析Mahout:机器学习库pig：脚本语言，跟Hive类似Oozie:工作流引
转载
2023-09-20 20:17:50
123阅读
JPS（是jdk的工具）：表示查看当前主机有哪些运行的进程
NameNode ：表示主节点
DataNode：表示数据节点
SecondaryNameNode ：表示次要名称节点
--节点表示：一台机器
进程是运行在机器上的，一个软件可以有多个进程（分布式软件：Hadoop）
HDFS只是Hadoop的一部分，Hadoop还有MR、yarn
HDFS是分布式软件系统：将文件自动分布在三台机器上（副
==和===定义==和===虽然都是关系表达式运算符，但它们的定义是有所不同的：
==:称作相等运算符（Equality Operator），它用来检测两个操作是否相等，这里的相等的定义非常宽松，可以允许类型的转换
===:称作严格相等运算符(Strict Equality)，也被称之为恒等运算符(Identity Operator)或全等运算符，它用来检测两个操作数是否严格相等== 和 ===运
转载
2023-10-07 22:32:43
241阅读
● Java中, System是什么，out和in是什么?在Java编程中，我们常常用System.out.println()方法来输出字符串，也许我们都已经猜到println()是方法名，但System是什么，out又是什么呢？ 这里就涉及用到一个static关键字。如下图，其实System是java.lang里面的一个类。 out是java.io.PrintStream类的对象。
转载
2023-07-18 12:02:11
316阅读
相信很多没有系统了解过Linux的小伙伴会和我一样，在按照教程进行某些环境配置类工作时，遇到一些看上去令人一脸懵逼看不出意思的英文缩写组成的linux命令，并且经常对于linux系统的组织结构和操作方式感到迷惑，所以为了对Linux系统有更多理解，我就去看了一下相关资料，发现豆瓣上很多人推荐这本书，自己看过也觉得作为Linux系统的入门挺不错的，推荐类似小伙伴可以去读一下。chap01-0301
近期，打算hbase建表用snappy压缩时，碰到一些hadoop本地库的问题。事实上这些问题是一直存在的，仅仅是不影响正常使用，就没有引起重视。这次希望彻底解决下面问题：问题一：运行start-dfs.sh时出现下面日志
xxxx: Java HotSpot(TM) 64-Bit Server VM warning: You have loa
