查看HDFS集群状态在浏览器里访问http://master:9870 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射 此
转载
2024-02-02 11:01:39
2286阅读
如何返回hadoopmaster
# 介绍
Hadoop是一个开源的分布式计算平台，由Apache开发。它提供了一个可靠的、可扩展的分布式文件系统（Hadoop Distributed File System，简称HDFS）和一个基于MapReduce编程模型的计算框架。Hadoop集群由多个节点组成，其中包括一个称为hadoopmaster的主节点，以及多个称为hadopenslave的从节点
原创
2023-12-28 08:21:55
13阅读
# 在HadoopMaster中配置主机名
Hadoop是一个流行的开源框架，用于处理大量数据。Hadoop的集群架构通常包括一个主节点（Master）和多个从节点（Workers）。为了有效地管理和协调这些节点，合理配置主机名是至关重要的一步。本文将带您了解如何在Hadoop的Master节点中配置主机名，并提供相关代码示例及图示说明。
## 1. 主机名的重要性
在Hadoop集群中，主
30-hadoop-集群配置（入门）:1）集群部署规划注意：➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。hadoop102hadoop103hadoop104HDFSNameNode DataNodeDataNodeSecond
转载
2023-12-04 17:44:29
56阅读
一、目标：1.完成Hadoop的部署和配置 2.正常启动/关闭Hadoop集群，并完成基准测试 3.理解分布式文件系统的设计思想 4.熟练操作Hadoop集群二、Hadoop的安装与部署一、切换到root用户：su - root 二、关闭selinux： vim /etc/selinux/config SELINUX=disabled1.将软件包上传到node100（Windows使用xftp上传
转载
2023-09-25 12:57:52
117阅读
hadoop作业全流程图解!
作业提交全过程详解
（1）作业提交第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第2步：Client向RM申请一个作业id。第3步：RM给Client返回该job资源的提交路径和作业id。第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。第5步：Client提交完资源后，向RM申请
原创
2022-01-14 11:00:00
105阅读
## 在 HadoopMaster 的终端执行 jps 命令，查看进程
### 1. 整体流程
下面是在 HadoopMaster 的终端执行 jps 命令并查看结果的整体流程：
| 步骤 | 操作 |
| --- | --- |
| 步骤1 | 连接到 HadoopMaster 的终端 |
| 步骤2 | 执行 jps 命令 |
| 步骤3 | 查看 jps 命令的输出结果 |
###
原创
2023-07-01 10:53:37
365阅读
core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和port fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesec
转载
2017-08-11 10:08:00
263阅读
它在哪里呢？ 非常重要！ [hadoop@HadoopMaster custom]$ pwd/home/hadoop/app/elasticsearch 2.4.3/plugins/ik/config/custom[hadoop@HadoopMaster c
转载
2019-04-15 17:25:00
80阅读
2评论
一、集群规划这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：hadoopmaster nameNode 192.168.100.11hadoopnode2 dataNode 192.168.100.12hadoopnode3 dataNode 192.168.100.13注意：本文中hadoopmaster可能简称为master，hadoopnode2可能
转载
2023-08-01 19:52:44
131阅读
本文基于实验室已经搭建好的Hadoop平台而写，使用Python调用happybase库。1.thrift 是facebook开发并开源的一个二进制通讯中间件，通过thrift，我们可以用Python来操作Hbase 首先开启Hadoop平台的HadoopMaster的thrift服务，用Xshell连接HadoopMaster，用root用户
安装1.安装准备工作：下载的sqoop安装包2.解压文件到工作目录:hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/hadoop_family/sqoop-1.99.6-bin-hadoop200.tar.gzhadoop@hadoopMaster:mv /opt/hn/hadoop_family/sqoop-1.99.6-bin-hadoop200 /us
在HadoopMaster上启动Firefox浏览器，输入http://master:18088/,检查YARN是否正常，如下图则为正常。
原创
2019-08-19 08:44:21
58阅读
在HadoopMaster上启动Firefox浏览器，输入http://master:50070/,检查NameNode和DataNode是否正常，如下图则为正常。
原创
2019-08-19 08:42:50
52阅读
CentOS 7安装Hadoop一、启动两台虚拟客户机1.打开VMware Workstation142.打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave
二、Linux系统配置
以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：
[lyu@mas
转载
2023-08-03 20:23:36
1417阅读
1、查看当前的文件系统[root@hadoopmaster bin]# ./hadoop fs -ls /Found 2 itemsdrwxr-xr-x- root supergroup0 2013-08-24 00:47 /tmpdrwxr-xr-x- root supergroup0 201
原创
2022-06-14 22:08:53
215阅读
Hadoop 启动没有 datanode 进程 解决方法
1 现象说明新搭建的hadoop 3.1.1 的环境，在启动Hadoop时，通过jps目录发现Slave上没有datanode进程。如下：[cndba@hadoopmaster ~]$ jps
23234 ResourceManager
22998 SecondaryNameNode
23575 Jps
22683 NameNode
[c
转载
2023-06-28 15:45:23
0阅读
eclipse连接远程Hadoop报错，Caused by: java.io.IOException: 远程主机强迫关闭了一个现有的连接。全部报错信息如下:Exception in thread "main" java.io.IOException: Call to hadoopmaster/192...
转载
2015-09-14 20:00:00
786阅读
2评论
配置计算框架mapred-site.xml步骤一：vim mapred-site.xml将下面的内容写入。 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> mapreduce.framework.name yarn 步骤二：在HadoopMaster节点配置s
原创
2019-08-02 10:57:13
23阅读
免秘钥登录配置Xshell：root账户登录HadoopMaster修改hosts:192.168.52.128 master192.168.52.130 slave192.168.52.129 slave1输入命令ping slaveping slave1在HadoopSlave及HadoopSlave1执行同样的操作。cat /etc/hosts验证一下：生成秘钥：s...
原创
2019-08-01 15:15:12
27阅读
