修改主机名（主机默认是带_的。如果不修改，远程hdfs-client通过主机名访问时会报java.lang.IllegalArgumentException:Does not contain a valid host:port）
1.--查看主机名
hostname
2.--设置当前主机名为master
hostnamectl set-hostname maste
3.--重启
rb
转载
2023-08-13 13:20:55
0阅读
前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里，以我之前学习研究大快搜索DKHadoop时经
转载
2023-08-18 20:49:06
32阅读
1. 规划功能HOSTNAMEIP说明MasterHDM01192.168.1.1Namenode 兼datanode SlaveHDS02192.168.1.2Datanode SlaveHDS03192.168.1.3Datanode ClientHDC04192.168.1.4HADOOP客户端(H
转载
2023-12-25 13:40:18
29阅读
阿里云服务器怎么安装mysql数据库？阿里云服务器ECS如何安装mysql数据库教程。主机教程网下面就来分享一下阿里云服务器安装mysql数据库教程。第一步1、登录个人的阿里云服务管理终端2、点击进入远程连接，输入之前设置的远程登录密码（如果这里之前没有配置过，请百度下，这里先省略）3、正确输入密码后，进入终端第二步（完成上面的步骤，就可以进行真正的配置了）这里我们采用yum进行安装，（网上的资料
转载
2023-11-21 21:36:10
53阅读
文章目录前言一、服务器准备1、服务器列表二、安装包准备三、安装步骤第一步：上传解压2 配置java环境第二步：vim hadoop-env.sh第三步：在 Linux 中配置 Hadoop 环境变量第四步：验证第五步：修改hosts第六步：设置 SSH 免密码登录第七步：配置HDFS第八步：配置NameNode节点第九步：修改hostName第十步：格式化 NameNode 以及启动 HDFS
转载
2023-08-10 23:41:35
92阅读
首先我们服务器有一块SSD磁盘，一块咱们正常的磁盘，安装系统的时候会提前让你分，但是我把分区都删了后就按默认的来了，到最后发现第二块硬盘显示但是没挂载。首先查看磁盘分区情况df -h然后会看到你目前的磁盘分区情况，如果说你的第二块硬盘你看不到直接输入下面命令查看：fdisk -l会看到你 /dev/sda1 /dev/sda2 第二块应该是 /dev
转载
2023-12-13 02:41:57
20阅读
最近微软先行放出发布了下一代Windows服务器版本windows server 2012，笔者下载下来测试安装了，相对于windows server 2008，确实有许多细节方面的改进。我是通过vmware workstation 8来安装windows server 2012的，由于安装的时候无法选择2012只好选择windows server 2008 64位版本的。启动界面，由前一个版本的
转载
2023-11-27 00:15:58
76阅读
第二步，我们来装一下 远程linux服务器的桌面环境，oracle安装必须要桌面环境的。好多的选项也只能在桌面环境中点击才能生效，好，我们现在来装一下桌面环境#yum groupinstall 'X Window System' -y (先安装图形用户接口)
#yum groupinstall 'GNOME Desktop Environment' -y (安装GNOME桌面环境
二、Hadoop教程之分布式环境集群搭建讲解（详细）前言1. 布式环境部署（1） 准备工作（2） 配置工作（3） 启动工作（4） 查看集群 前言本文只介绍安装部署Apache Hadoop2.x版本，后续文章将来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。1. 布式环境部署分部式是真正利用多台 Linux 主机来进行部署 Had
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2023-07-25 20:57:22
69阅读
配置远程登录1） 在自己的linux机上搭好hadoop2） 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加，格式为：第一部份：网络IP地址。第二部份：主机名.
转载
2023-07-13 13:33:58
49阅读
安装所需 1.vmware 2.镜像文件(如需文件，评论邮箱私发)安装步骤 下面将一步一步的进行说明，前提需要准备好vmware和镜像文件，最好记住镜像文件保存的位置，过程中可能会用到。1.打开vmware，选择创建新的虚拟机 2.任选一个，此处选择第一个 3.先后进行1，2步骤 4.选择操作系统和版本 5.设置虚拟机名称和安装位置 6.设置磁盘大小，分成多个文件，后面要自己定义文件 7.点击完成
转载
2023-12-26 09:20:27
44阅读
一、Hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。二、Hadoop集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、S
转载
2023-07-24 11:02:30
36阅读
一 准备 i. 一个安装好的linux系统，i. jdk软件 jdk-8u144-linux-x.rpmi. hadoop 软件 ...
原创
2022-04-25 16:43:27
77阅读
文章目录1.主节点主机名和静态IP配置a) 主节点主机名b) 静态IP2.修改主节点的/etc/hosts文件,添加IP和主机名的对应关系3.配置JDK1.84.关闭防火墙(开机自启防火墙关闭即可)5.关闭selinux6.hadoop环境安装部署7.复制第一台机器作为二、三节点8.启动集群 1.主节点主机名和静态IP配置a) 主节点主机名vi /etc/sysconfig/network
# 服务器上安装Hadoop和Hive的方案
## 引言
随着大数据时代的到来，Hadoop和Hive成为了数据处理和分析的重要工具。本方案将指导如何在服务器上安装Hadoop和Hive，以满足处理海量数据的需求。本文将具体介绍所需工具、安装步骤及示例代码，以便用户能够轻松地搭建Hadoop和Hive环境。
## 环境准备
在开始安装之前，确保您的服务器满足以下要求：
- 操作系统：Li
# 在单台云服务器上安装Hadoop的指南
Hadoop是一个开源分布式计算框架，其能够处理大量数据。对于初学者来说，了解如何在单台云服务器上设置Hadoop是一个重要的起步。本文将提供详细的步骤和代码示例，帮助你顺利完成安装。
## 整体流程
下面的表格展示了在单台云服务器上安装Hadoop的整体流程：
| 步骤编号 | 操作内容 | 备注
大数据概论大数据概念大数据（Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据特点1、Vohume(大量) 截至目前，人类生产的所有印刷材料的数据量是20PB，而历史上全人类总共说过的话的数据量大约是SEB。当面。曲型个人计算机硬盘的客量为TB量及，而—世天
【服务器数据恢复介绍】
一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢复备份】
&
1、下载hadoop这里搭建最新的hadoop3.3.0版本的集群，进入hadoop官网https://hadoop.apache.org/releases.html找到要下载的版本，我这里选择的是当前最新的3.3.0版本。进入下载页面，选择清华大学的镜像（速度快）进行下载。wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
转载
2023-09-26 15:52:43
87阅读
