在linux下解压:添加链接描述
解压代码为:tar -zxvf jdk-8u172-linux-x64.tar.gz
解压存在为当前的路径改主机名:vi /etc/sysconfig/network
改映射文件完成地址****主机名映射:vi /etc/hosts
检查并生效看是否配置成功:
关闭防火墙,这样重启会再启动。
连接上一步关闭防火墙,这样重启不会再启动。
创建和删除文件夹目录
jdk解压并复制到制定位置:
装完jdk看是否能够执行,再进去修改etc/profile文件,再source /etc/pofile生效。
到这里java就是已经按转好了。
接下来就是hadoop,先把hadoop放在更目录下。然后执行(执行步骤和安装java一样,放在/usr/local/apps即可):
接下来解析这个hadoop(有三大组建,一个是yarn,一个是hdfs,两个是管理框架。而mapreduce是编程框架,需要yarn作为平台进行计算,也需要文件hdfs的管理支持获取数据。):
首先进去,就是bin目录;他是一些可执行文件;
etc就是一些hadoop配置文件(重要);
Sbin就是一些系统管理启动的命令(重要);
Include lib libexec 就是一些包,准确来说就是一些第三方的包;
Share是一些有maven打包好的东西,里面好有个webapps(位置在share的下一层Hadoop里)的结构,说明他可以由网业访问;
主要展示一些sbin管理命令(由./+名称执行):
到etc下hadoop-evn.sh里面修改java路径,让hadoop知道使用那个java
接下来修改一些hadoop运行的公共的配置(也就是以下的core-site.xml文件):
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-server-00:9020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/apps/hadoop-2.6.5/tmp</value>
</property>
</configuration>
参数详细解析:fs.defuaultFS是说hadoop文件系统默认用的那一钟文件系统;
hadoop.tem.dir是hadoop工作时产生的文件,工作的数据存放的位置;
然后改hdfs.site.xml这个文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
就是说你的数据要备份的数量,先设为1吧,毕竟才一台机器。
然后对mapreduce进行配置(先把名字改掉,不然文件不起作用);
因为就是mapruduce是计算框架,没有环境,给它一个运行平台yarn
接下来就要配置yarn的文件vi yarn-site.xml(接上一步供mr运行)讲了主节点是什么即resourcenamager.hostnanme制定的那个值,而下面的nodenamager是他mr的操作原理配置;<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-server-00</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
首先格式化,格式化
hadoop下的/sbin下的命令hadoop-deamon.sh是守护进程。用来开启namenode,datanode,secondarynamenode等进程(手动开启)
接下来手动启动yarn进程:
也是在/sbin中:
进程为resourcenamager,nodenamager
指令为:./yarn-daemon.sh start resourcenamager
./yarn-daemon.sh start nodemanager
全部一次性启动hdfs服务进程:
指令: ./start-dfs.sh
下面就是讲解如何生成密钥对,让机器免密登陆: ssh-keygen
接下来就是看你登陆到哪里去:后面跟的是你的主机名(这里是因为在/etc/hosts里面有过描写,就可以直接用主机名,不然就是要用ip地址)
指令·: ssh-copy-id hadoop-server-00
在这里插入代码片