1.域名的配置:ping不通虚拟机

进入C:\Windows\System32\drivers\etc目录下,修改host文件,添加以下内容:

192.168.88.100 node1.itcast.cn node1
192.168.88.101 node2.itcast.cn node2
192.168.88.102 node3.itcast.cn node3

问题:Linux输入history出现乱码

解决办法:可以用# reset    # tput sgr0 命令来进行恢复

问题:linux .sh文件执行时报错–bash: ./xxx.sh: /bin/bash^M: bad interpreter: No such file or directory

其实这是由于在windows下编辑或者写的sh文件,由于sh文件的格式为dos格式。而linux只能执行格式为unix格式的脚本。 
解决办法:
1.安装dos2unix            apt install dos2unix 
2.转换格式            dos2unix xxx.sh
3.把文件内容复制出来在删除原文件,执行复制的文件即可

问题:Hadoop运行没有namenode

解决办法:是初始化多次,导致的没有namenode,只需要删除data里面的Hadoop文件,在重写初始化
解决办法:是初始化没成功导致的,没有生成data文件,可能是命令敲错了 命令是:Hadoop namenode -format

问题:装上hive,启动报错

减少HDFS的副本有什么影响_初始化


解决办法:

第一步:检查在/export/server/hive/lib/下的mysql-connector-java-5.1.32.jar和hive-jdbc-2.1.0-standalone.jar 的2个jar包是否正确

第二步:设置Hadoop的登陆密码时要与mysql的登陆密码一致,在设置成功Hadoop密码时,可能会更改mysql的密码,这时候如果你用了其他密码初始化了,就相当于你已经改了mysql的密码,这时候只需要删除初始化形成的文件在把mysql里面的hive数据库删除在初始化即可

第三步:初始化metastore是否成功
命令是:$HIVE_HOME/bin/schematool -dbType mysql -initSchema
有可能你前面出问题,但是初始化成功了,会在mysql里面生成一个hive库,需要删除hive库,在进行初始化。初始化报错:Error: Duplicate key name ‘PCS_STATS_IDX’(state=42000,code=1061)
这是因为已经生成了hive数据库,登陆mysql删除hive数据库,然后重新初始化

第四步:在看有没有启动metastore服务和hiveserver2服务。使用jps可以看到2个runjar
启动命令是:
nohup /export/server/hive/bin/hive --service metastore &
nohup /export/server/hive/bin/hive --service hiveserver2 &

初始化之前需要source etc/profile,否则会报没有这个命令;

初始化错误:

减少HDFS的副本有什么影响_hadoop_02


这是因为没有对其进行授权,需要在mysql里给root用户进行授权.对其进行以下几步操作即可:

减少HDFS的副本有什么影响_hadoop_03


初始化成功界面:

减少HDFS的副本有什么影响_初始化_04


成功的进入hive:

减少HDFS的副本有什么影响_减少HDFS的副本有什么影响_05


成功的进入hive数据库:

减少HDFS的副本有什么影响_hadoop_06


用hadoop集群用MapReduce统计东西报该错误:

减少HDFS的副本有什么影响_hive_07


很有可能你jar包里少写了个调用设置主函数的代码,这时候

需要解决的方法就是需要使用 job.setJarByClass(JobMain.class);

使用setJarByClass方法可以解决,但是输入的文件与输出的文件都在hadoop上