IntelliJ IDEA连接Hadoop集群
注意事项
- 该Hadoop集群为远程Hadoop集群
- Hadoop集群已配置完毕,若未配置完
- IntelliJ IDEA所在的操作系统为Windows
- IntelliJ IDEA所在操作系统已安装JDK
- 将hadoop-2.6.0.rar压缩包解压
- 增加系统变量HADOOP_HOME,变量值为hadoop-2.6.0.rar压缩包解压所在的目录
- 在系统变量中对变量名为PATH的系统变量追加变量值,变量值为 %HADOOP_HOME%/bin
- 解压下载的winutils,找到对应或邻近版本的Hadoop,进入其bin目录,将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录
- 依次点击“File”→“Settings”,在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”,勾选User Settings File和Local repository的Override选项
- 将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2(每个人根据上图方框内的路径查找是否有该文件,若有,则覆盖原文件,若无,则直接拷贝到该目录)目录,可将IDEA中maven修改为阿里镜像
- 打开IDEA,依次点击“File”→“New”→“Project”,点击左侧Maven,勾选上方“Create from archetype”,在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart,点击“Next”
- GroupId和ArtifactId自行填写,填写完毕后点击“Next”
- 勾选User Settings File和Local repository的Override选项,更改Local repository为其他路径,建议该路径有较大容量,点击“Next”
- 填写项目名,选择项目存储路径,点击“Finish”
- 此时,一些Maven工程会被加载到项目中,若左侧Project框内无src文件夹,等待Maven工程下载完毕
下载中
下载完毕 - 在Project框中src/main目录中新建目录resources
- 将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制,并移动到上述src/main/resources目录中(拖拽即可),然后将下载的log4j.properties文件移动到src/main/resources目录中(防止不输出日志文件)
- 使用下载的pom.xml文件覆盖项目本身的pom.xml文件(直接拖拽即可),该文件中的一些版本号(比如JDK、Hadoop等)修改为自己电脑中对应的版本(不修改似乎也可正常运行)
- IDEA右下角会弹出更新确认框,点击Import Changes
- 等待更新完成即可,更新时,IDEA底部会出现“n processes running”,点击即可弹出更新进度
- 可运行以下WordCount程序以查看是否连接成功