虚拟机中的Spark环境,年前早早已经安装好了,在今天开始了spark的学习,首先按照基础实验步骤开始进行;
一、今天首先完成了实验一,在实验一的的时候遇到的主要问题是,我的虚拟环境是Ubuntu14.04,在终端输入中文时,会报
[Invalid UTF-8]的错误,就导致一部分目录依靠命令行就进不去,就是很烦,通过查找原因,最终找到了解决问题的方法:
1、
找到首选项(如果没有就先将输入法调成拼音)
2、
将中文的全角/半角切换成半角,保存。
3、重启虚拟机就可以了。
实验一都是一些基础的Linux命令,以及用FTP工具进行数据的传输,都比较简单
二、实验二就开始了Scala的编程,首先我没有对实验进行操作,而是根据林子雨老师的教程进行试验,但是在对程序进行打包是遇到了错误;
卡在这一直不动,我本以为就是要等会,但是一直不动,我就反复的结束进程再执行命令,但是一直就不行,
最后找到原因是:有多个sbt终端同时在运行,使得多个进程同时在访问.sbt.ivy.lock,才导致进行锁的机制,最简单的方法就是,关闭终端重新启动就可以了;
或者是打开你的资源管理器,将进程全部kill掉;网上还有一种方法就是进入相应的目录把里面的文件都删除了,在重新运行(不知道可行否)。
三、我学习一些东西都爱到B站上找资源,为了学习Spark和Scala语言,我在B站上找了三个系列的教学视频,都只是看了开头的一部分,还没有进一步深层次的学习,