spark 输出文件指定分隔符

转载

代码工匠大师 2024-12-26 09:16:36

文章标签 spark 输出文件指定分隔符 spark scala intellij Scala 文章分类 Spark 大数据

环境:
1, ubuntu 16.04
2, Intellij
3, jdk1.8
4, Scala2.11
5,Spark 2.1.1
操作过程:
一,安装好Intellij,配置jdk,这些就不详细写了.
二,安装Scala
1)下载Scala
scala下载地址
这里注意Scala需要下载2.12之前的,spark目前不支持2.12之后的Scala的版本,之前我就吃了这个亏.
2)解压

tar -xvzf scala-2.11.1.tgz -C ~/

这里我解压到自己用户主目录下,配置环境变量的话换成应该换成自己解压的目录
3)配置环境变量
这里我忘记是自动配置还是自己配的了,总之如果解压之后没有那就自己配置吧.打开当前用户目录下的.bashrc文件,将下边环境变量配置加到文件中.

export SCALA_HOME=/home/lovixs/scala-2.11.1
    export PATH=${SCALA_HOME}/bin:$PATH

4)验证
输入scala,如果进入scala的控制台,说明安装就成功了.
三,安装Spark
这个下载去官网把Spark下载即可.
spark下载链接
这个解压到自己的工作目录即可
注意:这里如果网络不好可以换个网络试一下,我下载的时候就是校园网下不动,cmcc却很快.
四,在Intellij新建一个项目
1,安装scala插件
首先在intellij中安装scala插件,File => Setting => Plugins,在搜索拦输入Scala,然后点击下边Browse Repositories,搜索到之后点击Install,然后重启Intellij即可
2,新建一个Sbt项目
Sbt是类似Maven的一个管理Scala项目和打包的工具,所以这里直接新建一个Sbt项目.
New => Project => Scala,然后选择SBT,点击Next即可
这一步可谓是最麻烦的,麻烦倒不是操作麻烦,而是网络.因为使用sbt来管理和打包scala项目,sbt的一些插件和jar包是真的很慢.网上有一种方法,大家不妨试一试.
* 在.sbt/目录下新建 repositories
* 在repositories中写入一下内容,起始就是把sbt下载的源改为国内的.

[repositories]
  local
  oschina-ivy:[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]

然后再下载可能会快点.
当然我试了试貌似对我不感冒,最后用cmcc配置了个代理才成功.
代理是在Setting => Appearance & Behavior => System Setting => HTTP Proxy中配置的,用的shadow socks ,大家可以自行配置,网上教程也很多.
3,WordCount类
在src/main/scala下新建WordCount类,右键scala目录,选择new => Scala Class,然后输入类名WordCount,选择Kind为Object,内容为下.

import org.apache.spark.{SparkConf, SparkContext}

object wordCount {
  def main(args: Array[String]){
    val conf = new SparkConf().setAppName("wordcount")
    val sc = new SparkContext(conf)
    val input = sc.textFile("/home/lovixs/work/spark-2.1.1-bin-hadoop2.7/bin/test")//存储要分析的文本文件
    val lines = input.flatMap(line => line.split(" "))
    val count = lines.map(word => (word,1)).reduceByKey{case (x,y) => x+y}
    val output = count.saveAsTextFile("/home/lovixs/work/spark-2.1.1-bin-hadoop2.7/bin/helloSparkRes")//存储处理结果的位置,自行更改
  }
}

4,打包代码

先创建jar包,File => Project Structure => Artifacts ,点击+号,选择Jar => from modules with dependencies ,然后选择module,就是刚才我们新建的项目,然后在main class选择刚才新建的WrodCount类,注意下边的选项选择第二个选项,否则intellij会把jar中所有的依赖都打包进去,这样打出的jar会巨大.

spark 输出文件指定分隔符_spark 输出文件指定分隔符