乐胖代购免代理版

欢迎

fastjson，toJSONString后入库，数据混乱

写出小testcaseobject Test { def main(args: Array[String]): Unit = { val tmpArrayList = new util.ArrayList[JSONObject]() val tmpMap = new JSONObject(true) tmpMap.put("id",1) tmpMap.put("name"

json

解决方案

原创 2022-07-19 11:54:31 154 阅读

spark，在左表右表都有重复数据的情况下，left join之后数据数量等于左表

给左表人工加一个id列，最后按这个id列distinct就行了。

其它

原创 2022-07-19 11:52:41 284 阅读

spark groupby之后再展开实例

import org.apache.spark.sql.{Row, SparkSession}object Test { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName("Test Application").enableHiveSupport().getOrCreate()

spark

hive

apache

原创 2022-07-19 11:52:36 70 阅读

spark 2.2 只有1个worker在跑

partitions数量没设置，dataframe.repartition(100)

TechOnly1988

原创 2022-07-19 11:52:12 59 阅读

Spark，Scala，保存tensorflow-TfRecord到HDFS，示例

import org.tensorflow.example.Featuresimport org.tensorflow.example.Featureimport org.tensorflow.example.Exampleimport org.tensorflow.example.Flo

spark

scala

hdfs

tensorflow

java

原创 2022-07-19 11:49:34 343 阅读

spark saveAsTable 太慢

前面有个join，可能是join的两边重复的key太多了。

j

原创 2022-07-19 11:46:31 70 阅读

spark 两个dataframe的两个列的编辑距离

import org.apache.spark.sql.functionsval jdf = df1.join(df2,functions.levenshtein(df2("str_col1"),df1("str_col2"))<5)

apache

sql

spark

原创 2022-07-19 11:46:25 162 阅读

spark 两个dataframe的两个列的集合交集

def intersectFn = udf { (document0: String, document1: String) => val set1 = document0.split("@@@").toSet val set

九

原创 2022-07-19 11:46:21 134 阅读

spark 1.6 大坑之不要用show方法调试

用df.write.mode(SaveMode.Overwrite).saveAsTable(“XXX”)

数据

原创 2022-07-19 11:45:46 48 阅读

spark 1.6 大坑之不要一个dataframe自己和自己join

join之前重命名column，join还是bug，根本不行。

重命名

原创 2022-07-19 11:45:38 34 阅读

spark 2.2 创建一个临时的dataframe以测试

import org.apache.spark.sql.SparkSessionobject Test { def main(args: Array[String]): Unit = { val spar

spark

scala

python

原创 2022-07-19 11:45:20 41 阅读

spark 2.2 IDEA里 Cannot resolve symbol toDF

已经有import spark.implicits._val spark = SparkSession.builder.appName("Test Application").enableHiv改<scope>关掉IDEA再删掉.idea文件夹Fil...

spark

ide

hive

原创 2022-07-19 11:45:12 298 阅读

Spark 取每个groupby的N条数据

如果用groupby接口的话，可能OOM，import org.apache.spark.sql.expressions.Windowimport org.apa

apache

sql

spark

原创 2022-07-19 11:43:24 112 阅读

Spark 文本按jaccard或编辑距离join的速度优化，join时match右边一个就break

只能先collect小表数据再broadcast，然后再每个map里match之后break

表数据

原创 2022-07-19 11:42:40 36 阅读

Spark 文本按jaccard或编辑距离join的速度进一步优化

如果两个string column做笛卡尔积的jaccard距离计算，即使按 https://blog.csdn.net/guotong1988/article/

.net

距离计算

原创 2022-07-19 11:42:26 35 阅读

Spark 把几列concat成新一列（来join），而不通过对所有列map

dataFrame = dataFrame.withColumn("the_key", concat_ws("-", col("column1"), col("column2")))

sql

spark

apache

原创 2022-07-19 11:40:27 55 阅读

spark任务失败后worker没日志

map里写了println以打印日志，实际日志可能在其中一台worker上，因为其中一台worker出错所有worker就都停了，而不是每台worker都有日志。

打印日志

原创 2022-07-19 11:40:14 113 阅读

spark在几百个worker查看日志的技巧

map里写了println以打印日志，实际日志可能在其中一台worker上，任务执行成功了，找执行

执行时间

打印日志

原创 2022-07-19 11:40:04 81 阅读

spark na.fill(““) 之后仍有null值

因为列的类型是Long，用""填充后就为null

j

原创 2022-07-19 11:39:58 56 阅读

spark 将hive表保存为HDFS文件

object HiveTable2HdfsFile { def main(args: Array[String]): Unit = { val sparkSession = SparkSession .bu

hive

hdfs

spark

原创 2022-07-19 11:38:13 192 阅读

spark 代码只有join操作，最后只剩1个worker在跑

因为有很多次大表和小表join，将小表broadcast即import org.apache.spark.sql.functions.broadcast

解决方案

sql

spark

原创 2022-07-19 11:38:09 61 阅读

Spark，大规模jaccard距离join，笛卡尔积的复杂度，的速度优化逼近算法

有jaccard距离udf函数：def jaccardDistance = udf { (string1: String, string2: String) => var result = fa

spark

算法

预处理

解决方案

原创 2022-07-19 11:36:06 142 阅读

Spark Vector 解释

http://spark.apache.org/docs/latest/mllib-data-types.htmlimpor

spark

apache

html

原创 2022-07-19 11:35:07 29 阅读

Spark , JAVA_HOME is not set

在spark-config.sh里加上export JAVA_HOME=/path/to/java

spark

java

原创 2022-07-19 11:34:40 426 阅读

spark , NoSuchMethodError: ConcurrentHashMap.keySet 和failed to connect to master的错

spark-env.sh里加上 export SPARK_MASTER_IP=127.0.0.1 export S

spark

原创 2022-07-19 11:34:36 53 阅读

Spark join 不等于逻辑的坑

=!= 要和 === 一起加上 && 使用，否则相当于遍历所有row来判断不等于，速度卡死。

big data

大数据

原创 2022-07-19 11:34:32 74 阅读

java/scala contains 英文

val pattern = new Regex(".*[A-Za-z]+.*") val result: Regex.MatchIterator = pattern findAllIn theInputString if(result.nonEmpty){ //contains }else{ // not contains }

scala

spark

原创 2022-07-19 11:34:26 32 阅读

运行pyspark的avro的例子

http://stackoverflow.com/questions/29524936/spark-1-3-0-python-avro-files-driver-class-path-set-in-spark-defaults-conf-b

spark

python

原创 2022-07-19 11:33:57 104 阅读

Spark pipe + PHP 的 wordcount 实现

php的工作就是把每个词搞成一个RDD<?php$in = fopen('php://stdin','r');while(!feof($in)){ $temp = explode(" ",fgets($in)); for ($i=0;$i<count($temp);$i++){ printf("%s\n",$temp[$i]); } }?>package tes

spark

php

apache

原创 2022-07-19 11:26:46 58 阅读

pyspark和spark pipe性能对比用例程序

//构造数据public class Main { public static void main(String[] args) throws IOException { File file = new File("/home/gt/testdata.dat"); file.delete(); file.createNewFile();

spark

apache

java

原创 2022-07-19 11:26:21 111 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

欢迎

fastjson，toJSONString后入库，数据混乱

spark，在左表右表都有重复数据的情况下，left join之后数据数量等于左表

spark groupby之后再展开实例

spark 2.2 只有1个worker在跑

Spark，Scala，保存tensorflow-TfRecord到HDFS，示例

spark saveAsTable 太慢

spark 两个dataframe的两个列的编辑距离

spark 两个dataframe的两个列的集合交集

spark 1.6 大坑之不要用show方法调试

spark 1.6 大坑之不要一个dataframe自己和自己join

spark 2.2 创建一个临时的dataframe以测试

spark 2.2 IDEA里 Cannot resolve symbol toDF

Spark 取每个groupby的N条数据

Spark 文本按jaccard或编辑距离join的速度优化，join时match右边一个就break

Spark 文本按jaccard或编辑距离join的速度进一步优化

Spark 把几列concat成新一列（来join），而不通过对所有列map

spark任务失败后worker没日志

spark在几百个worker查看日志的技巧

spark na.fill(““) 之后仍有null值

spark 将hive表保存为HDFS文件

spark 代码只有join操作，最后只剩1个worker在跑

Spark，大规模jaccard距离join，笛卡尔积的复杂度，的速度优化逼近算法

Spark Vector 解释

Spark , JAVA_HOME is not set

spark , NoSuchMethodError: ConcurrentHashMap.keySet 和failed to connect to master的错

Spark join 不等于逻辑的坑

java/scala contains 英文

运行pyspark的avro的例子

Spark pipe + PHP 的 wordcount 实现

pyspark和spark pipe性能对比用例程序