乐胖代购免代理版

spark

scala

apache

原创 3月前 24 阅读

Spark报错 No Encoder found for AnyVal

比如这列的值有int也有float，就会报这个错。

spark

原创 4月前 39 阅读

【Spark加速】加大hive表在HDFS存的分片文件大小

配置参数：

spark

hive

hdfs

hadoop

原创 5月前 25 阅读

【Spark】加大hive表在HDFS存的每个文件的大小

【代码】hive表在HDFS的每个文件的大小。

hive

hdfs

hadoop

spark

原创 6月前 75 阅读

【hive-SQL】string 转成 map＜＞

【代码】【hive-SQL】string 转成 map＜＞

hive

sql

hadoop

数据

原创 6月前 67 阅读

【hive-SQL】多个column转成一个array＜＞类型的column

【代码】【hive-SQL】多个column转成一个array_column。

SQL

hadoop

hive

原创 6月前 48 阅读

pyspark drop_duplicates 报错 py4j.Py4JException: Method toSeq([class java.lang.String]) does not exist

【代码】pyspark drop_duplicates 报错 py4j.Py4JException: Method toSeq([class java.lang.String]) does not exist。

spark

原创 8月前 26 阅读

报错 lambda expressions are not supported in -source (use -source to enable lambda expressions)

【代码】lambda expressions are not supported in -source 1.5 (use -source 8 to enable lambda expressions)

java

maven

scala

apache

原创 8月前 7 阅读

Spark, import java in scala, 报错 NoClassDefFoundError: Could not initialize class

在scala文件里import一个java文件，报错。很可能是import的这个java文件里的。里的代码的初始化问题。

java

java文件

scala

初始化

原创 8月前 201 阅读

Spark orderBy OOM / 执行时间超长

排序的列里有NaN值（极大值），可能是有除法里分母为0导致的。

spark

执行时间

内存溢出

原创 10月前 76 阅读

spark报错，Could not execute broadcast in 7200 secs

【代码】spark报错，Could not execute broadcast in 7200 secs。

spark

解决方案

配置参数

原创 2023-12-04 17:05:00 92 阅读

pyspark报错，gzip: stdin: unexpected end of file

原因：整个jar包文件太大了。

spark

python

归档文件

java

jar包

原创 2023-07-01 00:12:23 200 阅读

scala 只保留中英文数字标点

【代码】

java

scala

原创 2023-06-24 09:44:45 320 阅读

pyspark报错，Executor heartbeat timed out

注意这几个参数的大小要一个比一个大，是spark内部的限制。

spark

.net

原创 2023-06-18 01:12:16 185 阅读

Spark，union指定列名，否则可能串列！

【代码】Spark，union指定列名。

scala

spark

原创 2023-05-13 09:25:45 120 阅读

pyspark报错，An error occurred while calling o123.saveAsTable

内存溢出，OOM了。

pyspark

sed

解决方案

原创 2023-05-13 00:41:29 429 阅读

spark编译时 StackOverflowError at scala.tools.nsc.transform.Erasure$Eraser.adaptMember

存在import嵌套的问题。

scala

spark

大数据

嵌套

java

原创 2023-05-06 00:58:31 140 阅读

Spark 对每个groupby的每个group的string进行concat

concat_ws and collect_set

spark

大数据

分布式

sql

apache

原创 2022-11-26 09:30:18 172 阅读

Spark 报错 no Java class corresponding to Product with Serializable found

spark

scala

大数据

数据

原创 2022-11-26 07:59:13 392 阅读

Spark关于.rdd的速度优化

.rdd

spark

大数据

分布式

.net

缓存

原创 2022-11-21 10:55:35 39 阅读

pyspark 报错 Input row doesn‘t have expected number of values required by the schema

pyspark

spark

原创 2022-10-29 19:14:17 179 阅读

spark报错：ClassCastException: cannot assign instance of SerializedLambda to field

spark3

spark

scala

大数据

java

原创 2022-10-22 15:43:41 362 阅读

Spark，groupby之后加上repartition可以显著加快速度

dataDF.rdd.groupBy(row => row.getAs[Long]("the_key")) .repartition(2000).flatMap(pair => {

spark

大数据

分布式

原创 2022-08-28 00:55:55 169 阅读

spark 第三方jar包

./spark-submit –jars $LIBJARS –class test.MyApp –master local myApp.jar在~/.bashrc 加上for i in `ls /

spark

jar

bash

原创 2022-08-08 09:05:32 339 阅读

spark作者讲spark

https://www.youtube.com/watch?v=49Hr5xZyTEA

j

原创 2022-07-22 16:19:47 270 阅读

RDD 内存管理

Memory Management • Three options for persistent RDDs – in-memory storage as deserialized Java objects – in

java

spark

sed

原创 2022-07-21 20:06:40 77 阅读

开发Spark1.5.2 Application | 编译Spark源码

作为workaround，把spark根目录下的pom.xml文件中的以下部分注释掉：<repository> <id>twttr-repo</id>

spark

hadoop

maven

原创 2022-07-21 19:52:07 82 阅读

跑spark1.5.2 application报错

ERROR SparkUncaughtExceptionHandler 解决方法 –master spark://ip:7077 改成 –master local 8021 failedg.enabled

spark

应用

解决方法

原创 2022-07-21 19:50:15 58 阅读

Spark API 详解/大白话解释之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues

map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中

spark

apache

scala

原创 2022-07-21 19:50:00 73 阅读

Spark API 详解/大白话解释之 groupBy、groupByKey

groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组val a = sc.parallelize(1 to 9, r(2, 4, 6, 8)),

spark

ide

原创 2022-07-21 19:49:47 90 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

欢迎

Spark报错，Task not serializable

Spark报错 No Encoder found for AnyVal

【Spark加速】加大hive表在HDFS存的分片文件大小

【Spark】加大hive表在HDFS存的每个文件的大小

【hive-SQL】string 转成 map＜＞

【hive-SQL】多个column转成一个array＜＞类型的column

pyspark drop_duplicates 报错 py4j.Py4JException: Method toSeq([class java.lang.String]) does not exist

报错 lambda expressions are not supported in -source (use -source to enable lambda expressions)

Spark, import java in scala, 报错 NoClassDefFoundError: Could not initialize class

Spark orderBy OOM / 执行时间超长

spark报错，Could not execute broadcast in 7200 secs

pyspark报错，gzip: stdin: unexpected end of file

scala 只保留中英文数字标点

pyspark报错，Executor heartbeat timed out

Spark，union指定列名，否则可能串列！

pyspark报错，An error occurred while calling o123.saveAsTable

spark编译时 StackOverflowError at scala.tools.nsc.transform.Erasure$Eraser.adaptMember

Spark 对每个groupby的每个group的string进行concat

Spark 报错 no Java class corresponding to Product with Serializable found

Spark关于.rdd的速度优化

pyspark 报错 Input row doesn‘t have expected number of values required by the schema

spark报错：ClassCastException: cannot assign instance of SerializedLambda to field

Spark，groupby之后加上repartition可以显著加快速度

spark 第三方jar包

spark作者讲spark

RDD 内存管理

开发Spark1.5.2 Application | 编译Spark源码

跑spark1.5.2 application报错

Spark API 详解/大白话解释之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues

Spark API 详解/大白话解释之 groupBy、groupByKey