文章目录Spark优化总结（四）——业务与架构设计1. 前言2. 需求：实时订阅监控系统3. 数据采集层、缓冲层、实时计算层的选择3.1 数据采集层3.2 缓冲层3.3 实时计算层3.4 目前的架构图4. 怎样将订阅消息推送到实时计算集群？4.1 分析4.2 为所有的用户名设计一个Topic？4.3 将订阅消息存到数据库？4.4 在计算节点开启Socket连接，Web服务发送订阅消息过来？4.5
问题描述报错bug:
22/09/25 23:28:14 INFO GPLNativeCodeLoader: Loaded native gpl library
22/09/25 23:28:14 WARN LzoCompressor: java.lang.NoSuchFieldError: lzoCompressLevelFunc
22/09/25 23:28:14 ERROR LzoCod
转载
2023-08-28 08:23:29
253阅读
Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件； 文件系统分为：本地文件系统、HDFS、HBASE以及数据库。 文章目录文件类数据读取与保存Text文件Json文件Sequence文件对象文件文件系统类数据读取与保存HDFSMySQL数据库连接HBase数据库 文件类数据读
转载
2023-08-10 11:03:42
168阅读
1.说明为了解决，数据日益增长并且目前使用Snappy压缩导致的Spark读取时会出现OOM，并且处理起来速度过慢的问题，决定使用LZO+Index来解决问题。线上Hadoop版本3.2.1，Spark2.3.1，Lzo使用最新版0.4.212.未解决的问题但是还有个疑问，我们使用spark写入到hdfs上的lzo文件，该如何更好的生成索引文件？ 目前能想到的就是在提交spark任务的脚本中，sp
1.概述因为flink框架读压缩文件支持的格式如下，没有LZO压缩格式，所以需要在源码的基础上做一点添加。这里只是提供一下思路，具体的代码细节还需要自己去敲。2. 具体实现首先，flink内部读压缩文件，以文件后缀名为key，以压缩类型工厂对象为value组成的Map来 保存 不同的压缩文件对应着不同的解压工厂对象的映射关系。 通过上图可以看到FileInputFormat这个类会将所有
转载
2023-10-11 09:54:11
133阅读
文章目录1. spark基本概念2. 数据倾斜优化2.1 数据倾斜是什么?2.2 如何定位数据倾斜?2.3 数据倾斜的几种典型情况2.4 缓解数据倾斜-避免数据源的数据倾斜2.5 缓解数据倾斜-调整并行度2.6 缓解数据倾斜-自定义Partitioner2.7 缓解数据倾斜- Reduce side Join转变为Map side Join2.8 缓解数据倾斜-两阶段聚合(局部聚合+全局聚合)2
#记录一个坑#
在Spark中，有时需要对lzo压缩文件的读取。这里采用的是newAPIHadoopFile()来进行读取 val configuration = new Configuration()
configuration.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec
转载
2023-06-11 15:34:27
47阅读
spark-env.sh 配置 添加如下配置 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/hadoop-3.1.1.3.1.4.0-315/lib/native/ export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/ ...
转载
2021-09-26 10:40:00
269阅读
2评论
前言Hadoop已经配置好了LZO, 如果Spark不配置LZO压缩的话,在提交作业执行的时候会报错Caused by: jav
原创
2022-07-04 17:00:26
133阅读
1.上传一个words.txt文件到HDFS中vim words.txt
输入i 进入插入模式
添加以下内容:
hadoop hive hive hadoop sqoop
sqoop kafka hadoop sqoop hive hive
hadoop hadoop hive sqoop kafka kafka
kafka hue kafka hbase hue hadoop hadoop h
转载
2023-09-01 09:57:07
64阅读
# 使用Spark SQL读取LZO压缩文件
LZO是一种广泛使用的压缩格式，特别是在大数据处理领域。LZO压缩的文件可以有效地减小数据的存储空间，提升读取速度。本文将介绍如何使用Spark SQL读取LZO压缩文件，提供相关代码示例，并解释背后的工作机制。
## 什么是LZO压缩？
LZO，即Lempel-Ziv-Oded Shmueli，是一种流式压缩算法，特别适用于大型数据集。相较于其
RDD是什么 RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 为什么会产生RDD
传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁
转载
2023-12-13 01:51:26
31阅读
Hadoop文件格式 1-非结构化文本数据 可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件，则需要制定压缩方式，其通过设置hdfs.codeC设置 gzip bzip2 lzo sn
转载
2017-10-26 16:45:00
91阅读
2评论
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequencefi
转载
2023-09-13 17:58:43
51阅读
spark按文本格式和Lzo格式处理Lzo压缩文件的比较
原创
2017-08-08 19:09:28
9511阅读
点赞
#_*_coding:utf-8_*_# spark读取csv文件#指定schema：
schema = StructType([
# true代表不为null
StructField("column_1", StringType(), True), # nullable=True, this field can not be null
Struct
转载
2023-07-04 16:07:51
145阅读
今天分享一个使用sparksql的spark.write.format("hbase").save()spark.read.format("hbase").load()方式读写Hbase的方法。1、引入maven依赖只需要引用sparksql依赖和hbase-mapreduce包，即可实现spark sql读写hbase功能。<dependency>
<g
转载
2023-08-18 22:53:30
94阅读
一、下载、安装、编译lzo二、修改Hadoop配置三、安装、编译hadoop-lzo-master四、检测是否配置成功1、hive方法2、job日志方法五、参考链接 LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于block分块的，允许数据被分解成chunk，能够被并行的
转载
2023-07-24 08:59:34
83阅读
LZO是一种用于数据压缩的算法，广泛应用于Linux操作系统中。在Linux系统中，LZO压缩算法被用于提高文件传输效率，节省存储空间和加快数据传输速度。红帽是一家知名的Linux发行版供应商，提供了专门支持LZO压缩算法的Linux发行版。
LZO在Linux系统中的应用可以追溯到早期的内核版本。它是一种快速和高效的压缩算法，特别适用于嵌入式系统和低端设备。红帽作为一家专注于企业级解决方案的公
环境要求
java-1.8
maven-3.6.3
hadoop-2.x.x
下载安装包
[root@basecoalmine source]# cd /opt/source/
[root@basecoalmine source]# wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
[root@base
原创
2022-04-13 17:13:06
304阅读
