乐胖代购免代理版

Apache大数据相关组件部署

组件总览 Zookeeper部署创建目录解压环境变量配置服

hadoop

big data

postgresql

hive

hdfs

原创 2022-05-29 00:07:10 850 阅读

Mac M1 VM Centos7 大数据数据湖测试

Mac M1 通过VMan安装Centos7.9，并搭建 Hadoop/Hive/Kafka/Flink/Iceberg 本地进行数据湖测试。问题：Paralles Desktop 没找到

big data

hadoop

flink

iceberg

mac

原创 2022-05-29 00:06:52 1344 阅读

大数据平台基础环境准备

之前已经记录过，这里再记录一下，相以便快速使用。安装依赖sudo yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static t

hadoop

big data

java

vim

原创 2022-05-29 00:06:40 112 阅读

Spark3 读写 S3 Parquet, Hive, Hudi

Spark 读 S3 Parquet 写入 Hudi 表目录Spark 读 S3 Parquet 写入 Hudi 表参考关于S3，S3N和S3A的区别与联系Spark 读写 S3 Parquet

hadoop

big data

spark

apache

java

原创 2022-05-19 11:40:32 1564 阅读

近期关注的大数据开源项目

截止至 2022-02-08计算引擎Service Git Star Contributors Release

big data

apache

zookeeper

github

git

原创 2022-05-01 10:23:44 1354 阅读

Flink Hudi 测试

组件版本组件版本 Java 1.8.251 Scala 1.12.14 Flink

flink

big data

scala

hive

apache

原创 2021-10-08 14:41:50 1066 阅读 12点赞 2收藏 1评论

Flink Iceberg 测试

本地搭建单节点Hadoop，根据官网示例进行Iceberg功能测试。组件版本

flink

scala

big data

sql

hive

原创 2021-09-29 10:28:03 788 阅读

IDEA远程调试Spark

IDEA远程调试Spark很简单，大概分四步：1、打包到master将Spark项目打包后拷贝到master节点上，这里用spark-examples.jar做下示例。2、IDEA设置Remote连接添加Remote：Menu -> Run -> Edit Configurations -> 选择 + -> Remote。修改服务器IP，端口只要没有占用...

debug

spark

ide

hadoop

jar

原创 2021-09-01 17:49:05 3218 阅读 1点赞 1收藏

Windows下编译Spark2.3.3

安装2.安装Scala插件3. 安装Git并设置环境变量IDEA中编译打包...

编译spark

spark

ide

scala

编译打包

原创 2021-09-01 16:41:14 979 阅读

大数据开源框架技术汇总

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS...

bigdata

大数据组件

大数据框架

apache

数据

原创 2021-09-01 16:28:19 316 阅读

Shell sed命令

遇到sed问题，经常会去查资料，这里自己记录一下，方便以后查询。sed（流编辑器）命令行文本编辑器。它一次处理一行内容，先把处理的行存入临时缓冲区（模式空间）进行处理，用sed命令处理缓冲区内容后输出到屏幕。能同时处理多个文件多行的内容，不改变原文件内容。最常用的是模式匹配和替换操作。官网文档命令格式sed [选项]... {脚本} [输入文件]...sed [op...

shell sed

sed

字符串

txt文件

字符串替换

原创 2021-09-01 11:47:47 900 阅读

Shell exit status

exit 是一个 Shell 内置命令，用来退出当前 Shell 进程，并返回一个退出状态，exitstatus是一个介于0到255之间的值。命令：$?可以接收这个退出状态。退出码（exit status，或exit code）约定：0 操作成功完成1 功能错误2 系统找不到指定的文件3 系统找不到指定的路径4 系统无法打开文件5 拒绝访问6 句柄无效7 ...

exit

可执行

打开文件

控制块

linux

原创 2021-09-01 11:47:39 1070 阅读

Git使用

有时候会忘记一些git命令，在这里记录一下。github官网：https://github.com/git 下载:https://git-scm.com/git bash界面:创建密钥，需要复制密钥到github的用户设置里。ssh-keygen -t rsa -C "email"注意是注册github时的邮箱，一直回车即可。到 C/use...

git

github

远程仓库

bash

git仓库

原创 2021-08-31 18:22:41 203 阅读

Spark分配num-executors，execuor-cores和executor-memory

spark配置参数设置driver.memory：driver运行内存，默认值512m，一般2-6Gnum-executors：集群中启动的executor总数executor.memory：每个executor分配的内存数，默认值512m，一般4-8Gexecutor.cores ：每个executor分配的核心数目yarn.am.memory：AppMaster内存，默...

spark参数

executor-memory

默认值

spark

hdfs

原创 2021-08-31 18:22:40 4117 阅读

IDEA安装Scala和创建Scala项目

安装SCALA基本步骤：1. 设置IDEA对Scala语言支持插件：File - Settings - Plugins - 搜索scala - install2. 设置Scala SDK：File - Project - Structure - 选择SDK(下载或者选择本地目录)安装演示：图文步骤： 1. File-Settings 中设置IDE...

IDEA

Spark

Scala

scala

搜索

原创 2021-08-31 17:16:10 2200 阅读

IDEA安装Spark

IDEA安装Spark两种方式：从本地安装的Spark中导入jar包，File - Project Structure - Libraies - "+" - java - 选择spark目录下jars文件夹通过Maven添加pom依赖本地安装演示:pom添加演示:图文步骤:本地安装:File - Project Structure - Libraie...

Spark

IDEA

spark

apache

java

原创 2021-08-31 17:16:08 1410 阅读

Linux配置主机名和映射

1. 查看主机名:hostnameuname -n2. 修改主机名sudo vim /etc/hostnameCentos7sudo hostnamectl set-hostname hadoop-master3. 配置映射sudo vim /etc/hosts添加ip hostname//如：192.168.100.21 hadoop-mast...

Linux

映射

hosts

hadoop

主机名

原创 2021-08-31 17:16:06 1684 阅读

Windows下IDEA本地读写HDFS

resources文件夹下添加core-site.xml主要属性：<property> <name>fs.defaultFS</name> <value>hdfs://hadoop-master:8020</value></property>注意：cdh环境hdfs端口是8020，hadoop环境h...

大数据

Spark

IDEA

hdfs

spark

原创 2021-08-31 17:16:04 686 阅读

Spark的Lost executor错误问题

1.19/06/17 09:50:52 WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Requesting driver to remove executor 2 for reason Container marked as failed: container_1560518528256_0014_01_000003 o...

Spark

lost executor

hadoop

sed

spark

原创 2021-08-31 16:50:47 5432 阅读

Spark读写Hive

1. maven依赖添加spark-hive、mysql-connector-java <properties> <spark.version>2.3.3</spark.version> <mysql.version>8.0.15</mysql.version> </propert...

Spark

Hive

spark

hive

sql

原创 2021-08-31 16:50:45 308 阅读

Spark读写MySQL

1. Spark读取MySQL数据 1. spark.read.jdbc() def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("sparksql").master("local").getOrCreate() val prop = ne...

Spark

SparkSQL

spark

mysql

sql

原创 2021-08-31 16:50:43 769 阅读

Spark读写Hbase

Maven依赖： <properties> <hbase.version>1.2.0</hbase.version> </properties> <dependencies> <dependency> <groupId>org.apache.hbase</group...

Spark

Hbase

spark

hadoop

zookeeper

原创 2021-08-31 16:50:41 636 阅读

大数据平台架构

以Spark作为计算框架的架构

大数据

大数据平台

大数据架构图

spark

其他

原创 2021-08-31 16:50:39 363 阅读

mysql-connector-java与Mysql、Java的对应版本

mysql-connector-java与Mysql对应版本： Summary of Connector/J VersionsConnector/J version Driver Type JDBC version MySQL Server v...

MySQL

mysql-connect-java

mysql

java

maven

原创 2021-08-31 16:50:37 3544 阅读

Spark-submit参数说明

spark-submit [--options] <app jar | python file> [app arguments] 参数名称含义 --masterMASTER_URL 可设置模式如： spark://host:port mesos://host:port yar...

Spark-submit

spark

jar

python

应用程序

原创 2021-08-31 16:50:35 745 阅读

Centos7.3安装CDH6.0.1之基础环境配置

1. 联网安装1.查看并卸载系统自带的MySQL和Mariadbrpm -qa | grep mysqlrpm –qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_642.下载mysqlwget http://repo.mysql.com/mysql-community-release-el7-...

Centos7

基础环境配置

java

ide

vim

原创 2021-08-31 16:50:33 301 阅读

Centos7.3安装CDH6.0.1

CDH6.0以上版本安装都适用，已经成功搭建CDH6.0.1和6.2企业级平台。版本类型版本下载 Linux Centos7.3 CDH CDH6.0.1 CM官方下载 CDH官方下载 JDK jdk-8u211 网盘下载数据库 MySQL5.7.27 官方下载 JDBC mysql-c...

cdh

cdh6.0.1

cdh安装

cloudera

上传

原创 2021-08-31 16:50:31 1192 阅读

Hadoop基准测试

利用hadoop自带基准测试工具包进行集群性能测试，测试平台为CDH5.16上hadoop2.6版本目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序hadoop-mapreduce-client-jobclient-t...

hadoop

Hadoop基准测试

mapreduce

jar

hdfs

原创 2021-08-31 16:50:29 2422 阅读

Snappy、Lzo、Gzip、Bzip2比较

Hadoop上常用压缩格式对比：压缩格式扩展名多文件支持切片压缩比排行解压速度排行工具 hadoop自带 gzip .gz 否否 2 3 gzip 是 bzip2 .bz2 是是 1 4 bzip2 是 lzo .lzo 否 ...

压缩格式

Lzo

snappy

hadoop

linux

原创 2021-08-31 16:50:27 2751 阅读

CDH6安装Lzo

Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。使用的版本是Centos7.3，CDH6.0.1。官方安装文档官方配置文档查看Hadoop支持的压缩格式hadoop checknativeLzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比...

lzo

cdh

hadoop

cloudera

hive

原创 2021-08-31 16:50:25 553 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx612da90ba9aee的博客

Apache大数据相关组件部署

Mac M1 VM Centos7 大数据数据湖测试

大数据平台基础环境准备

Spark3 读写 S3 Parquet, Hive, Hudi

近期关注的大数据开源项目

Flink Hudi 测试

Flink Iceberg 测试

IDEA远程调试Spark

Windows下编译Spark2.3.3

大数据开源框架技术汇总

Shell sed命令

Shell exit status

Git使用

Spark分配num-executors，execuor-cores和executor-memory

IDEA安装Scala和创建Scala项目

IDEA安装Spark

Linux配置主机名和映射

Windows下IDEA本地读写HDFS

Spark的Lost executor错误问题

Spark读写Hive

Spark读写MySQL

Spark读写Hbase

大数据平台架构

mysql-connector-java与Mysql、Java的对应版本

Spark-submit参数说明

Centos7.3安装CDH6.0.1之基础环境配置

Centos7.3安装CDH6.0.1

Hadoop基准测试

Snappy、Lzo、Gzip、Bzip2比较

CDH6安装Lzo

欢迎