乐胖代购免代理版

欢迎

Ubuntu18.04.6 server 安装 HDP3.1.0

标签（空格分隔）：大数据运维专栏 1.1 系统介绍系统： Ubuntu18.04.6 server 主机名： cat /etc/hosts 172.16.10.61 flyfish61 172.16.10.62 flyfish62 172.16.10.63 flyfish63 172.16.10.64 flyfish64 172.16.10.65 f

ambari

ubuntu

hdp3.10 安装

原创精选 9月前 915 阅读 1收藏 1评论 yyds干货盘点

k8s 1.26.5 部署spark 集群测试

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

k8s

spark

hadoop

原创 2023-10-31 14:25:53 421 阅读 1点赞 2收藏 yyds干货盘点

k8s1.26.5 安装 flink1.17.1

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

flink

k8s1.26.5

原创 2023-10-30 14:25:45 631 阅读 yyds干货盘点

k8s1.26.5 安装Hadoop 和 hive 测试

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群版本： k8s1.26.5 采用kubesphere 做页面 caclico 版本： calico v3.26.1 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 he

hadoop

hive

k8s 1.26.5

原创 2023-10-26 11:43:42 476 阅读 1点赞 1收藏 yyds干货盘点

k8s 1.28.2 安装 Hadoop3.3.6

标签（空格分隔）： kubernetes系列一：系统环境介绍系统： centos7.9x64 k8s 集群最新版本： k8s1.28.2 采用kubeadm部署 caclico 版本： calico v3.26.2 containerd版本： containerd://1.6.24 hadoop 版本： hadoop 3.3.6 helm

k8s1.28.2

hadoop3.3.6

原创 2023-10-10 12:54:17 1192 阅读 1点赞 1收藏 1评论 yyds干货盘点

docker 部署 flink on yarn

标签（空格分隔）：容器实操之docker 一：部署介绍 1.1 系统环境系统: CentOS7.9x64 主机名： cat /etc/hosts ----- 172.16.10.26 flyfish26 ---- 因为docker 单机版本所以就只使用 flyfish26 机器部署所需部署软件 flink-1.13.6-bin-scala_2.12.t

docker

hadoop

flink

原创 2023-06-24 09:22:08 1580 阅读 1点赞 1收藏 2评论 yyds干货盘点

datax-web 安装配置

标签（空格分隔）：协作框架一：data-web 的介绍关于datax-web项目在做DataX项目测试的时候又收到github的推荐邮件，推荐了一个datax-web的开源项目，这不是瞌睡遇到枕头，再研究研究这个项目是不是符合数据同步的要求。 datax-web ： https://github.com/WeiYe-Jing/datax-web 主要的功能： https://github.

数据同步

数据源

datax 安装配置

原创精选 2023-06-02 12:36:40 907 阅读 1收藏

大数据展示框架SuperSet 安装

标签（空格分隔）：协作框架**1.1 Superset 概述 **Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。**1.2 环境说明 ** 本课程使用的服务器操作系统为 CentOS 7，Superset 对接的数据源为 MySQL 数据库。 **第 2 章

superset

原创精选 2023-05-31 21:23:39 1551 阅读 1点赞 1收藏 yyds干货盘点

datax 抽数据框架

标签（空格分隔）：协作框架一：datax 概述1.1 datax 介绍1.1、什么使datax DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1.2、datax的设计为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型

json

hdfs

datax

原创精选 2023-05-31 21:17:00 645 阅读 yyds干货盘点

flink on k8s 的实施部署测试

标签（空格分隔）： kubernetes系列一：flink on docker 1.1 flink的介绍 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序， Flink的流水线运行时系统可以执行批处理和流处理程序。此外， Flink的运行时本身也支持迭代算法的执行

flink

docker

k8s

flink on k8s

原创 2023-05-24 10:49:20 750 阅读 yyds干货盘点

pyspark 集成jupyter与pyspark on yarn

标签（空格分隔）： Spark的部分一：安装jupyter Hadoop 集群 + spark 集群安装忽略 yum install epel-release yum install python36 pip3 install --upgrade pip # 升级pip 到最新版本 pip3 install jupyter # 安装 jupyter jupyter no

spark

pyspark

jupyter

pyspark on yarn

原创精选 2023-04-06 16:56:55 1121 阅读 1点赞

大数据平台datasophon 测试部署

标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，

大数据平台datasophon

datasophon

hadoop

spark

原创推荐 2023-01-11 15:36:41 5034 阅读 1点赞 1收藏 yyds干货盘点

kafka的安装部署（二）

kafka的安装部署（二）标签（空格分隔）：kafka系列一：资源规划二：安装jdk1.8三：安装zookeeper四：安装kafka五：安装kafkaEagle一：资源规划组件node01.vpc.flyfish.cnnode02.vpc.flyfish.cnnode03.vpc.flyfish.cnoscentos7.8centos7.8centos7.8JDKjdk1.8jdk1.8jdk1

kafka

zookeeper

原创 2022-12-07 16:29:30 725 阅读 1点赞 1收藏

kafka 简介与应用场景（一）

kafka简介与应用场景（一）标签（空格分隔）：kafka系列一：kafka简介二：kafka的相关组建三：kafka的架构四：kafka的应用场景一：kafka的简介：1.1kafka的简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的

kafka

消息系统

数据

原创推荐 2022-12-07 16:28:26 877 阅读 yyds干货盘点

clickhouse 21.x 集群四分片一副本部署

标签（空测试用例格分隔）：clickhouse系列一：系统环境部署介绍1.1：系统初始化yaml系统：centos7.9x64主机名字:cat/etc/hosts172.16.10.11flyfishsrvs01172.16.10.12flyfishsrvs02172.16.10.13flyfishsrvs03172.16.10.14flyfishsrvs04172.16.10.15flyfish

clickhouse

clickhouse21.x

clickhouse21.x 集群部署

原创精选 2022-06-22 11:15:17 681 阅读 yyds干货盘点

如何编译安装Azkaban服务

如何编译安装Azkaban服务标签（空格分隔）：协作框架一：Azkaban的介绍二：编译环境准备三：测试服务一：Azkaban的介绍Azkaban是一套简单的任务调度服务，是Hadoop工作流引擎调度器之一，整体包括三部分WebServer、DBServer、ExecutorServer。是LinkedIn的开源项目，开发语言为Java。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azk

azkabana 调度系统

原创精选 2022-04-18 00:37:06 702 阅读 1点赞 1收藏

Apache Doris 编译部署（一）

标签（空格分隔）：Doris系列一：Doris的介绍1.1Doris的概述yamlDoris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到Apache社区后，更名为Doris。ApacheDoris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得

Apache Doris

原创精选 2022-03-25 16:36:20 3563 阅读 1点赞 3收藏

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置标签（空格分隔）：大数据运维专栏toc一：hive集成openldap1.1CDH6.3.2的主机节点安装openldap的客户端openldap服务端已经配置完成，不会看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安装openldapclient装包：yumyinstallopenlda

openladp

cdh

hive

impala

hue

原创推荐 2021-11-11 17:44:50 4105 阅读 1点赞 3收藏

greenplum的升级与连接池pgbouncer

# greenplum的升级与连接池pgbouncer 标签（空格分隔）： greenplum系列 --- [toc] ##一：greenplum 的升级 ### 1.1 greenplum的文件最新版本准备 ``` 下载地址： https://network.pivotal.io/products/vmware-tanzu-greenplum 下载： green

greenplum升级

连接池

pgbouncer

原创推荐 2021-07-14 11:23:14 1898 阅读

clickhouse 集群rpm包方式署配置

clickhouse集群rpm包方式署配置标签（空格分隔）：ClickHouse系列[toc]一：clickhouse简介1.1clickhouse数据库简介clickhouse是2016年俄罗斯yandex公司开源出来的一款MPP架构（大规模并行处理）的列式数据库，主要用于大数据分析（OLAP）领域，具有快速查询，线性可扩展，功能丰富，硬件利用效率高，容错，高度可靠等优点。ClickHouse的

clickhouse

集群部署

原创推荐 2021-05-27 13:50:21 2415 阅读 1点赞 1评论

flume的集群部署与测试

flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

flume

原创推荐 2021-05-26 16:30:24 2879 阅读

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

hadoop HA

yarn HA

原创推荐 2021-05-13 06:06:27 1791 阅读

hadoop 3.2.1 伪分布与分布式环境构建

hadoop3.2.1伪分布与分布式环境构建标签（空格分隔）：大数据运维专栏一：环境准备二：安装Hadoop3.2.1三：运行一个wordcount测试四：Hadoop分布式构建与测试一：环境准备：1.1系统环境介绍系统：CentOS7.5x64主机名：cat/etc/hosts------192.168.11.192fat01.flyfish.com192.168.11.195fat02.fly

hadoop3.2.1

微分布

分布式部署

原创 2021-05-12 22:56:45 513 阅读

DBus数据总线(一)：DBus all one 部署

DBus数据总线(一)：DBusallone部署标签（空格分隔）：DBus系列数据[toc]一：DBus概述1.1:产生背景采集工具的局限性当前有很多数据采集工具，他们或多或少都存在一些局限性：上面这些采集工具还以一个共性问题是缺乏统一的数据源端管控，所以也就无法找到统一的数据入口，那后续处理元数据或者血缘分析会异常困难。数据同步方法局限性同时过去通常的同步数据的方法有很多种，比如：各个数据使用方

DBUS

HADOOP

数据采集

原创精选 2021-01-12 17:31:00 5567 阅读

prometheus + grafana 对flink 进行监控

prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

flink

prometheus

grafana

原创推荐 2020-12-18 09:37:32 10000+阅读 3评论

flink local集群部署

flinklocal集群部署标签（空格分隔）：flink系列一：flink介绍二：flink运行模式三：flinklocal集群部署一：flink介绍1.1:flink介绍ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理

flink

flink standalone

原创 2020-12-17 09:33:59 1416 阅读

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

FreeIPA

kerberos

cdh6.3.2

原创推荐 2020-12-16 09:29:59 6151 阅读 1点赞 2收藏

大数据安全认证FreeIPA部署

大数据安全认证FreeIPA部署标签（空格分隔）：大数据运维专栏一：FreeIPA介绍二：FreeIPA服务端部署三：FreeIPA客户端部署一：FreeIPA概述###1.1:FreeIPA的介绍FreeIPA是一款集成的安全信息管理解决方案。FreeIPA包含Linux(Fedora),389DirectoryServerMITKerberos,NTP,DNS,Dogtag(Certifica

cdh

freeipa

原创 2020-12-14 13:12:22 8579 阅读 1收藏

CDH6.3.2 配置Flink1.10.1 编译与CDH 集成

CDH6配置Flink1.10.1编译与CDH集成标签（空格分隔）：大数据运维专栏一：编译环境包的准备二：编译生成包配置三：使用编译好的flink做CDH的parcels与csd文件四：CDH6.3.2集成flink1.10.1一：编译环境包的准备一、环境CDH6.3.2(Hadoop3.0.0)、Flink1.10.1、Centos7.7、Maven3.6.3、Scala-2.12和JDK1.8

cdh6.3.2

flink

编译

原创精选 2020-12-11 12:31:51 6342 阅读 1点赞 1评论

Ambari2.7.4+HDP3.1.4安装 Centos7离线安装

Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P

ambari

hdp3.1.4

原创精选 2020-12-10 12:51:29 6927 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

flyfish