乐胖代购免代理版

Hadoop HDFS trash 回收站

namevaluedescriptionfs.trash.interval0删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置fs.trash.checkpoint.interval0垃圾检查点之间的分钟数，应小于或等于fs.trash.interval；如果为0，则该值设置为fs.trash.

检查点

服务端

客户端

置顶原创 2022-05-27 09:53:21 423 阅读

Hive跨集群和版本迁移

公司重新搭建CDH6.3.0，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。一. 迁移Hive数据和MySQL中的matastore通过DistCp拷贝Hive数据到新集群，并从MySQL中导出Hive的元数据上传到新集群，最后在新集群MySQL中导入Hive元数据，并更新Hive版本，修改信息。1. 迁移Hive数据和MySQL中的matastore版本差异大，使用htfpha

hive

hdfs

mysql

置顶原创推荐 2022-05-25 16:18:15 1591 阅读 1收藏

Flink测试kafka数据写入和打印出

package com.steven.flinkdemo.kafka;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.da

flink

apache

kafka

置顶原创 2022-05-20 14:50:50 1064 阅读

Flink消费kafka数据

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE

kafka

flink

数据

置顶原创 2022-05-20 11:12:45 1810 阅读

Flink消费Kafka数据指定offset的五种模式

代码如下：FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props); /*** Flink从topic中最初的数据开始消费*/consumer.setStartFromEarliest(); /*** Flink从topic中指定的时间点开始消费，指定时间点之前的数据

flink

数据

kafka

置顶原创 2022-05-19 14:11:40 2347 阅读

Scm-Server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

置顶原创精选 2022-05-19 09:01:05 463 阅读 Word文档导入

农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

置顶原创精选 2022-05-19 08:55:51 3606 阅读 1收藏 Word文档导入

Flink on K8S删除S3存储下的checkpoint后报错如下

1.提交命令/usr/bin/zion-flink --config=etcd://xiantest09v.xian.zzt.qianxin-inc.cn:2483,xiantest10v.xian.zzt.qianxin-inc.cn:2483,xiantest11v.xian.zzt.qianxin-inc.cn:2483/da.xian.test --config.ns=da.xian.te

flink

客户端

重启

置顶原创精选 2022-05-17 15:35:14 992 阅读

Flink入门之Flink程序开发步骤（Java语言）

我们如果要使用flink进行计算开发，一个完整的开发步骤是怎样的呢？Batch Analytics，右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理，对数据实时性邀请不高，比如生成离线报表、月汇总，支付宝年度账单（一年结束批处理计算）Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分

flink

数据

java

置顶原创精选 2022-05-16 19:40:31 4175 阅读 2收藏

离线数仓关闭信息收集方案

xxxx2020年06月日期版本修订说明修改人2020-06-28V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离

离线

数据

测试评审

置顶原创 2022-05-16 17:57:06 181 阅读 Word文档导入

Sqoop从Hive导出表到Mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

java

mysql

apache

置顶原创精选 2022-05-13 09:22:40 2457 阅读

Flink高可用测试

介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时J

zookeeper

mysql

flink

置顶原创精选 2022-05-12 09:28:16 1530 阅读

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

报错如下：user:hadoop is not allowed to impersonate anonymous原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value><

hadoop

加载

hdfs

置顶原创 2022-05-11 17:40:26 2066 阅读 1点赞

hive的log4j2.properties滚动日志设置时间显示格式时日志

hive

apache

ios

置顶原创精选 2022-05-09 17:33:40 2108 阅读

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

报错日志org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:10.4.151.60:8485: Call From master1/10.4.151.58 to slave1:8485 faile

hadoop

apache

java

置顶原创精选 2022-05-07 15:23:49 917 阅读

批量解冻OSS的归档文件

代码（需要先下载客户端）./ossutilmac64 restore -r oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_os_sys_state/ossutil工具旨在为您提供一个以命令行方式管理OSS数据的途径。当前版本未提供完整的Bucket和Multipart管理功能，相关功能会在后续版本中开发。如果

配置文件

配置项

压缩包

置顶原创 2022-05-06 09:13:18 753 阅读

Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

置顶原创精选 2022-05-06 08:58:53 4702 阅读

如何选择Apache/CDH/HDP版本

框架基本选型（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般适合大厂使用，技术实力雄厚，有专门的运维人员）（建议使用）（2）CDH：国内使用最多的版本，但是CM不开源，从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问，一个节点一万美金。（太贵了

apache

运维

安装包

置顶原创 2022-05-05 14:54:30 1023 阅读

CDP7.3.0新增的功能

Cloudera Manager 7.3.0 的新增功能Cloudera Manager 的新功能和更改的行为。Cloudera 错误：OPSAPS-58397：使架构注册表哈希算法可配置向架构注册表配置添加了新选项，您可以在其中更改用于生成架构指纹的散列算法。默认值为 MD5。Cloudera 错误：OPSAPS-57697：SMM 应该在 Cloudera Manager 中自动配置 SRMS

cloudera

随机数

spring

原创 2022-05-04 15:39:55 354 阅读

hdfs批量删除某日期文件

今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。1、首先将非本日日期的文件输出到txthdfs dfs -ls /tmp/hive/tools/8bd379f1-6f5e-4d59-b3a3-ab8374837860/ | grep -v 2022-04-24 >./hdfs.txt2、利用awk编写删除脚本cat hdfs.txt | awk -F " " '{prin

hdfs

d3

bash

置顶原创 2022-04-26 14:51:01 1665 阅读

Flink日志接入ELK

准实时的邮件直接告警很容易将公司的邮箱服务打爆，如果将日志接入ELK,一方面能实现日志的统一存储，方便后续查看追踪，另一方面也能根据特定级别的日志量进行分析，实现曲线预警。logback将日志接入ELK，可以将日志先打到Kafka，es再费kafka的消息。lobback原生是没有写入kafka的组件，需要使用到第三方的包：danielwegener/logback-kafka-appender

kafka

flink

github

置顶原创 2022-04-13 11:21:44 1241 阅读

Hudi使用场景

近实时摄取Hudi对各种数据的摄取都有很多的优点。能够帮助合并DFS上的最小文件。这有助于解决HDFS和云存储上的小文件问题，显著提高查询性能。Hudi增加了非常需要的原子提交新数据的能力，使查询永远看不到部分写入，并帮助摄取从失败中优雅地恢复。将OLTP源(如事件日志、数据库、外部源)中的数据吸收到data Lake中是一个常见问题，不幸的是，这个问题只能通过使用混合的吸收工具以零碎的方式解决。

数据

kafka

加载

置顶原创 2022-04-11 17:03:05 1411 阅读

详解Apache Hudi如何配置各种类型分区

1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

hive

apache

字段

置顶原创推荐 2022-04-11 16:12:41 3082 阅读

查看hdfs的block的总块数

block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'

hadoop

hdfs

置顶原创 2022-04-02 15:17:47 1759 阅读

调整 NameNode 堆内存

每个工作负载都有一个唯一的字节分布配置文件。一些工作负载可以使用默认 JVM 设置进行堆内存和垃圾收集，但其他工作负载需要调整。如果动态堆设置导致瓶颈，本主题提供有关调整 NameNode JVM 大小的指南。所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行。JVM 的数量取决于您的部署模式：本地（或独立）模式 - 没有守护程序，一切都在单个 JVM 上运行。伪分布式模式 - 每

命名空间

hadoop

堆内存

置顶原创 2022-04-02 11:26:56 1404 阅读

NameNode JVM配置详解

线上NameNode JVM如下/home/hadoop/java-current/bin/java-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop.log-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3-Dhadoop.id.str=root-Dhadoop.root.logger=INF

老年代

垃圾回收

hadoop

置顶原创 2022-04-02 10:47:21 544 阅读

HDFS的NameNode堆内存估算

在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。这里说的内存就是指NameNode所在JVM的堆内存NameNode内存数据结构非常

数据块

数据

hdfs

置顶原创 2022-04-02 10:40:18 1279 阅读

ClickHouse探索调研

首先常见开源OLAP架构对比：现在面对各种数据存储兼查询分析引擎，不知道如何选择，首先需要大概明白存储引擎的特点和适用场景非常重要，置于底层原理可以慢慢深入探究，适合业务场景才是最好的。目前市面上主流的开源数据查询引擎包含不限于：MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kyl

数据

分块

服务器

置顶原创 2022-03-23 10:55:37 1078 阅读

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh 调整KAFKA_HEAP_OPTS="-Xmx12G -Xms12G”

kafka

数据

java

置顶原创 2022-03-21 10:59:37 1262 阅读 1点赞 1收藏

批量kill掉yarn上所有正在running的任务

for i in `yarn application -list | grep -w RUNNING | awk '{print $1}' | grep application_`; do yarn application -kill $i; done

yarn

置顶原创 2022-03-16 15:29:42 2556 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Hadoop HDFS trash 回收站

Hive跨集群和版本迁移

Flink测试kafka数据写入和打印出

Flink消费kafka数据

Flink消费Kafka数据指定offset的五种模式

Scm-Server迁移

农业大数据平台建设项目

Flink on K8S删除S3存储下的checkpoint后报错如下

Flink入门之Flink程序开发步骤（Java语言）

离线数仓关闭信息收集方案

Sqoop从Hive导出表到Mysql报错处理

Flink高可用测试

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

hive的log4j2.properties滚动日志设置时间显示格式时日志

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

批量解冻OSS的归档文件

Dolphinscheduler任务失败告警脚本

如何选择Apache/CDH/HDP版本

CDP7.3.0新增的功能

hdfs批量删除某日期文件

Flink日志接入ELK

Hudi使用场景

详解Apache Hudi如何配置各种类型分区

查看hdfs的block的总块数

调整 NameNode 堆内存

NameNode JVM配置详解

HDFS的NameNode堆内存估算

ClickHouse探索调研

Kafka性能调优

批量kill掉yarn上所有正在running的任务

欢迎