乐胖代购免代理版

欢迎

【Hadoop】 Hadoop的默认快大小是多少？为什么要设置这么大

默认块大小： Hadoop 2.7.2 版本之前默认64MB， 2.7.3及以后都是默认128MB 块大小设置原因hdfs的块设置太小，会增加寻址时间，程序一直在找块的开始位置，而且NameNode需要大量内存来存储元数据，不可取如果块设置的他打，从磁盘传输的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这些数据时，会非常慢如果寻址时间为10ms, 而传输速率为1

寻址

数据

hadoop

翻译 2022-10-01 21:32:08 293 阅读

Hadoop优化之mapreduce.job.reduce.slowstart.completedmaps介绍

优化其中一项是在Reduce阶段，设置Map和Reduce共享，锁使用的参数就是调整slowstart.completedmaps,官方文档中显示默认值为0.05官方文档截图：2.7.2版本此参数的意义是当MapTask完成的比例达到该值后才会为Reduce Task申请资...

yarn

hadoop调优

yarn源码

大数据

mapreduce

转载 2022-09-02 18:22:04 397 阅读

使用Spark通过Bulkload的方式导数据到Hbase

文章目录Spark通过Bulk Load 写入Hbase 背景 BulkLoad Bulk Load的实

apache

spark

hadoop

原创 2022-09-02 14:12:13 777 阅读

Flink 流处理API之 Source TransForm

DataStream编程模型DataStream API 主要分为三个模块DataSource模块 Transfor

数据集

数据

kafka

原创 2022-09-02 14:11:15 56 阅读

ELK

ELK简介1. ElasticSearch: 分布式数据搜索引擎，用于全文搜索 //存储+搜索2. Logstach : 数据

elk

elasticsearch

logstash

kibnana

bigdata

原创 2022-09-02 14:10:15 88 阅读

kafka节点启动后无故挂掉

背景：kafka节点启动后，突然挂掉，重试几次后，也是如此查看日志信息如下

kafka

zookeeper

bigdata

解决方案

原创 2022-09-02 14:10:03 144 阅读

Hive严格模式

严格模式是什么：防止可能出现不好的结果防止出现三种场景：分区表查询中没有写where

hive

hadoop

bigdata

严格模式

分区表

原创 2022-09-02 14:09:43 90 阅读

Flume -Taildir Source

Taildir Source可实时监控一批文件，并记录每个文件最新消费位置，agent进程重启后

tail dir

flume\

bigdata

kafka

json

原创 2022-09-02 14:09:28 191 阅读

Flume 报出异常org/apache/hadoop/io/SequenceFile$CompressionType

异常 Failed to start agent because dependencies were not found inclasspath. Error fo

flume

java

bigdata

hadoop

依赖包

原创 2022-09-02 14:09:23 165 阅读

Scala 中apply() unapply() unapplySeq()方法

apply通常被称作注入方法unapply通常被称为提取方法，使用unapply来提取固定

scala

unapplySeq

unapply

apply

原创 2022-09-02 14:09:18 34 阅读

flume backoff 退避算法

原文链接： htt突时，每个节点等

flume

backoff

tuibisuanfa

等待时间

等待队列

原创 2022-09-02 14:09:13 53 阅读

hive 支持json解析

hive spark 支持json解析jar包下载路径可根据自己需要下载相应版本http

hive

jason解析

json

jar包

原创 2022-09-02 14:08:49 118 阅读

Azkban使用简要说明

Azkaban简介Azkaban调用mapreduce程序1. vim mapreduce.job 写入以下内容：#执行

azkaban

任务调度

大数据

mapreduce

hadoop

原创 2022-09-02 14:04:18 157 阅读

通过零拷贝实现有效数据传输

原链接kafka高吞吐性能揭秘中提到使用零拷贝进行快速提高底层效率，

kafka

零拷贝

原创 2022-09-02 14:04:03 38 阅读

HBase写流程部分源码学习

put操作：写流程主函数 public void put(Put put) throws IOException { checkReadOnl

Hbase

源码

put

put源码

mvc

原创 2022-09-02 14:03:53 56 阅读

Kafka分区分配策略

kafka分区分配策略，分为三种RoundRobin, Range , Sticky 策略Range 分配策略:按照消费者总数和分区总数整除获取一个数值，将分区按照数值进行平均分配的策

kafka

分区分配策略

kafka分区分配策略

整除

apache

原创 2022-09-02 14:03:53 87 阅读

log4j之间的关系

slf4j-api、slf4j-log4j12、log4j之间的关系，例子为当系统采用log4j作为日志框架实现的调用关系：

slf4j

log4j

slf4j-api

日志框架

原创 2022-09-02 14:03:45 110 阅读

Flink WordCount

程序结构整个flink程序一共分为5步设定Flink执行环境创建和加载数据集对数据集指定转换操作逻辑指定计算结果输出位置调用execute方法触发程序执行WordCount案例import org.apache.flink.api.scala.ExecutionEnvironmentobject WordCount { def main(args: Ar...

FLink

wordCount

flink

执行环境

运行环境

原创 2022-09-02 14:03:25 97 阅读

Hbase-Trying to load more than 32 hfiles to one family of one region

BulkLoad方式优化背景问题分析解决方案方式一：spark DataFrame写入Hive临时表前进行coales

hive

解决方案

数据

原创 2022-09-02 14:02:37 122 阅读

kafka与flume集成小案例

Flume定位Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集，和HDFS进行对接，...

kafka

flume

大数据

数据安全

hadoop

原创 2022-09-02 14:02:28 63 阅读

hive

大数据

ddl

数据库

外部表

原创 2022-09-02 14:02:06 57 阅读

Kafka producer拦截器--拦截器链

背景producer 拦截器（interceptor）实在kafka0.10版本被引入的，主要实现客户端的定制

kafka

拦截器

producer

大数据

ide

原创 2022-09-02 14:02:01 266 阅读

Hbase shell查询错误

使用Hbase shell进行查询时，发现出现ERROR: Can’t get master address from ZooKeeper

hbase

hbase shell

zookeeper

重新启动

hdfs

原创 2022-09-02 14:01:54 100 阅读

org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations

Hbase API操作表时报出异常Exception in thread “main” org.apache.hadoop.hbase.client.Ret

hbase

java

hbaseapi

log日志

hadoop

原创 2022-09-02 14:01:25 328 阅读

平日中遇到的异常

Hbase名字空间格式异常创建名称空间时，使用自己的工作中常用的名字缩写实验了下

异常

初始化

显式

空指针异常

原创 2022-09-02 14:01:21 65 阅读

zookeeper入门简介

zookeeper产生的背景#####zookeeper定位Zookeeper是一个开源的，分布式的，eeper的工作机制

zookeeper

zookeeper写数据

zookeeper api

zookeeper shell

数据

原创 2022-09-02 14:01:08 79 阅读

zookeeper 监听器原理源码分析学习

zookeeper cli类型构造器创建两个线程sendThread和eventThreadsentThread

zookeeper

java

sendthread

eventThread

数据

原创 2022-09-02 14:01:02 184 阅读

kafka重新消费

kafka重新消费的两种方式低级APIAUTO_OFFSET_RESET_CONFIG方式一：低级APIpub

kafka

重新消费

低级api

获取数据

hadoop

原创 2022-09-02 14:00:52 173 阅读

sqoop 简要使用说明

sqoop简介Sqoop是一款开源的工具，主要用于在大数据集群hadoop 和RDMBS传统数据库之

sqoop

sqoop安装

sqoop入门

mysql

hadoop

原创 2022-09-02 14:00:45 41 阅读

spark streaming 的textFileStream读取不了数据原因分析

使用textFileStream监测某个文件夹的变化时，出现错误val fileDStream: DStream[String] = ssc.textFileStream(“

spark

textFileStream

hadoop

hdfs

原创 2022-09-02 13:45:33 106 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63118e2bb7416的博客

欢迎

【Hadoop】 Hadoop的默认快大小是多少？为什么要设置这么大

Hadoop优化之mapreduce.job.reduce.slowstart.completedmaps介绍

使用Spark通过Bulkload的方式导数据到Hbase

Flink 流处理API之 Source TransForm

ELK

kafka节点启动后无故挂掉

Hive严格模式

Flume -Taildir Source

Flume 报出异常org/apache/hadoop/io/SequenceFile$CompressionType

Scala 中apply() unapply() unapplySeq()方法

flume backoff 退避算法

hive 支持json解析

Azkban使用简要说明

通过零拷贝实现有效数据传输

HBase写流程部分源码学习

Kafka分区分配策略

log4j之间的关系

Flink WordCount

Hbase-Trying to load more than 32 hfiles to one family of one region

kafka与flume集成小案例

Hive基本语法--DDL相关

Kafka producer拦截器--拦截器链

Hbase shell查询错误

org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations

平日中遇到的异常

zookeeper入门简介

zookeeper 监听器原理源码分析学习

kafka重新消费

sqoop 简要使用说明

spark streaming 的textFileStream读取不了数据原因分析