Compaction的主要目的：1.将多个HFile合并为较大HFile，从而提高查询性能2.减少HFile数量，减少小文件对HDFS影响3.提高Region初始化速度。hbase.hstore.compaction.min当某个列族下的HFile文件数量超过这个值，则会触发minorcompaction操作默认是3，比较小，建议设置10-15这个值影响是：设置过小会导致合并文件太频繁，特别是频繁
原创
2021-03-30 06:34:36
1752阅读
什么导致HBase性能下降？jvm内存分配和GC回收策略与HBase运行机制相关配置不合理 （hbase-site.xml配置优化）表结构设计不合理以及用户使用方式不合理HBase数据存储过程HBase写入的时候会先写入memstore达到一定大小，会flush到磁盘保存成HFile，当HFile小文件太多会执行compact操作进行合并。对HBase来说，当每一个store，仅仅包含一个文件的时
转载
2023-08-08 14:46:50
53阅读
目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰到的各种各样的问题，这里打算写一篇文章记录下调G1的一些经验。先传送门一下，之前在HBaseConAsia2017分享过一个G1GC调优的PPT: http://openinx.github.io/2012/01/01/my-share/首先，对G1算法不熟悉的同学，可以仔细读
原创
2021-03-29 21:04:35
688阅读
有需要加入Hbase讨论组的同学直接私聊我回复：Hbase加群，拉你进官方讨论群。目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰...
转载
2021-06-10 21:32:35
306阅读
一、服务器参数调优 1、hbase.regionserver.handler.count：增加服务器的处理线程数 hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10。这样设置的目的是防止服务器在某些情况吓出现内存耗尽的情况。 如果服务器上的可用内存较少，就应该将该属性设置为较低的值。如果每个请求只需要一点点的内存，但是每秒TPS却很高，
转载
2023-07-04 09:49:23
135阅读
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：R...
转载
2013-11-09 16:08:00
55阅读
2评论
https://mp.weixin.qq.com/s?__biz=MzI5MDYxNjIzOQ==&mid=2247483936&idx=1&sn=51948ae9478f8fbd0e16135b477fc030&chksm=ec1c64e0db6bedf6f70f4e90358513e376f9b56bb39c9b86bd929b2b931ce8ff80c10f6
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理
原创
2023-09-21 09:58:38
27阅读
# HBase 查询调优
HBase是一种分布式、面向列的开源NoSQL数据库，它以高可靠性、高性能和高扩展性为特点。但是，在处理大规模的数据时，HBase查询性能可能会变得缓慢。为了提高查询性能，我们可以使用一些调优技术和策略。本文将介绍HBase查询调优的一些最佳实践，并提供代码示例。
## 1. 数据模型设计
首先，在设计HBase数据模型时，需要考虑查询的需求。合理的数据模型设计可以
原创
2023-09-01 13:16:05
48阅读
有需要加入Hbase讨论组的同学直接私聊我回复：Hbase加群，拉你进官方讨论群。目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰...
转载
2021-06-10 21:32:36
610阅读
调优方法预分区Pre-Creating Regions（预分区） 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。 一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入 HBase时，会按照region分区情况，在集群内做数据的负载均衡。
转载
2023-07-21 15:32:16
41阅读
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
配置优化
zookeeper.session.timeout
默认值：3分钟（180000ms）
说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，Reigon
转载
精选
2013-01-29 15:19:00
379阅读
因官方BookPerformanceTuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeepe
转载
精选
2013-09-15 10:02:00
1044阅读
我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据。其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解。本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章。原文链接：HBase性能调优因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，
转载
精选
2016-06-01 17:00:50
1604阅读
Hbase调优 Hbase常见调优参数 冷热数据的处理
原创
2022-06-17 12:38:05
165阅读
设置 regionserver 的内存大小，默认为 1g，推荐设置为 4g。 修改 conf/hbase-env.sh 中的 HBASE_HEAPSIZE=4ghbase.regionserver.handler.count: 修改客户端并发
原创
2022-07-01 20:54:28
489阅读
hbase调优一、phoenix调优1.建立索引超时，查询超时2.预分区hbase shell预分区phoenix预分区3.在创建表的时候指定salting。4.二级索引 建立行键与列值的映射关系二、hbase调优-rowkey的设计1.rowkey唯一原则2.rowkey长度原则3.rowkey散列原则4.热点问题5.常见的避免热点的方法:5.1 加盐5.2 哈希5.3 反转5.4 时间戳"反
转载
2023-08-16 14:28:15
0阅读
hbase常见问题及解决方案总结(一)使用hbase已经有一段时间,无论是在linux还是使用java api,大多数的问题…都没有进行整理,为了加强记忆,现在列举出曾一些我曾经踩过的坑,希望能对读者有些帮助1. 创建表格失败,提示信息如下:org.apache.hadoop.hbase.security.AccessDeniedException: org.apache.hadoop.hbase
转载
2023-07-13 16:02:46
76阅读
这里主要讲hbase调优相关内容一、Hmaster高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。首先在$HBASE_HOME/conf下创建一个backup-masters名称的文件
原创
2019-11-04 18:43:45
1032阅读
目录1 高可用2 预分区3 RowKey 设计4 内存优化5 基础优化 1 高可用在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster
原创
2021-03-13 23:12:13
143阅读
