乐胖代购免代理版

pulsar优雅缩减bookies

背景之前都是按统一的部署架构（broker3台+bookies5台）在生产环境部署一套puslar集群，上线后，查看监控，硬件资源使用率较低，本着降本省钱的理念，于是开始考虑缩减机器，bookies可以缩减成3台。说干就干。操作方法broker操作1，修改broker配置文件# 创建Ledger时指定Ensemble的大小managedLedgerDefaultEnsembleSize=3# 创建

硬件资源

操作方法

生产环境

原创精选 2022-01-13 15:37:54 1698 阅读

pulsar集群参数调优

硬件配置组件配置zookeeper4C8G100G * 3broker16C64G500G * 3bookie16C64G500G * 5broker.conf参数# zk集群地址zookeeperServers=zk1:2181,zk2:2181,zk3:2181# 配置存储连接字符串（以逗号分隔的列表）configurationStoreServers=zk1:2181,zk2:2181,zk

bundle

5g

zookeeper

客户端

连接字符串

原创精选 2021-12-09 19:35:10 3431 阅读

pulsar集群清理硬盘方法

消息保留策略默认情况下，当消息到达 broker 时，会一直保留这条消息直到消费者确认已消费到这条消息，此时它才被删除。你可以修改命名空间中所有主题的消息保留策略，来保留所有订阅中已经确认的消息。消息保留策略支持两种类型：根据消息大小保留或者根据时间保留。当使用 Reader 接口时，保留策略是有用的。因为 Reader 接口不使用消息确认机制，消息将永远不会存在 backlog 中。在

pulsar

pulsar集群硬盘

pulsar硬盘清理

原创推荐 2021-11-04 17:12:06 3518 阅读 20点赞 1收藏

解决pulsar集群触发shedder

背景由于使用了默认的参数，broker触发了多次shedder，导致有许多重复消息。需要更改broker.conf参数来解决问题集群由3台broker 5台bookie组成，硬件配置为16c 64G, 1.78T SSD排障步骤1，查看代码，发现如果是触发了Shedder ，broker日志中会打印类似的日志，Attempting to shed load on {}, which has max

pulsar

shedder

pulsar参数调优

原创精选 2021-11-02 16:43:33 2876 阅读 1点赞 1评论

pulsar bookies清理磁盘方法

背景 5台bookies的硬盘被打满，导致pulsar不能正常提供服务。当bookies的硬盘被打到95%以上，会自动把bookies给设置为readonly的原因是因为有消费者积压，造成大量的数据未被消费确认。默认情况下，Pulsar 会永久存储所有未确认的消息。在大量消息未得到确认的情况下，会导致大量磁盘空间的使用。因此，我们需要将未确认的消息从硬盘中清除操作方法 1，可以设置生存时间

pulsar

bookies

pulsar清理硬盘

原创精选 2021-09-07 16:54:32 6377 阅读 1收藏

pulsar的Kop压力测试

背景 kop服务器配置：cpu: 32C 内存: 128G 硬盘：3.7T （8台机器） zk服务配置：cpu: 4C 内存: 8G 硬盘：40G （3台）部署：zk部署在3台机器上，kop分别部署在8台机器上目的：对Pulsar集群的kop进行性能压力测试, 总结 1，10万tps，消息体1k，最大tps11万 (40和80分区一样) 2，100万tps，消息体1k，最大tps30万

pulsar

kop

kop测试

原创精选 2021-09-03 14:47:55 3167 阅读

Pulsar的Kafka协议适配器KoP部署

背景为了能平滑、不改写代码、无侵入地迁移应用使用pulsar，KoP以插件形式支持Kafka协议。 Github地址：https://github.com/streamnative/kop 下载Kop版本 https://github.com/streamnative/kop/releases/tag/v2.8.0.7 下载与pulsar版本一致的kop 下载的文件为：pulsar-

pulsar

pulsarKop

kop

原创精选 2021-08-18 17:04:21 4802 阅读 1点赞

pulsar升级

pulsar

原创 2021-08-02 17:14:21 2257 阅读

pulsar 集群报错Failed to lookup null for topic

背景集群配置 Pulsar集群版本：2.8.0 Pulsar Broker节点数：3 Pulsar Bookies节点数：5 Pulsar Zookeeper节点数：3 因为消费者服务有问题，需要重启消费者服务现象登陆到broker上去查看日志，只有一个broker节点上有些可疑的日志，不断的在打印这些日志 [pulsar-io-4-4] INFO org.apache.pulsar.b

pulsar

pulsar报错

原创 2021-08-02 16:55:07 2371 阅读

Pulsar-admin 常用命令

Pulsar 提供持久化、非持久化两种主题. 给生产者、消费者提供了一个逻辑上的主题地址管理主题常用命令列出 topicbin/pulsar-admin topics list public/default查看topic提供服务的URL bin/pulsar-admin topics lookup persistent://public/default/test授权bin/pulsar-admin

pulsar

pulsar常用命令

pulsar-admin

原创精选 2021-02-05 16:52:09 10000+阅读 1点赞 1评论

Pulsar-Manager编译安装部署

Pulsar Manager 是一个网页式可视化管理与监测工具，支持多环境下的动态配置。可用于管理和监测租户、命名空间、topic、订阅、broker、集群等。Docker安装在 Docker 容器中运行是使用 Pulsar Manager 最简单的方法。docker pull apachepulsar/pulsar-manager:v0.2.0docker run -it \ -p 952

pulasr-manager

pulsar控制台

原创 2021-01-27 16:29:49 4301 阅读 1收藏

Pulsar2.7.0最新版本安装

集群说明搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群（3 个 ZooKeeper 节点组成）bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成）broker 集群（3 个 Pulsar 节点组成，broker 是 Pulsar 的自身实例）Pulsar 的安装包已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper

pulsar安装

pulsar部署

pulsar集群安装

原创 2021-01-25 17:35:37 2127 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

sqtce

pulsar优雅缩减bookies

pulsar集群参数调优

pulsar集群清理硬盘方法

解决pulsar集群触发shedder

pulsar bookies清理磁盘方法

pulsar的Kop压力测试

Pulsar的Kafka协议适配器KoP部署

pulsar升级最新版本

pulsar 集群报错Failed to lookup null for topic

Pulsar-admin 常用命令

Pulsar-Manager编译安装部署

Pulsar2.7.0最新版本安装

欢迎