目录一、简介二、升级操作2.1 es配置2.2 logstash设置2.3 守护进程配置2.4 查看结果一、简介单机伪集群是什么概念呢，就是同一台服务器有多个es节点先介绍一下，原先的环境为在一台服务器192.168.0.15上安装了es、kibana、logstash，通过守护进程来启动服务，单机单节点。现在升级为单机多节点。 二、升级操作查看服务进程supervi
导读：前不久，滴滴ES团队将维护的30多个ES集群，3500多个ES节点，8PB的数据，从2.3.3跨大版本无缝升级到6.6.1。在对用户查询写入基本零影响和改动的前提下，解决了ES跨大版本协议不兼容、文件格式不兼容、mapping不兼容等难题，整个过程对绝大部分用户完全透明。同时还完成了Arius的架构升级，取得了单机查询性能提升40%，整体集群cpu下降10%，写入tps提升30%，集群资源使
数据迁移与扩容实践： 工具目前从 mycat1.6，准备工作：1、mycat 所在环境安装 mysql 客户端程序。 2、mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包。 3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复。 步骤：1、复制 schema.xml、rule.xml 并重命名为 newSchema.xml、newRule
MySQL不停机主从部署引言搭建数据库备份主库数据——XtraBackup工具安装制作全量备份从库恢复全量备份数据设置主从主库操作获取binlog和pos位置从库 引言在日常开发中，MySQL数据库的使用非常频繁。在MySQL的使用过程中，我们需要面对两个方面的问题：性能问题容灾问题性能问题指的是随着应用、并发量的增加，原本的一个数据库无法再承受更多的连接和访问，因此需要使用从库，以减轻主库的负
转载
2023-11-23 19:21:10
28阅读
持之以恒，贵在坚持，每天进步一点点！作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：https://github.com/sunshinelyz/mykit-delayPS: 欢迎各位Star源码，也可以pr
转载
2023-11-13 18:06:13
92阅读
SDSSDS本质上就是char *，但是因为有了表头sdshdr结构的存在，所以SDS比传统C字符串在某些方面更加优秀。一般传统C字符串是有结束符的，遇到’\0‘则认为已经到达末尾，忽略结尾以后的所有字符。**SDS表头的buf被定义为字节数组，判断是否到达字符串结尾的依据是表头的len成员。**因此获取字符串长度时间复杂度为O(1)。总结下sds的特点是：可动态扩展内存、二进制安全、快速遍历字符
转载
2023-12-24 16:28:52
24阅读
Redis持久化与集群这一篇是之前就想写的，但是考虑到学习一样东西有一样好的方式是对比，就先写的MySQL的复制，备份与恢复与Redis的持久化，集群有许多相同之处（我私以为最大的区别是Redis是存储在内存，MySQL是在磁盘，其他的思想其实差不多）1.什么是Redis持久化1.1 Redis持久化定义将Redis的数据从内存存储到磁盘（可以存储到MySQL数据库，或直接存储为Redis能够识别
主要简单总结下，mysql在线扩容和缩容一般涉及到的内容，主要包括三个方面，1.在线也就意味着需要把增量的数据重新分布到新的拓扑结构中,我们一般称做增量复制，2.原有的数据需要一条不漏的扫出来重新分布到新的拓扑结构中,这个一般叫做全量复制，3.全量做完，增量正在同步，把应用的数据路由拓扑切到新的路由拓扑上来，并且做到无数据丢失，这个我们叫做停写切换。做好这三个方面的工作，能够达到的效果就是应用在最
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/rolling-upgrades.html Rolling upgradesedit A rolling upgrade allows an Elasticsearch clust ...
转载
2021-08-20 10:56:00
174阅读
2评论
# MySQL不停机迁移到Elasticsearch
在现代数据处理场景中，Elasticsearch（ES）因其强大的搜索和分析能力受到广泛关注。我们时常需要将数据从传统的MySQL数据库迁移到Elasticsearch中，以利用其高效的查询能力。但如何实现此种迁移而不影响系统的正常运行呢？本文将探讨一种零停机迁移的方法，并提供代码示例。
## 什么是不停机迁移？
不停机迁移是指在迁移数据
ext4不停机在线扩容 1、修改虚拟机磁盘容量大小 2、重新识别磁盘容量大小# ls /sys/class/scsi_disk/
# echo 1 > /sys/class/scsi_disk/2\:0\:1\:0/device/rescan
# fdisk -l 3、调整目标分区大小# fdisk /dev/sdb
d
n
p
1
原创
2019-10-11 15:01:33
3114阅读
目录：一、正常情况下发服务演化之路1.单体应用2.RPC应用3.分库分表二、单元化三、最后的总结刚开始工作的菜鸟，总会有各种疑问，刚开始是对 JDK API 的疑问，对 NIO 的疑问，对 JVM 的疑问。当工作几年后，对服务的可用性，可扩展性也有了新的疑问，什么疑问呢？其实是老生常谈的话题：服务的扩容问题。正常情况下的服务演化之路让我们从最初开始。1、单体应用 每个创业公司基本都是从类似 SSM
需求说明类似订单表，用户表这种未来规模上亿甚至上十亿百亿的海量数据表，在项目初期为了快速上线，一般只是单表设计，不需要考虑分库分表。随着业务的发展，单表容量超过千万甚至达到亿级别以上，这时候就需要考虑分库分表这个问题了，而不停机分库分表迁移，这应该是分库分表最基本的需求，毕竟互联网项目不可能挂个广告牌"今晚10:00~次日10:00系统停机维护"，这得多low呀，以后跳槽面试，你跟面试官说这个迁移
实际上，不停机扩容，实操起来是个非常麻烦而且很有风险的操作一、第一阶段：在线双写，查询走老库1. 建立好新的库表结构，数据写入久库的同时，也写入拆分的新库
2. 数据迁移，使用数据迁移程序，将旧库中的历史数据迁移到新库
3. 使用定时任务，新旧库的数据对比，把差异补齐二、在线双写，查询走新库1. 完成了历史数据的同步和校验
2. 把对数据的读切换到新库
三、第三阶段：旧库下线旧库不再写入新的数据经
原创
2023-10-30 09:09:53
544阅读
坐标：浙江省杭州市概述：鄙人才疏学浅，了解到不停机部署方案有热加载、热部署、集群分批部署三种方式，这里只针对这三种方式进行讨论。一、热加载 原理：热加载的实现原理主要依赖jvm的类加载机制，在运行时对被修改过的类进行重新载入。 实现方式：在容器启动的时候起一条后台线程，定时的检测类文件的时间戳变化，如果类的时间戳变掉了，则将类重新载入。 适用场景：热加载会直接修改jvm中的字节码，这种方式对
转载
2023-07-10 21:54:46
200阅读
以下内存参考蒋德钧老师讲义如何保存更多的数据为了保存更多的数据，通常使用大内存云主机和切片集群两种方法。实际上，这两种方法分别对应着redis应对数据量增多的两种方法：纵向扩展和横向扩展。纵向扩展：升级单个redis实例的资源配置，包括增加内存容量、增加磁盘容量、使用更高配置的cpu。就像下图中，原来的实例内存是8GB，硬盘是50GB，纵向扩展后，内存增加到24GB，磁盘增加到150GB。横向扩展
转载
2023-11-24 14:45:19
76阅读
目录原理环境准备操作系统(Centos7)Mysql客户端安装Psql客户端安装数据库用户空字符串处理成null导表脚本dbmysql2pgmysqlcopy测试在mysql中建表导表测试查看pg中的表 原理Mysql抽取：mysql命令重定向到操作系统文件，处理成csv文件； PG装载：copy方式将csv文件装载进PG。环境准备操作系统(Centos7)useradd pgload
pass
转载
2023-10-16 18:52:48
67阅读
Linux的docker下ES使用ik分词器一、1.首先停止删除之前的elasticsearch容器（加-a是查看的所有的，不加是正在运行的，如果是正在运行的要先停止才能删除）2.进入到目录 url/localcd /url/local3.创建文件es，并在es下创建data，plugins文件（加-p为递归创建） 创建成功后可以进入到es目录 ls查看一下我们创建的文件，然后返回上一级目录mkd
# Java不停机升级
## 简介
Java作为一种广泛应用于企业级应用开发的编程语言，其不停机升级能力是其受欢迎的一个重要原因之一。不停机升级是指在系统运行期间，对Java应用程序进行更新或修复，而不需要关闭或重启整个系统。
## 为什么需要不停机升级
在复杂的企业级应用中，往往需要在运行期间对系统进行更新或修复。传统的停机升级方式会导致系统的停运，给用户带来不便和影响企业的业务连续性。
原创
2023-12-03 04:31:13
110阅读
## 实现Java不停机部署的流程
为了实现Java的不停机部署，我们可以采用以下步骤来完成：
### 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 1. | 构建自动化部署脚本 |
| 2. | 将应用程序打包为可执行的JAR文件 |
| 3. | 配置应用程序的启动和停止脚本 |
| 4. | 启动应用程序 |
| 5. | 更新应用程序 |
原创
2023-12-01 13:17:41
307阅读
