通过openresty拦截掉危险的操作。配置文件如下：$ cat docker-compose.yaml version: '3' networks: monitor: driver: bridge services: cerebro: image: lmenezes/cerebro container_name: cerebro
该脚本的功能，类似于 elasticsearch-dump ，二者都是基于scroll来实现的（包括reindex底层也是scroll）。依赖包pip install elasticsearch==7.13.1配置文件vim configs.py# -*- coding: utf-8 -*- # es数据源的信息 es_source_host = ['127.0.0.1:9200'] # 支持
这里简单的罗列了些关于ES的自动化运维过程中可能用到的脚本DEMO创建索引并设置shards数# 省略部分代码 from elasticsearch import Elasticsearch src_es = Elasticsearch(hosts = configs.es_source_host,maxsize=16) dest_es = Elasticsearch(hosts = conf
简单介绍下FEDERATED的使用
关于 PAD_ATTRIBUTE的坑
原创 SeanHe 数据库杂记 2023-06-05 06:10 发表于德国基本背景:这里作一下搬运工，直接拿出结论，尽量少走弯路。基本实验环境：DB: PostgreSQL 14.7 pgbackrest：pgBackRest2.46 OS: Redhat ELS 8.8, CentOS 7.9如果只是想直接实验操作及验证，可以跳到第6节和第7节查看。也
最近接管了一套sql server alwayson集群，需要加些监控和告警，简单研究了下github的方案，发现了这种sql_exporter这种更简单，扩展性也超级强。（另一种是通过nodejs的方案监控，费事点，可扩展性也不太好，这里直接pass掉）。github地址：https://github.com/free/sql_exporter wget https://github.com
之前有几台sql server 只有最基础的主机监控，db层面的监控基本为0。这里简单的补充几个，用python包装一下即可集成到数据库巡检任务平台。查询锁等待 use master; WITH CTE_SID ( BSID, SID, sql_handle,name ) AS ( SELECT a.[Blocking_Sess
写个function DELIMITER $$ CREATE FUNCTION RollbackTimeCalc(processID INT, timeInterval INT) RETURNS VARCHAR(225) DETERMINISTIC BEGIN DECLARE RollbackModifiedBeforeInterval INT; DECLARE RollbackMo
PG中获取表结构不像MySQL那样show create table xxx \G 那么便捷。1、pg_dump获取表结构2、使用第三方的插件这里介绍下插件的使用方法，具体如下：项目地址： https://github.com/lacanoid/pgddl # 安装插件（我这里使用的是编译安装方式） cd postgresql-14.0/contrib unzip pgddl-master.zi
【调试技巧】超详细图文教你调试代码1. 调试的过程调试可以说是每个开发人员都必备一项技能，在日常开发和排查 bug 都非常有用。调试的过程分为三步：第一步：在你想要调试的地方，打上断点第二步：使用调试模式来运行这个 python 程序第三步：使用各种手段开始代码调试首先第一步和第二步，我用下面这张图表示点击上图
所有的 Python 开发者都清楚，Python 之所以如此受欢迎，能够在众多高级语言中，脱颖而出，除了语法简单，上手容易之外，更多还要归功于 Python 生态的完备，有数以万计的 Python 爱好者愿意以 Python 为基础封装出各种有利于开发的第三方工具包。这才使用我们能够以最快的速度开发出一个满足基本需要的项目，而不是每次都重复造轮子。Python 从1991年诞生到现在，已经过去28
使用 pyarmor 加密脚本
GitLab.com 数据分类标准原文地址标准数据分类定义个人数据：任何数据，无论是单独的还是与其他数据结合起来，直接或间接地识别、关联、描述或合理地能够与可识别的自然人（“数据主体”）相关联或链接。Customer Data：指GitLab客户上传或创建并在GitLab应用程序中处理的带有Private、Confidential或Internal标签并由客户承担法律或合同义务的电子数据。数据分类
结合滴滴内部对ES的使用经验，总结了一些最佳实践，主要分为：索引生成、mapping设置、查询优化、写入优化、集群运维。1.索引生成1.1 推荐使用索引模板日志检索&安全分析、交易明细数据多维度近实时检索场景，建议创建索引模板进行业务表达，采用时间进行分区， 一般按天、按月、按年创建。如A为用户申请时的索引模板名称，选择按月保存，实际存储的索引为A_202212。按时间分区创建可以避免单个
原文地址个人认为这篇写的特别好，列出了 Production Rediness Review 需要注意的各个潜在风险点。下面是全文内容，对极少部分无关紧要的地方做了删减。Production Readiness生产准备对于生产中的功能或服务的任何新的或更改，本指南中的问题将有助于使这些更改在 GitLab.com 上启用时更加健壮。 在开始之前，请查看手册中的生产准备审查文件。 此问题作为跟踪问题
原文地址 https://mydbops.wordpress.com/2022/02/07/estimating-time-for-rollback-operation/ 回滚是一种操作，它将事务的当前状态更改为以前的状态。如果我们想回滚任何未提交的事务，通常需要undo logs ，并且它在隔离中起着重要作用。 对于事务期间所做的任何更改，都必须优先存储，因为如果我们选择回
注意事项：参考官方文档 https://github.com/shayonj/pg-osc DDL变更逻辑，和 pt-osc基本类似：1. 创建一个审计表来记录对父表所做的更改。 2. 获取一个简短的ACCESS EXCLUSIVE锁以将父表上的触发器（用于插入、更新、删除）添加到审计表。 3. 创建一个新的影子表并在影子表上运行 ALTER/migration。 4. 复制旧表中的所有
生产上有几套MSSQL2014alwayson集群，很少需要维护，对此也不太熟悉。最近有个加账号和授权的操作，下面是添加方法备忘。1 在primary节点 执行 创建login CREATE LOGIN user_aaa WITH PASSWORD ='hNhrKSs49DHRgft5', DEFAULT_DATABASE =[master], CHECK_POLICY=OFF, CHECK
原文 https://blog.alswl.com/2021/06/prr/SRE 工程师往往会负责一个具体组件，有时也称为服务或系统（下文都称之为组件）。 需要关注的有这个组件生命周期各类事项：运行状态、日常迭代、变更计划，以及在大促等活动中的筹备、预案等等， 有些组件是团队已经在长期持续维护着的，而有些则是要去新接入。 那么，当 SRE 接手（on-borading）这样组件时， 需
背景：在数据库中对象与对象之间存在一定的依赖关系，例如继承表之间的依赖，视图与基表的依赖，主外键的依赖，序列的依赖等等。在删除对象时，数据库也会先检测依赖，如果有依赖，会报错，需要使用cascade删除。另外一方面，如果需要重建表，使用重命名的方式是有一定风险的，例如依赖关系没有迁移，仅仅迁移了表是不够的。所以迁移，通常使用的是增量迁移数据，同时使用替换filenode的方式更加靠谱，依赖关系不变
TiDB Syncer不同表名库名同步且支持pt-osc改表mysql端库名叫sysbench, 表名sbtest11tidb端库名ptosc_sysbench,表名ptosc_sbtest11执行的pt-osc命令#pt-online-schema-change --ask-pass --check-interval=1 --no-check-replication-filters --no-c
对于pxc, 为了避免流控, 可以在导入.sql文件时, 先对文件做处理awk '1;NR%1000==0{print "select sleep(1);"}' xxx.sql > xxx_dba.sql上面的命令每1000行增加一行select sleep(1);, 这样执行频率是1k/s对于mysqldump产生的sql文件, 则需要在导出是指定mysqldump --skip-
作者：杨奇龙网名“北在南方”，资深 DBA，主要负责数据库架构设计和运维平台开发工作，擅长数据库性能调优、故障诊断。一 介绍本章内容通过一个例子说明 replace into 带来的潜在的数据质量风险,当涉及 replace into 操作的表含有自增主键时，主备切换后会造成数据覆盖等不一致的情况发生。二 案例分析在主库上操作root@test 12:36:51>show
内容来源 https://help.aliyun.com/document_detail/281785.html做了少量的精简1 客户端连接池 使用绑定变量（PreparedStatement），消除数据库SQL硬解析CPU消耗，对性能提升巨大。 减少idle connection数量。可以降低RDS PostgreSQL连接内存占用，并提升GetSnapshotData()效率，
使用Python写了个最基本的表结构比对告警脚本， 目前这个版本只能做到发现表结构存在差异的表。后续考虑再迭代下，看如何把差异的表和列的明细也报出来。configs.py 内容如下：# MySQL数据源的信息mysql_source_host = "localhost"mysql_source_port = "3306"mysql_source_user = "dts"mysql_source_p
MySQL版本信息和sql_mode[sb1]> \s--------------mysql Ver 8.0.29 for Linux on x86_64 (MySQL Community Server - GPL)Connection id: 21Current database: sb1Current user: root@localhostSSL: Not i
原文 https://mp.weixin.qq.com/s/96Dc--hKB9nJQXjitPJNGQ下面是节选部分主要内容。Oracle开发者学习资源https://github.com/oracleGitHub无疑是开发者最常使用的网站之一，Oracle GitHub也是Oracle产品针对开发者非常重要的渠道和窗口。目前Oracle在GitHub上提供了264个资
1、发行版Chrome的改版有很多，除官方Chrome外，个人更喜欢国内改版的 Cent Browser 百分浏览器， 比原生的多了些功能（最喜欢它的鼠标手势）。2、插件推荐AdGuard ， 广告拦截，强烈推荐ChromeKeePass ，对接本地KeePass本地密码本，推荐Chrono下载管理器，推荐Clutter Free - Prevent duplicate tabs
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
![pip 的超全使用指南[转]](https://s2.51cto.com/images/blog/202306/05112953_647d56b14343d53260.png?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
