1高可用方案1.1master高可用master镜像是通过把primary master对应的standby master放置到不同的物理主机实现的。正常情况下只有primary master接受用户连接请求，standby master通过gpsyncagent进程(运行在standby master上)利用事务日志保持与primary master的同步。由于master上不存放任何用户数据，
一、简介Orca特性模块化可扩展性适应多核可验证性性能二、预备知识MPP（大规模并行处理）Share-nothing计算结构两个以上的协调处理器每个处理器有自己的内存，OS和硬盘Master负责数据库实例之间的工作协调，每部分数据处理和存储的工作称为Segements。当查询提交到master，查询会被优化并拆分为小的部分，并被分发为Segments。通过网络层互联，实现Segments之间的进程
虽然GREENPLUM可以降低对优化的要求，但是它也是关系型
数据库。所以也需要进行优化。这里主要列出与GP优化的一些建议-PTA(PERFORMANCE TUNNING ADVICE)
PTA RULE No1
在完成大批量数据装载之后，针对目标表总是进行vacuum analyze操作。一方
1 SQL查询性能优化检索的索引是否建立，凡是需要查找的字段尽量建立索引，甚至是联合索引；创建索引，包括表达式和部分索引； 2） 使用COPY语句代替多个Insert语句； 3） 将多个SQL语句组成一个事务以减少提交事务的开销； 4） 从一个索引中提取多条记录时使用CLUSTER； 5） 从一个查询结果中取出部分记录时使用LIMIT； 6） 使用
PostgreSQL提供了一些性能调优的功能。主要有如下几个方面。1.使用EXPLAINEXPLAIN命令可以查看执行计划，这个方法是我们最主要的调试工具。2.及时更新执行计划中使用的统计信息由于统计信息不是每次操作数据库都进行更新的，一般是在 VACUUM 、 ANALYZE 、 CREATE INDEX等DDL执行的时候会更新统计信息，因此执行计划所用的统计信息很有可能比较旧。 这样执行计划的
目录一、安装说明1.1 软件版本1.2 集群介绍二、master节点GreenPlum安装2.1 安装环境准备2.1.1修改 /etc/hosts文件2.1.2 修改 etc/sysconfig/network文件2.1.3 修改 /etc/sysctl.conf文件2.1.4 修改 /etc/security/limits.d/90-nproc.conf文件2.1.5 修改 /etc/secur
GP优化方案一、 参数调整1、块I/O参数1)参数描述此参数用来设置块设备参数。2)现参数：现没有设置块I/O参数。3)加入参数：#vi /etc/rc.d/rc.local
blockdev --setra 16384 /dev/sdb注：master、standby节点不需修改。2、I/O调度算法 由于数据仓库属于IO敏
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql
1、时间格式化
mysql: select DATE_FORMAT(now(),'%Y%m%d%H%i%s') =>20160720035809 获取一个日期的年月日小时分钟秒字符串 注：%H表示24小时制
GP： to_char(now(), 'YYYYMMDDHH24MI
1、GreenPlum这种share nothing的架构： 良好的发挥了廉价PC的作用。自此I/O不在是DW的瓶颈，相反网络的压力会大很多。但是greenplum的查询优化策略能够避免尽量少的网络交换。对于初次接触greenplum的人来说，肯定耳目一新。2、greenplum的查询优化器 greenplum的查询优化器负责将SQL解析成每个节点(segments)所要走的物理执行计划。也
原创
2013-10-19 20:41:47
1594阅读
向MySQL发送一个请求时MySQL具体的操作过程慢查询1.慢查询 SHOW VARIABLES LIKE '%quer%' 索引优化技巧1.对于创建的多列索引（复合）索引，只要查询条件使用了最左边的列，索引一般就会被使用。2.对于使用like的查询，查询如果是“%aaa”、“_aaa”就不会使用索引，“aaa%”就会使用索引。3.如果条件中有or，则要求or的所有字段都必须有索引，否则不能
转载
2023-09-02 01:57:24
79阅读
PostgreSQL提供了一些性能调优的功能。主要有如下几个方面。1.使用EXPLAIN EXPLAIN命令可以查看执行计划，这个方法是我们最主要的调试工具。 2.及时更新执行计划中使用的统计信息 由于统计信息不是每次操作数据库都进行更新的，一般是在 VACUUM 、 ANALYZE 、 CREATE INDEX等DDL执行的时候会更新统计
文章目录优化数据访问思路执行过程优化1.查询缓存2.查询优化处理2.1 词法解析器预处理2.2 查询优化器Question: 在很多情况下mysql会选择错误的执行计划，原因如下：2.3 优化器的优化策略2.4 优化器的优化类型2.5 关联查询2.6 排序优化优化特定类型的查询1. 优化count() 查询2. 优化关联查询3. 优化子查询4. 优化limit分页4. 优化union查询 优化数
转载
2023-09-02 01:57:11
36阅读
最近对离线数仓体系进行了扩容和架构改造，也算是一波三折，出了很多小插曲，有一些改进点对我们来说也是真空地带，通过对比和模拟压测总算是得到了预期的结果，这方面尤其值得一提的是郭运凯同学的敬业，很多前置的工作，优化和应用压测的工作都是他完成的。 整体来说，整个事情的背景是因为服务器硬件过保，刚好借着过保服务器替换的机会来做集群架构的优化和改造。 1.集群架构改造的目标在之前也总结过
PostgreSQL 快速安装# 安装
apt install -y postgresql
# 监听所有地址
sed -i 's/#listen_addresses = \'localhost\'/listen_addresses = \'*\'/g' /etc/postgresql/12/main/postgresql.conf
# 修改密码
sudo -u postgres psql -c
Greenplum优化，不要设置太大的shared_buffers
原创
2023-08-20 08:06:18
461阅读
一、查询慢的原因 通常来讲MySQL数据库查询需要经历的周期：从客户端，到服务端，然后在服务器上进行解析，生成执行计划，执行，并返回结果给客户端。这里涉及到网络、IO、cpu、上下文切换、系统调用、生成统计信息、锁等待时间等流程，如图所示： 二、优化数据访问 1、查询不需
转载
2023-10-26 22:30:19
93阅读
改变 SQL 查询Greenplum 数据库是基于代价的查询优化，查询优化器会选择代价最小的作为执行计划。像其他的 RDBMS 优化器一样， Greenplum的查询优化器也会考虑如下因素，例如做连接操作涉及的记录数量，索引是否可用，访问数据的字段基数。查询优化器还要考虑数据的具体位置，尽可能的在当前段内执行更多的操作，然后在进行段之间的通信操作，因为在实际生产中，频繁的段间数据交换会产生集群的网
目录gp_toolkit 说明1、表膨胀相关查询2、表倾斜的相关信息3、锁查询相关的信息4、日志查询相关的信息5、资源队列相关查询信息6、查看磁盘上(database,schema,table,indexs,view)等的占用大小的相关信息7、用户使用的工作空间大小信息8、查看用户创建的信息(数据库,schema,表,索引,函数,视图)等信息9、系统中维护的ID信息10、系统查用的查询信息11、系
问题描述项目中使用GP数据库做实时同步，对于这种高并发大数据量的dml操作，效率非常低，于是，考虑到索引优化。有时候，已经建了索引，但是看查询计划，并没有使用到索引；案例对于odb_ywuser_prpcmain这张表，policyno为分布键。在列 policyno 建了一个名叫 idx_db_ods_odb_ywuser_prpcmain 的索引，在列 policyno,inserttime
作者：卢文双 架构GreenPlum 采用 Share Nothing 的架构，良好的发挥了廉价PC的作用。自此I/O不在是 DW(data warehouse) 的瓶颈，相反网络的压力会大很多。但是 GreenPlum 的查询优化策略能够避免尽量少的网络交换。对于初次接触 GreenPlum 的人来说，肯定耳目一新。查询优化器GreenPlum 的 master 节点负责 SQL 解析和执行计划
