乐胖代购免代理版

BLOOM索引

简介在postgresql有一个比较特殊的索引“布隆索引”，在大数据开发中大家肯定比较熟悉布隆过滤器了，布隆索引同样具有其独特的一个特性————“假阳性”。所谓假阳性就是：当bloom判断元素不存在元组中的时候，那元素一定不存在元组中。当bloom判断元素存在元组中的时候，那元素可能不存在元组中。————这就是假阳性。假阳性会造成数据失真吗？不会！基于bloom filter的运行原理，较高

元组

数组

3c

postgresql

bloom

置顶原创 2月前 57 阅读

postgresql+patroni+etcd高可用安装

简介Patroni 是一个用于管理 PostgreSQL 高可用性的开源工具。它基于 etcd、ZooKeeper 或 Consul 作为分布式一致性存储，以提供自动故障转移和集群管理功能。Patroni 的核心功能自动故障转移：当主节点失效时，Patroni 会自动选择一个新的主节点，并重新配置集群。健康检查：持续监测 PostgreSQL 节点的健康状态，并在必要时执行恢复操作。 Lea

sql

PostgreSQL

patroni

pg高可用

原创精选 2天前 160 阅读

数据存储技术

简介我平时看的书比较杂，技术类、财经类、文学类偶尔都看看。最近在看了一本技术相关的书，我觉得写的不错。毕竟写书的很多，写得好的确实不多，写此文章，将电子书分享给大家，值得大家阅读。关注公众号 BigDataTechnology 后台回复数据存储技术，领取电子书网盘链接。阵列存储为保证数据存取业务的可扩展性、高可靠性和高性能，各大存储厂商围绕存储阵列开发并使用了大量关键技术手段。磁盘阵列(RAID

数据

存储阵列

存储系统

原创精选 1月前 284 阅读

ora2pg使用教程

简介公众号 BigDataTechnology 后台回复： ora2pg 赠送ora2pg参数解释中文版以及安装集成包。在现在开源工具中、去O化最好的工具就是ora2pg了，在当下的去O环境中，使用面也是比较广泛。其功能性也很全面。支持oracle多种object的迁移如：TABLE with constraints, VIEW, MVIEW, TABLESPACE, SEQUENCE,IN

oracle

perl

原创精选 1月前 286 阅读 yyds干货盘点

postgresql中故障切换，主从切换，从（备）库升主

引言在数据库开发过程中，部署了主从结构，由于开发的某一些问题，导致数据库宕机、故障。此时我们可以通过主从切换的方法，使得主库能继续运行。通常故障切换称为“Failover”。异步复制时，如果主库出现了问题，可以激活备库作为主库提供服务。在PostgreSQL9.1版本之前是在recove

数据库

postgresql

初始化

原创 1月前 344 阅读 yyds干货盘点

Linux Kernel项目删除多名俄罗斯贡献者

哪有什么科学无国界，有人的地方就有江湖。 Linux 创始人 Linus Torvalds 周三确认，Linux 已于上周清除十余名与俄罗斯有关的内核维护人员。10 月 18 日，Linux 内核开发人员 Greg Kroah-Hartman向 Linux 内核邮件列表发布了一条消息，显示 MAINTAINERS 文件中的一部分 Linux 开发人员已被删除。https://lore.kerne

驱动程序

维护者

开源社区

原创 1月前 41 阅读 yyds干货盘点

repmgr安装及常用运维指令

简介repmgr 由 EDB 与其他个人和组织的贡献一起开发，安装部署相对较为简单安装repmgr官网上传对应的安装到服务器上安装前/etc/hosts IP映射、始终同步、免密通信本文忽略 repmgr的安装相对较为简单,目前repmgr-5仅仅支持到postgresql-15postgresql必要参数配置shared_preload_libraries = 'repmgr' wal_log

postgresql

hive

数据库

原创精选 3月前 145 阅读

postgresql增量备份

简介在一些大容量得数据库应用中，采用全量备份得方式，会带来大量时间浪费和开销，此时定期的增量备份可以使得数据存储周期变长。本文讲解几个增量备份工具pg_basebackup + pg_receivewal（异地归档模式）使用pg_basebackup进行全量备份，并创建复制槽receivewal_slot，在使用pg_receivewal通过复制槽receivewal_slot对wal的定位进行

sql

增量备份

postgresql

PITR

pgbackrest

原创精选 4月前 360 阅读

PG+PGBOUNCER同一端口，竟然能同时运行

简介今天遇到了一个非常低级的错误，psql无法访问已知的数据库当我使用psql -h 的时候，会提示报错[postgres@vm107 ~]$ psql -h 10.0.0.107 Password for user postgres: psql: error: connection to server at "10.0.0.107", port 5432 failed: FATAL: no

sql

TCP

数据库

原创精选 4月前 173 阅读 yyds干货盘点

自定义函数查看OS的file cache

简介在OS中使用cache机制，主要为了提高磁盘的读取效率，避免高频的IO交换。将频繁访问的数据存放在file cache中，下一次在获取的时候就可以直接读取，缓存高命中率对于数据高速检索十分有利。smemsmem 是一个可以显示 Linux 系统中进程内存使用情况的工具，它可以显示包括进程共享的内存部分，如文件缓存。你可以使用它来查看每个进程的内存使用情况（包括共享内存）。smem -k 会有

物理内存

共享内存

内存管理

原创精选 4月前 193 阅读 yyds干货盘点

postgresql执行计划解读案例

简介SQL优化中读懂执行计划尤其重要，以下举例说明在执行计划中常见的参数其所代表的含义。创建测试数据-- 创建测试表 drop table if exists customers ; drop table if exists orders ; drop table if exists order_items ; drop table if exists products ; CREATE TABL

Memory

执行计划

Group

原创精选 4月前 217 阅读 yyds干货盘点

postgresql僵尸进程的处理思路

简介僵尸进程（zombie process）是指一个已经终止但仍然在进程表中保留条目的进程。正常情况下，当一个进程完成执行并退出时，操作系统会通过父进程调用的wait()或waitpid()系统调用来收集该子进程的退出状态。如果父进程未及时调用这些函数，子进程的状态信息就无法从内核中移除，导致进程在内核中以“僵尸”状态存在。此状态下的子进程，使用kill -9 就是“鞭尸”，是无法移除僵尸进程

postgresql

原创精选 4月前 384 阅读有了数据中台，是否需要升级到数据飞轮？需要怎么做？

postgresql-patroni高可用安装部署

简介patroni+etcd,算是目前比较主流的PG高可用搭配了。 patroni都出4.0版本了,一直没时间，断断续续写了好久，最近有人问到，那就当作一个笔记发表吧，自行搭建一个测试库做测试吧。来来回回改了好几遍。文中可能不妨地方没有同步修改的遗漏点。集群规划hostname/ip部署软件备注配置etcd1/10.0.0.131etcddcs一致性保障2G 2Cetcd2/10.0.0.132e

Time

初始状态

参数设置

原创精选 5月前 355 阅读 1点赞

PG逻辑解码

简介 postgresql中逻辑复制槽常备用于表级别的数据同步，多用于PG->PG之间跨版本的数据同步。Debezium插件便是利用逻辑复制的功能，可以将数据应用到异构数据库之间的数据同步。在不借助外部插件的情况下也可以同步读取复复制槽数据，实现数据异构之间的实时同步。本文讲解一下使用逻辑解码实现异构数据库之间数据实时同步的方法思路。创建复制槽需要创建逻辑复制槽，物理复制槽并不能作为逻

数据

异构

数据同步

原创 5月前 88 阅读

数据库中生成列的对比

简介生成列（虚拟列）：在实际开发中，相对一个历史数据的表增加一个字段，增加下游报表，数据分析的可用性。常见的方法就是删表重建，或者使用ADD column 语法。如果是一个历史表，删掉表数据是有风险的，历史的数据不一定还能再复现。第二中ADD COLUMN语法，随然你可以再存储中增加这个字段的处理，但是先

mysql

postgresql

oracle

原创 5月前 99 阅读

postgresql中控制符带来的数据错觉

简介在数据库字符集中，由于数据质量的控制不够完善，每一个字符集都并不是所有字符的能看见，有些字符的展示可能会出现乱码，甚至出现不同字符展示成同样效果的可能，给开发人员造成分析错觉。当数据库存入了控制符，类似制表符,展示的效果竟然和空格效果一样，而且还无法trim掉，对于开发人员可能会带来视觉错觉。错觉展示此时表中存入了一个制表符，展示看着是空格，而且长度为1，展示的效果与空格一样，常人根本无法一

十六进制

十进制

分隔符

原创精选 5月前 276 阅读

PG中逻辑订阅的秘密

简介在postgresql中，库级别的复制，通常使用主从复制，但是主从暂时不支持跨大版本复制，使用跨版本复制以及表级别的复制通常使用发布订阅。postgresql15在逻辑订阅上做了一些修改，对于使用者的便利性更高。1、 publication 发布创建发布，需要数据库的两个核心参数 1）wal_level wal_level 必须是logical，wal_level 有三个级别minimal,

字段

表名

sql

原创精选 6月前 179 阅读

postgresql中写python去读取HDFS数据，像表一样使用。

简介首先postgresql是支持python的，在安装postgresql数据库的时候需要执行python支持。可以使用python进行写fundcation 自然也就可以自定义funcation去读取HDFS文件，以此替换掉hive的，省去中间频繁切换服务器的麻烦。安装postgresql useradd postgres --创建用户（此时会默认指定的用户组，这个用户名称建议保持

hdfs

python

postgresql

原创精选 9月前 172 阅读

postgresql中控制符带来的数据错觉

简介在数据库字符集中，由于数据质量的控制不够完善，每一个字符集都并不是所有字符的能看见，有些字符的展示可能会出现乱码，甚至出现不同字符展示成同样效果的可能，给开发人员造成分析错觉。当数据库存入了控制符，类似制表符,展示的效果竟然和空格效果一样，而且还无法trim掉，对于开发人员可能会带来视觉错觉。错觉展示此时表中存入了一个制表符，展示看着是空格，而且长度为1，展示的效果与空格一样，常人根本

十进制

十六进制

分隔符

原创精选 9月前 204 阅读

DBA一定要告诉开发人员数据失真的情况之一

简介今天看到白鳝老师的一篇文章说《你的PG数据安全准确吗》，主要讲postgresql数据库在数据文件丢失的情况下，对其增、删、改、查不会报错，但是数据会出现失真，所以今天想写一篇在开发人员使用数据库中使用in ,exists,any语法造成数据失真的情况。早前关于此类问题在我CSDN博客有过发表。本文以postgresql14.7\mysql8.0.26\oracle19C 三个数据库版本进行试

返回结果

数据

字段

原创精选 10月前 154 阅读

hive了解系列一

“ 随着智能手机的普及，互联网时代红利的爆发，用户数量和产生的数据也越发庞大。为了解决这个问题，提高数据的使用价值。 Hadoop生态系统就被广泛得到应用。在早期，Hadoop生态系统就是为处理如此大数据集而产生的一个合乎成本效益的解决方案。Hadoop实现了一个特别的计算模型，也就是MapReduce,其可以将计算任务分割成多个处理单元然后分散到一群家用的或服务器级别的硬件机器上，从而降低成

hive

Hive

数据库

原创精选 10月前 162 阅读

多进程数据库不适合作为hive的元数据库

简介“今天发现一个比较奇怪的现象，因为博主不熟悉mysql，所以在安装hive的使用了postgresql作为hive的元数据库，在测试几个连接工具对hive进行链接，后面再测试的时候发现链接不上了，并且报错日志如下：”SLF4J: Failed toString() invocation on an object of type [org.apache.hadoop.hive.ql.sessio

java

apache

hadoop

原创 2024-03-17 13:20:27 27 阅读

SparkStreaming在实时处理的两个场景示例

简介Spark Streaming是Apache Spark生态系统中的一个组件，用于实时流式数据处理。它提供了类似于Spark的API，使开发者可以使用相似的编程模型来处理实时数据流。Spark Streaming的工作原理是将连续的数据流划分成小的批次，并将每个批次作为RDD（弹性分布式数据集）来处理。这样，开发者可以使用Spark的各种高级功能，如map、reduce、join等，来进行实时

spark

kafka

apache

原创精选 2024-03-02 17:01:17 175 阅读

postgresql自带指令命令系列一

目录简介在安装postgresql数据库的时候会需要设置一个关于postgresql数据库的PATH变量export PATH=/home/postgres/pg/bin:$PATH，该变量会指向postgresql安装路径下的bin目录。这个安装目录和我们在进行编译的时候./configure --prefix= [指定安装目录]

数据库

SQL

PostgreSQL

原创精选 2024-02-20 17:02:25 437 阅读

postgresql自带指令命令系列三

目录简介在安装postgresql数据库的时候会需要设置一个关于postgresql数据库的PATH变量export PATH=/home/postgres/pg/bin:$PATH，该变量会指向postgresql安装路径下的bin目录。这个安装目录和我们在进行编译的时候./configure --p

数据库

PostgreSQL

postgresql

原创精选 2024-02-20 16:49:59 173 阅读

线性回归在数据库中的应用

目录简介今天看到微信群有人问，如何知道数据库一年的磁盘增量？如果没有研究过统计学，IT人员对于这个问题就只能靠经验了去断定了。没经验的往往都是回复扩容越大越好。当然未来的事情我们是无法预料的。本博主就通过简单的线性回归做一个计算，算出一年数据库的磁盘增量的大小和概率。线性回归 &nbs

线性回归

数据库

最小化

原创精选 2024-02-20 16:19:49 155 阅读

spark介绍及简单使用

简介 Spark是由加州大学伯克利分校AMPLab（AMP实验室）开发的开源大数据处理框架。起初，Hadoop MapReduce是大数据处理的主流框架，但其存在一些限制，如不适合迭代算法、高延迟等。为了解决这些，Spark在2010年推出，提供了高效的内存计算和更灵活的数据处理方式。使用场景：&nb

spark

apache

java

原创精选 2024-02-20 16:10:40 177 阅读

Spark Shell的简单使用

简介 Spark shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这个工具。Spark shell使得用户可以和Spark集群交互，提交查询，这便于调试，也便于初学者使用Spark。前一章介绍了运行Spark实例之前的准备工作

spark

apache

hadoop

原创精选 2024-02-20 11:03:24 218 阅读

了解spark计算模型

简介在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilient distributed dataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。通过对多台机器上不同RDD分区的控制，就能够减少机器之间的数据重排（datashuffling）。Spark提

数据

spark

数据块

原创精选 2024-02-20 10:50:16 679 阅读

POSTGRESQL中ETL、fdw的平行替换

01、简介“ 在我前两次的文章中，说到postgresql对于python的支持，其实很多功能也就可以封装进入的postgresql数据库中去。比如fdw、etl等，本文将以此为叙述点，进行演示展示”在postgresql数据库中fdw的支持，在创建和使用上都不上太方便，特别是fdw在用表级别关联的时候，性能会大大折扣，因为fdw的数据并不会落地到本地。所以我们可以利用postgresql对于py

python

oracle

数据库

原创精选 2024-02-20 10:33:40 132 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据技术栈学习

BLOOM索引

postgresql+patroni+etcd高可用安装

数据存储技术

ora2pg使用教程

postgresql中故障切换，主从切换，从（备）库升主

Linux Kernel项目删除多名俄罗斯贡献者

repmgr安装及常用运维指令

postgresql增量备份

PG+PGBOUNCER同一端口，竟然能同时运行

自定义函数查看OS的file cache

postgresql执行计划解读案例

postgresql僵尸进程的处理思路

postgresql-patroni高可用安装部署

PG逻辑解码

数据库中生成列的对比

postgresql中控制符带来的数据错觉

PG中逻辑订阅的秘密

postgresql中写python去读取HDFS数据，像表一样使用。

postgresql中控制符带来的数据错觉

DBA一定要告诉开发人员数据失真的情况之一

hive了解系列一

多进程数据库不适合作为hive的元数据库

SparkStreaming在实时处理的两个场景示例

postgresql自带指令命令系列一

postgresql自带指令命令系列三

线性回归在数据库中的应用

spark介绍及简单使用

Spark Shell的简单使用

了解spark计算模型

POSTGRESQL中ETL、fdw的平行替换

欢迎