存储

内存，树装数据结构【page，redo log，temp data】；硬盘， 【page files，redo log files，others】

单机文件系统

分部署文件系统

  • hdfs
  • ceph，算法crush

数据库

关系型数据库

  • mysql
  • postgresql

非关系型数据库

  • mongo（文档存储，灵活，可序列化为json/bson，管理员collection（文档的集合），4.0后开始支持事务，常用client/SDK交互）
  • redis（数据结构丰富（hash、set、zset、list），基于C语言实现，高性能，基于内存，支持AOF/RDB持久化，常用redis-cli/SDK交互）
  • es（文档存储，可序列化为json，管理单元index（文档的集合）， 支持restful api，支持弱sql）

和RDBMS相比，ES天然能做“模糊搜索”，还能自动计算出关联程度。

数据库的分部署

问题

  • 容量【storage】
  • 弹性【cpu、mem、disk】
  • 性价比

新技术

Bypass OS Kernel

  • SPDK【kerne Space-->User Space;中断-->轮询；无帧数据结构】

AI

  • 智能存储格式转换【行存-->列存（行列混存），以何种方式存借助AI算法分析】

新硬件

高性能硬件：RDMA网络、Persistent Memory、可编程交换机、CPU/GPU/DPU

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更

总结

存储和数据库_数据结构

更多内容详见微信公众号：Python研究所

存储和数据库_redis_02