zookeeper（简称zk），顾名思义，为动物园管理员的意思，动物对应服务节点，zk是这些节点的管理者。在分布式场景中，zk的应用非常广泛，如：数据发布/订阅、命名服务、配置中心、分布式锁、集群管理、选主与服务发现等等。这不仅得益于zk类文件系统的数据模型和基于Watcher机制的分布式事件通知，也得益于zk特殊的高容错数据一致性协议。 这里
转载
2023-10-07 18:37:55
91阅读
什么是 Volatile 变量？ Volatile 是 Java 中的一个关键字。你不能将它设置为变量或者方法名，句号。 认真点，别开玩笑,什么是 Volatile 变量？我们应该什么时候使用它？ 哈哈，对不起，没法提供帮助。 volatile 关键字的典型使用场景是在多线程环境下，多个线程共享变量，由于这些变量会缓存在 CPU的缓存中，为了避免出现内存一致性错误而采用&nb
转载
2024-01-29 16:15:06
49阅读
对于redis、memcached这些分布式缓存系统，需要将数据均匀的分布到缓存服务器集群的不同机器上，就需要使用对缓存的数据的key做hash值计算， 然后在将hash值除以服务器节点的数量取模计算出数据需要落到那台服务器节点上。这种算法很简单，也可以实现数据的均匀分布， 但是，增加或者减少数据节点的时候会导致所有缓存数据失效。例如，有三台Redi
转载
2023-06-26 14:58:17
149阅读
下面内容主要摘抄于<<Hadoop实战>>,红色高亮部分是本人添加的白话注释. Zookeeper 是一种高性能、可扩展的服务。 Zookeeper 的读写速度非常快，并且读的速度要比写的速度更快。另外，在进行读操作的时候， ZooKeeper 依然能够为旧的数据提供服务。这些都是由于 ZooKeepe 所提供的一致性保证，它具有如下特点：【Zooke
海量数据与NoSQL：伯克利大学Eric Brewer教授，提出一个CAP理论：Consistency（一致性）：数据一致更新。Availability（可用性）：良好的响应性能。Partition tolerance（分区容错性）：可靠性。定理：任何分布式系统，只可同时满足二点，没法三者兼顾。 对于CAP特性，带来了NoSQL。但NoSQL对事务性的要求并不严格。有些数据库在部分机器宕
转载
2023-10-16 01:40:37
99阅读
Flink 的状态一致性什么是状态一致性有状态的流处理，每个算子任务都可以有自己的状态。所谓的状态一致性， 其实就是我们所说的计算结果要保证准确。一条数据不应该被丢失，也不应该被 重复计算。在遇到故障时可以恢复状态，恢复以后得重新计算，结果应该也是完 全正确的。状态一致性的分类At-Most-Once（最多一次）： 当任务故障时，最简单的做法就是什么都不干，既不恢复丢失的数据，也不 重复数据。最多
前言当在需要将数据分发到多个数据库/缓存，或将请求分发给多个服务节点时，不可避免的会遇到以下问题：如何将数据均匀的分散到各个节点中，并且尽量的在加减节点时能使受影响的数据最少。选择节点的方法随机放置从多个节点中，随机挑选一个，实现简单但不能做到数据均匀分布到每个节点Hash将数据的key按 index = hash(key) % N选择节点。N代表有N个节点。此方法能将数据均匀的分发给每个节点，但
consistent hashing 是一种 hash 算法，简单的说，在移除 / 添加一个 cache 时，它能够尽可能小的改变已存在 key 映射关系，尽可能的满足单调性的要求。 1.环形结构通常的 hash 算法都是将 value 映射到一个 32 为的 key 值，也即是 0~2^32-1 次方的数值空间；我们可以将这个空间想象成一个首（ 0 ）尾（ 2^32-1 ）相接的圆环，
转载
2024-01-16 14:48:49
36阅读
简介一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcache
一、一致性模型现阶段工业上有两种一致性模型：弱一致性和强一致性。弱一致性中最主要的是最终一致性，对于最终一致性最好的体现是DNS和Gossip通信协议。强一致性主要有：同步（主从同步）、Paxos、Raft、Zab、多数派机制。二、PaxosPaxos共识机制有多个版本，常见的有Basic、Multi、Fast。（1）Basic Paxos系统角色如下：Client：系统外部角色，请求的发起者，类
转载
2023-11-29 17:55:30
22阅读
今天笔者想谈谈对一致性哈希的理解。其实，在写之前笔者在网上随便一搜，有很多很多优秀的博文，琳琅满目。所以呢，下文只是粗略的介绍一致性哈希的知识点。初识一致性哈希。一致性哈希的概念：
是一种特殊的哈希算法，在使用一致性哈希算法后，哈希表槽位数的改变，平均只需要对K/N个关键字进行重新映射，其中K为关键字的数量，N为槽位的数量。看完定义之后，其中有重新映射的知识点，在这里读者可以联想起，Ja
转载
2023-09-19 08:46:57
90阅读
一致性Hash算法关于一致性Hash算法，在我之前的博文中已经有多次提到了，MemCache超详细解读一文中"一致性Hash算法"部分，对于为什么要使用一致性Hash算法和一致性Hash算法的算法原理做了详细的解读。算法的具体原理这里再次贴上：先构造一个长度为2 32 的整数环（这个环被称为一致性Hash环），根据节点名称的Hash值（其分布为[0, 2 32-
github仓库存储地址：https://github.com/hlccd/goSTL概述 一致性哈希（consistent hash），与一致性哈希相对的是不一致性哈希，但常见的所有的哈希几乎都是不一致的，即哈希桶的容量的不固定的，可以根据需求进行扩容和缩容，不一致性哈希可以提高空间的利用率，但相应的，当进行扩容和缩容操作时需要对桶内存储的所有元素重新计算哈希值，这在某些情况是十分麻烦的事情，特
转载
2023-08-31 21:01:43
108阅读
C:Consistency,一致性1. 通过某个节点的写操作结果对后面通过其他节点的读操作可见2. 如果更新数据后，并发访问情况下可立即感知该更新，成为强一致性3. 如果允许之后部分或者全部感知不到该更新，称为弱一致性4. 若在之后的一段时间（时间不固定）后，一定可以感知该更新，称为最终一致性A:Availability 可用性1. 任何一个没有发生故障的节点必须在有限的时间返回合理的
近期，在网上看到一个来自外文网站的帖子，内容是一位业内大牛讨论#在分布式系统中最难解决的几个技术难题#。该话题目前已收到超过10000+的点赞认同数。文中提出的排行第二的难题：Exactly-Once delivery。在很多评论中，甚至被认为是理论上几乎不可解决的问题。对于此技术话题的理解，可谓见仁见智，而在流处理领域中的Exactly-Once一致性语义则是大数据开发者必须掌握的核心知识点。由
一致性Hash算法背景一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memc
转载
2023-07-19 14:33:03
179阅读
为什么需要一致性 数据不能存在单个节点（主机）上，否则可能出现单点故障。 多个节点（主机）需要保证具有相同的数据。 一致性算法就是为了解决上面两个问题。 一致性算法的定义 一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。 一致性的分类 强一致性 说明：保证系统改变提交以后立即改变集群的状态。 模型： Paxos Raft（muti-paxos） ZAB（muti-pa
一、算法背景一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。二、应用场景现在一致性hash算法在分布式系统中也得到了广泛应用，分布式系统中涉及到集群部署，包括缓存Redis集群，数
转载
2023-08-17 11:16:23
45阅读
一致性哈希算法目前在缓存中用到的越来越广泛，比如说：redis1应用场景：
假设目前有多台redis服务器，需要放到redis中的key值有多个，如何能让这些key值均匀的分布到这些redis服务器中，已达到充分利用redis服务器的目的，这就是一致性哈希出现的历史背景。
2一致性哈希原理：
在移除或者添加一个缓存的时候，需要尽可能小的改变已存在的key的映射关系。
2.1哈希
转载
2023-06-13 11:24:16
135阅读
题。...
原创
2022-01-14 14:19:07
131阅读
