雪花片算法的实现原理
难度指数:4星 考察评率 80%
开发年限:3-5年
一.概念
雪花算法:是由推特公司开发的,分布式ID生成算法,主要用于分库分表场景、全局ID作为业务主键,或者是全局唯一订单号的场景。
?一般雪花大约有10的19次方水分组成。在雪花形成的过程中,会形成的不同的结构分支,大自然当中不存在两片完全一样的雪花。由此引申而来。
方案:
UUID 、系统时间戳、Redis原子递增、数据库全局自增ID。?
要满足的特征:
①单调递增:保证下一个ID号一定大于上一个ID。
②保证安全:ID号需要无规则性,不能让别人随机猜到,增加用户恶意抓取数据的难度。
③包含时间戳:记录系统时间;
④高可用:发布一个获取分布式ID的请求,服务器要保证99.9999%情况的全局id。
⑤ 低延迟:发布一个分布式ID,要快!!!
⑥高QPS:假设10万个创建id请求同时过来,服务器要顶住,可以成功创建。
雪花算法:脱颖而出,UidGenerator Leaf算法。
二.组成*
四部分:
64个bit位组成的long类型的数字。
2.1 1个bit位:符号位,不能是负数,所以一般是0
2.2 用41个bit位,来表示时间戳,这个时间戳就是系统记录的毫秒数。最大数:2的41次毫秒,69年。
2.3 10个bit位,表示工作机器的ID,保证多台服务器生成ID的唯一性。跨机房的时候,这10个bit位继续拆分2组,前面5个bit位:机房ID,后面:机器ID。最大次数:2的10次方,1024台机器。
2.4 用12个bit位来表示递增序列。用来记录在同一毫秒产生不同的ID的能力,4096个。
生成对应bit位的数据,然后组装到一起生成一个全局唯一ID。
三.优缺点
3.1 分布式系统内部,不会产生ID碰撞,效率非常高。
3.2 不需要依赖于第三方系统,稳定性高,可以自身业务分配bit位,非常灵活。
3.3 生成ID的性能非常高,每秒可以生成26万个自增可排序的ID。
3.4 依赖于机器时钟,可以忽略。
四.JAVA的雪花算法
public class SnowflakeIdWorker {
// 开始时间戳(2015-01-01)
private final static long twepoch = 1420041600000L;
// 机器id所占的位数
private final static long workerIdBits = 5L;
// 数据标识id所占的位数
private final static long datacenterIdBits = 5L;
// 支持的最大机器id,结果是31(二进制:11111)
private final static long maxWorkerId = -1L ^ (-1L << workerIdBits);
// 支持的最大数据标识id,结果是31(二进制:11111)
private final static long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
// 序列在id中占的位数
private final static long sequenceBits = 12L;
// 机器ID向左移12位
private final static long workerIdShift = sequenceBits;
// 数据标识id向左移17位(12+5)
private final static long datacenterIdShift = sequenceBits + workerIdBits;
// 时间截向左移22位(5+5+12)
private final static long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
// 生成序列的掩码,这里为4095(二进制:111111111111)
private final static long sequenceMask = -1L ^ (-1L << sequenceBits);
private long workerId;
private long datacenterId;
private long sequence = 0L;
private long lastTimestamp = -1L;
public SnowflakeIdWorker(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
}
public synchronized long nextId() {
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0L;
}
lastTimestamp = timestamp;
return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence;
}
protected long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
protected long timeGen() {
return System.currentTimeMillis();
}
public static void main(String[] args) {
SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);
for (int i = 0; i < 1000; i++) {
long id = idWorker.nextId();
System.out.println(id);
}
}
}