MySQL 分表分库全局 ID

原创

mob649e8168b406 2023-07-30 15:41:38 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8168b406的原创作品，请联系作者获取转载授权，否则将追究法律责任

MySQL 分表分库全局 ID

背景

在高并发的系统中，数据库的性能往往是一个瓶颈。为了解决这个问题，我们可以通过分表分库的方式将数据分散到多个数据库中，从而提高系统的扩展性和性能。

然而，在分表分库的过程中，我们面临一个新的问题，即如何生成全局唯一的 ID。在传统的单一数据库中，我们可以通过自增字段来实现全局唯一 ID 的生成。但是在分表分库的情况下，每个数据库都有自己的自增字段，会导致生成的 ID 不再是全局唯一的。

解决方案

为了解决上述问题，我们可以引入分表分库全局 ID 的概念。分表分库全局 ID 是一种可以在分表分库环境下生成全局唯一 ID 的方案。

分布式 ID 生成器

分布式 ID 生成器是一个可以生成全局唯一 ID 的组件。它的工作原理是通过将数据库的自增字段和分表分库的信息结合起来生成全局唯一的 ID。

下面是一个示例的分布式 ID 生成器的代码：

public class DistributedIdGenerator {
  private static final long EPOCH = 1625126400000L;
  private static final long WORKER_ID_BITS = 10L;
  private static final long SEQUENCE_BITS = 12L;
  private static final long MAX_WORKER_ID = ~(-1L << WORKER_ID_BITS);
  private static final long MAX_SEQUENCE = ~(-1L << SEQUENCE_BITS);

  private long workerId;
  private long lastTimestamp = -1L;
  private long sequence = 0L;

  public DistributedIdGenerator(long workerId) {
    if (workerId > MAX_WORKER_ID || workerId < 0) {
      throw new IllegalArgumentException("Invalid worker Id");
    }
    this.workerId = workerId;
  }

  public synchronized long generateId() {
    long currentTimestamp = System.currentTimeMillis();
    if (currentTimestamp < lastTimestamp) {
      throw new RuntimeException("Clock moved backwards");
    }
    
    if (currentTimestamp == lastTimestamp) {
      sequence = (sequence + 1) & MAX_SEQUENCE;
      if (sequence == 0) {
        currentTimestamp = tilNextMillis(lastTimestamp);
      }
    } else {
      sequence = 0L;
    }
    
    lastTimestamp = currentTimestamp;
    long id = ((currentTimestamp - EPOCH) << (WORKER_ID_BITS + SEQUENCE_BITS))
            | (workerId << SEQUENCE_BITS)
            | sequence;
    
    return id;
  }

  private long tilNextMillis(long lastTimestamp) {
    long timestamp = System.currentTimeMillis();
    while (timestamp <= lastTimestamp) {
      timestamp = System.currentTimeMillis();
    }
    return timestamp;
  }
}

使用示例

假设我们有一个用户表，需要将其分散到多个数据库中，每个数据库中有多个表来存储用户数据。我们可以使用分布式 ID 生成器来生成用户的全局唯一 ID。

public class UserService {
  private DistributedIdGenerator idGenerator;

  public UserService(DistributedIdGenerator idGenerator) {
    this.idGenerator = idGenerator;
  }

  public void createUser(String name) {
    long userId = idGenerator.generateId();
    // 将用户数据插入到数据库中
    // ...
  }
}

在上面的示例中，我们首先创建了一个分布式 ID 生成器，并将其传递给用户服务类。当调用创建用户的方法时，我们使用分布式 ID 生成器来生成全局唯一的用户 ID，并将用户数据插入到对应的数据库中。