分布式ID的实现方案

news/2025/1/16 3:55:58 标签: 分布式, 微服务, java

1. 什么是分布式ID

​ 对于低访问量的系统来说,无需对数据库进行分库分表,单库单表完全可以应对,但是随着系统访问量的上升,单表单库的访问压力逐渐增大,这时候就需要采用分库分表的方案,来缓解压力。

​ 在实际的业务场景中,我们常常需要一个唯一ID来确保数据的唯一性,对于单表单库来说,我们通常采用自增ID来作为标识,但是分库分表之后,自增ID的唯一性就无法保证。

<a class=分布式ID的实现方案-01" />

​ 如上图所示,同一业务下的3张数据表,可能存在相同的ID,导致无法根据ID来确保数据的唯一性,因此,在分库分表的架构中,我们就需要使用分布式ID,来确保同一业务下的多张数据表或者多张数据库,数据的唯一性。

2. 分布式ID的实现方案

1. 基于UUID生成

​ UUID是一组由32位的16进制数据所构成,所以可以生成16^32个数据,也就是说,平均每纳秒可以生成1兆组数据,约100亿年才可以使用完。

​ UUID的格式为8-4-4-4-12,如:62f51e7e-a3ca-45ab-bf3f-2c3279f2991e,在JDK中,可以通过如下方式生成一组UUID:

java">    public static void main(String[] args) {
        UUID uuid = UUID.randomUUID();
        System.out.println("UUID:" + uuid);
    }

UUID:e27cc5fa-8655-4095-b682-e12d178791dd

​ 虽然UUID的实现方案简单便捷,但是由于其长度较长,在数据库中存储会占用过多资源,并且如果作为主键,由于UUID的无序性,会导致其存储的数据位置频繁变动,对性能影响较大。

2. 基于数据库生成
1. 基于特定起始值和步长分配ID

​ 例如现在分了3张表,分别是table_1、table_2、table_3,那么可以给table_1分配自增ID的起始值是1;为table_2分配自增ID的起始值是2,为table_3分配自增ID的起始值是3,步长均为3,这样同一业务下的这3张表,也可以确保其ID的唯一性。

以MySQL为例,可以在MySQL的配置文件中,设置自增ID起始值和步长

自增ID起始值:auto_increment_increment = value

自增ID步长:auto_increment_offset = value

​ 以上方式,虽然可以实现全局唯一ID的生成,但是该方案高度依赖数据库,一旦数据库发生异常,便直接影响业务,并且在主库发生异常,主从切换不一致时,可能会出现ID重复的异常。

2. 基于特定数据表分配ID

​ 可以新建一张数据表,专门存放当前最新的ID,每次需要获取ID值时,都将该数据表中的ID自增一次,并返回最新的ID值。

副本-<a class=分布式ID的实现方案-03" />

​ 以上方式,同样可以生成全局唯一ID,但是也同样高度依赖数据库,在进行实际的业务场景中,增加了一次与业务无关的读写操作,在高并发场景下,ID数据表的压力很大,对系统的QPS影响较大,并且当数据库发生异常时,也会直接影响原有的业务执行。

3. 基于Redis生成

​ 可以通过Redis的INCRINCRBY指令来实行分布式ID的生成,每次请求时,都从Redis中获取一次分布式ID。

<a class=分布式ID的实现方案-04" />

​ 当QPS较小时,此种方案可以应对,但是对于高并发场景,此种方案对于单台Redis服务器的性能要求较高,因此,需要搭建Redis集群,来缓解单台Redis服务器的压力,但是对于Redis集群来说,分布式ID的生成又会出现MySQL集群出现的问题,并且此种方案同样高度依赖Redis,一旦Redis服务器出现异常,就会影响到整个业务流程,同时此种方案引入了Redis中间件,增加了系统的复杂度。

4. 基于雪花算法生成

​ 雪花算法是由Twitter开源的一个分布式ID生成的解决方案,该分布式ID总共占用64bit存储空间,对于Java来说,正好使用long类型来进行存储。

第1位:始终是0,可以看做是符号位,不使用。

第2-42位:总共41位,表示时间戳,单位是毫秒,总共可以表示2^41个数字,即69年的时间。

第43-52位:总共10位,表示机器数,总共可以表示2^10=1024台机器,通常情况下,不需要部署这么多台机器,因此,一般将前5位表示数据中心,后5位表示机器数,即总共可以表示32个数据中心,每个数据中心有32台机器。

第53-64位:总共12位,表示自增序列,可以表示2^12=4096个数。

​ 这样划分之后,相当于在1ms之内,一个数据中心的一台服务器中,可以产生4096个不重复的有序ID。

<a class=分布式ID的实现方案-05" />

​ 具体的Java代码实现如下:

java">/***
 * 雪花算法
 *
 * @author niutucode
 */
public class Snowflake {
    /**
     * 开始时间戳
     */
    private static final long START_TIMESTAMP = 1736820033851L;
    /**
     * 机器位数
     */
    private static final long MACHINE_BIT = 10L;
    /**
     * 序列号位数
     */
    private static final long SEQUENCE_BIT = 12L;
    /**
     * 机器最大值 1023
     */
    private static final long MAX_MACHINE_NUM = ~(-1L << MACHINE_BIT);
    /**
     * 序列号最大值 4095
     */
    private static final long MAX_SEQUENCE = ~(-1L << SEQUENCE_BIT);
    /**
     * 机器标识向左移动的位数
     */
    private static final long MACHINE_LEFT = SEQUENCE_BIT;
    /**
     * 时间戳向左移动的位数
     */
    private static final long TIMESTAMP_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    /**
     * 机器ID
     */
    private long machineId;
    /**
     * 序列号
     */
    private long sequence = -1L;
    /**
     * 上一次时间戳
     */
    private long lastTimeStamp = 0L;

    /**
     * 构造器
     *
     * @param machineId 机器ID
     */
    public Snowflake(long machineId) {
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("机器ID不能大于" + MAX_MACHINE_NUM + "或者小于0");
        }
        this.machineId = machineId;
    }

    /**
     * 产生下一个时间戳
     *
     * @param lastTimeStamp 上一次生成的时间戳
     * @return 下一个时间戳
     */
    private long nextTimestamp(long lastTimeStamp) {
        long timestamp = System.currentTimeMillis();
        while (timestamp <= lastTimeStamp) {
            timestamp = System.currentTimeMillis();
        }
        return timestamp;
    }

    /**
     * 获取分布式ID
     * 该方法需线程安全,如果在分布式系统中,应该使用分布式锁来保证该方法的线程安全,如果不设置,在高并发场景中,      * 可能会出现多个线程生成同一ID的异常
     * @return 分布式ID
     */
    public synchronized long nextId() {
        long timestamp = System.currentTimeMillis();
        if (timestamp < lastTimeStamp) {
            throw new RuntimeException("时钟回拨异常");
        }
        if (timestamp == lastTimeStamp) {
            // 相同毫秒内,序列号自增
            sequence = (sequence + 1) & MAX_SEQUENCE;
            // 同一毫秒的序列数已经达到最大
            if (sequence == 0) {
                timestamp = nextTimestamp(lastTimeStamp);
            }
        } else {
            sequence = 0L;
        }
        lastTimeStamp = timestamp;
        return (timestamp - START_TIMESTAMP) << TIMESTAMP_LEFT | machineId << MACHINE_LEFT | sequence;
    }
}
java">public static void main(String[] args) {
    Snowflake snowflake = new Snowflake(0);
    System.out.println("分布式ID:" + snowflake.nextId());
}

分布式ID:9161748250624

​ 通过雪花算法生成分布式ID,生成的ID是有序递增的,不依赖于第三方系统,在高并发场景下,依然具有良好的性能,相较于UUID方式生成分布式ID,该方式性能更高,占用空间小,且递增有序,可读性更好。

​ 但是雪花算法也存在一定的局限性,当系统发生时钟回拨时,该方法就会处于不可用的状态,可以使用百度的UidGenerator或者美团的Leaf规避这一风险,在实际的开发中,可以根据需要,选择合适的方案,来实现分布式ID的生成。


http://www.niftyadmin.cn/n/5824617.html

相关文章

操作系统八股文学习笔记

总结来自于javaguide,本文章仅供个人学习复习 javaguide操作系统八股 操作系统主要的两大块,进程线程(利用CPU),内存分页(利用内存),文件管理(磁盘利用) 文章目录 操作系统基础什么是操作系统?操作系统主要有哪些功能?常见的操作系统有哪些?用户态和内核态为什么要有用户态…

Unreal Engine 5 C++ Advanced Action RPG 八章笔记

第八章 Boss Enemy 2-Set Up Boss Character 创建Boss敌人流程 起始的数据UI战斗能力行为树 这集新建Boss敌人的蓝图与动画蓝图和混合空间,看看就行巨人在关卡中,它的影子被打破,更改当前项目中的使用的阴影贴图就可以解决 从虚拟阴影贴图更改为阴影贴图即可 3-Giant Start…

【Vue】Vue组件--上

目录 一、组件基础 二、组件的嵌套关系 1. 基础架构 2. 嵌套 三、组件注册方式 1. 局部注册&#xff1a; 2. 全局注册&#xff1a; 四、组件传递数据 1. 基础架构 2. 传递多值 3. 动态传递数据 五、组件传递多种数据类型 1. Number 2. Array 3. Object 六、组…

使用 versions-maven-plugin 和 flatten-maven-plugin 插件惯例 maven 项目版本

在 Maven 项目中&#xff0c;依赖版本管理和 POM 文件的规范化是确保项目可维护性和一致性的关键。今天&#xff0c;我们将介绍两个强大的 Maven 插件&#xff1a;versions-maven-plugin 和 flatten-maven-plugin&#xff0c;它们可以帮助我们更高效地管理项目版本和 POM 文件。…

计算机网络 (35)TCP报文段的首部格式

前言 计算机网络中的TCP&#xff08;传输控制协议&#xff09;报文段的首部格式是TCP协议的核心组成部分&#xff0c;它包含了控制TCP连接的各种信息和参数。 一、TCP报文段的结构 TCP报文段由首部和数据两部分组成。其中&#xff0c;首部包含了控制TCP连接的各种字段&#xff…

JavaScript系列(25)--性能优化技术详解

JavaScript性能优化技术详解 ⚡ 今天&#xff0c;让我们深入探讨JavaScript的性能优化技术。掌握这些技术对于构建高性能的JavaScript应用至关重要。 性能优化基础 &#x1f31f; &#x1f4a1; 小知识&#xff1a;JavaScript性能优化涉及多个方面&#xff0c;包括代码执行效…

学习软件工程产品质量模型

在软件工程领域&#xff0c;产品质量模型是确保软件产品满足用户需求、具备良好性能和可靠性的重要工具。通过对产品质量模型的深入学习和理解&#xff0c;软件开发者能够设计出高质量的软件产品&#xff0c;提升用户体验&#xff0c;增强市场竞争力。本文将详细介绍软件工程产…

OpenCV实现多尺度细节提升算法

1、算法原理 多尺度细节提升算法来源于论文*《DARK IMAGE ENHANCEMENT BASED ON PAIRWISE TARGET CONTRAST AND MULTI-SCALE DETAIL BOOSTING》*&#xff0c;算法主要是解决细节增强算法中噪声和细节的平衡问题。 常规的非锐化掩蔽&#xff08;USM&#xff09;算法在提升细节…