分布式锁的实现原理,Java 锁原理
00-1010什么是分布式锁?它能做什么?基于数据库的分布式锁实现方案实现原理方案基于Redis的分布式锁实现方案分析基于sentnx命令的RedLock实现原理方案分析基于Redisson的分布式锁实现方案分析基于Zookeeper的分布式锁实现原理方案分析分布式锁方案分析选择哪个?摘要
00-1010相信大家对Java提供的synchronized关键字和锁都很熟悉,大家在实际项目中都用过。如下图所示,在同一个JVM进程中,Thread1获得锁后,对共享资源进行操作。Thread1的其他没有获得锁的线程只能等待Thread1被释放,然后才能执行相应的操作。
但是随着业务的不断发展,原来单一的应用被拆分成多个微服务,每个微服务会部署多个实例,从而形成了现在的微服务架构。共享资源的请求来自不同的服务实例,即不同的JVM进程。原有单一服务中的加锁方式无法满足分布式场景下共享资源的并发访问需求。因此,我们需要一种机制来处理分布式场景下共享资源的安全问题,分布式锁就是为了应对这一问题而出现的。
由于JVM进程不能管理其他服务实例的线程,因此可以借助外部组件能力实现不同服务实例对共享资源的统一管理和控制,我们可以称之为分布式锁。因此,分布式锁的本质是在不同服务实例之外建立锁获取机制,形成并发互斥能力,保证不同线程对共享资源的并发安全,从而实现微服务架构中同一时间只有一个线程可以操作共享资源。对于分布式锁,实际上需要一个外部的状态存储系统来实现原子化的独占操作。
通过对分布式锁的需求分析,总结出分布式锁的以下四个特点,即多节点、锁速度快、排他性和锁到期实现机制。
目录
什么是分布式锁?它能干什么?
00-1010分布式锁的效果是通过数据库实现的,实际上是通过数据库的唯一性约束实现的,或者说是为了更新。这里以唯一性约束为例,电子商务领域的库存服务负责扣除商品的库存。首先,创建一个专用于存储锁信息的锁表。然后,在清点操作之前,清点服务将锁资源数据插入到数据库的锁表中。
创建表 distributed _ lock ( id BIGINT NOT NULL AUTO _ INCREMENT, resource _ lock _ KEY varchar(64)NOT NULL primary KEY( id ),唯一键 UK _ resource _ lock _ KEY ( resource _ lock _ KEY )使用btree的一般交互过程如下:
1.当库存服务扣除手机库存时,首先在数据库中的锁表中插入一条资源锁信息;
2.如果插入成功,意味着库存服务1可以抵扣手机库存;
3.此时,库存服务2也需要操作库存,因此它也将数据插入锁表;
4.但是,由于锁表中设置的唯一性约束,锁信息插入失败,库存服务等待;
5.库存服务1进行库存扣除后,删除锁定表的信息;
6.库存服务2尝试插入资源锁信息,发现可以成功插入,继续执行后续操作。
基于数据库的00-1010的实现似乎相对容易理解。但实际上,还是存在一些问题。下面我们一起来分析一下。
1.性能问题:由于插入数据时需要将数据存储在磁盘中,如果正常读写会影响数据库的性能。此外,使用唯一键进行判断也会在一定程度上影响数据库的性能,因此数据库方案适用于并发较少的简单场景;
2.如果数据库部署在单点,将会出现单点故障。如果数据库出现故障,可能导致平台出现业务异常;
3.死锁问题:在上面的介绍中,包括插入数据库获取锁的步骤,以及通过删除锁信息释放锁的过程。但是,如果库存服务1在锁定后挂起,无法释放锁,其他服务无法获取锁,就会造成死锁。当然,我们可以通过一个调度任务来检查锁表中是否有过期的锁资源。但这无疑增加了
分布式锁实现的复杂性。
4、不支持可重入:如果想要实现可重入锁,还需要增加主机、线程名等字段来进行标注,通过这几个字段来判断和当前信息是否一致,如果一致则认为已经获取到了锁。 鉴于以上的这些问题,有没有其他的分布式实现方案可以避免上述存在的问题呢?我们再往下来看。
基于Redis的分布式锁实现方案
基于sentnx命令的实现原理
Redis
作为一块高性能的数据库中间件,经常被当做缓存在项目中使用。因此通过Redis
实现分布式锁,也是比较常见的实现方案。 一样的道理,通过Redis
实现分布式锁也需要通过它实现锁的互斥的能力。实际上就是利用了sentnx(set if not exists)
命令。同时该命令是否能够设置成功,决定服务是否可以拿到对应的分布式锁。
127.0.0.1:6379> setnx stockLock 10.12.35.12_stockService(integer) 1
如上图所示,大致的加锁以及释放锁的过程其实和数据库的分布式锁方案还是比较类似的。只不过将其中向数据库插入数据的步骤替换成了向Redis
获取锁的步骤,由于Redis
是基于内存进行操作的,因此性能上比基于数据库的分布式锁方案更好一点。
方案分析
上述基于Redis
的方案的方案在性能上具有优势,我们再来分析下,这个使用命令的方式有没有什么问题。实际上和前面的数据库方案类似,Redis
也会有死锁问题,当获取锁之后如果库存服务1挂掉了,库存服务2就获取不到锁了。因此我们要对其进行优化。那么问题的本质是如何让锁可以释放,因此我们需要在设置锁的时候加上过期时间,这样即使库存服务1挂了,无法主动释放锁,那么到了过期时间后锁失效,库存服务2依然可以获取锁,不会再造成死锁问题。
另外还应该注意的是,在我们设置锁的时候,还需要带有自身服务的业务属性,否则容易造成错乱。为什么这么说呢?举个栗子,库存服务在加完锁之后开始执行扣减库存的任务,当扣减库存完成之后,服务挂了,原先需要删除的锁资源,等到过期之后被Redis
删除,此时库存服务2可以继续申请锁,如果此时库存服务1恢复了,它并不知道锁资源已经释放,起来后立马删除了库存服务2加的锁,那么此时就会出现两个问题:
1、库存服务执行完库存扣减之后,回头来进行锁资源释放的时候,发现锁实际已经不在了;
2、当库存服务1恢复后发现锁还在,立马删除了该锁,完成了它挂掉之前未完成的工作。但是实际上这个锁是库存服务2加的锁,如果此时库存服务3也要尝试加锁,发现可以加锁成功,和库存服务2一样同样对库存进行操作,那么此时就会出现线程安全问题。
经过上文的分析,这个问题的根源就是在加锁的时候没有具体区分到底是哪个服务加的锁。因此在执行命令的时候,我们需要将带有服务实例关联属性的设置为value
,这样在进行锁获取的时候检查下当前锁的持有者是谁,如果不是服务实例自己则不能执行删除操作。
那这样是不是就完美解决问题了呢?实际上还是有问题存在的,有同学会说,怎么这么多问题?实际上这种方案的实现就是在各种不完美的方案中逐渐找到相对完美的方案。
上文提到的获取锁判断是不是自己方服务实例加的锁,再执行删除锁的过程实际并不是原子的。因此还是会出现并发安全问题,这个问题可以通过lua
脚本来解决,在lua
脚本中实现这个逻辑,而不是在客户端中实现。 但是实际上还是有问题没有解决,比如说我们在加锁的时候会设置过期时间,但是过期时间应该设置多长时间呢?设置短了的话,出现网络超时或者服务还没有执行完业务,锁就失效了。设置长了话,其他服务节点等待获取锁的时间就会变长,降低了服务的性能。
基于Redisson实现
Redisson
实际上就是一个封装了Redis
操作的客户端,实现了对于常见的Redis
操作的封装。如对于Redis
的设置锁的步骤以及删除锁的步骤都进行了封装。在设置锁的操作中,还引入了自动给锁续期的机制,SDK
检测到业务未完成,但是锁要到期后,执行定续期。这样并可以动态的调节过期时间,避免锁在业务未完成情况下被释放的问题。
同时还封装了删除锁的时候执行的业务判断后再删除的逻辑,这样我们在使用Redisson
操作Redis
的时候,就和我们使用JDK
一样。
RedLock
为了解决Redis作为分布式锁存在的单点问题,Redis的作者又提出了Redlock的解决方案,该解决方案依赖多个Redis的Master节点,官方推荐使用5个Master节点,他们彼此之间是独立的。大致的交互步骤如下所示:1、首先获取当前节点的系统时间;
2、客户端尝试向所有的Redis
实例顺序地发送加锁的请求(官方推荐Redis
集群至少5个实例),在设置锁的过程中,使用相同的key以及随机值value,同时请求的超时时间需要远小于锁的有效时间。这样做的目的是为了防止节点不可用的时候导致请求锁的时候被阻塞,当实例没响应的时候可以快速跳过,向下一个节点继续请求锁。
3、假设Redis集群规模为5,那么如果客户端在大多数实例中(超过3个实例)获得了锁,同时计算了当前的时间减去步骤1中获得的时间,这个事件差如果小于锁的有效时间,那么此时可以认为加锁成功,可以操作执行后续的业务;
4、如果不满足步骤3是条件,那么就表示加锁失败,客户端需要向所有的Redis节点发起锁释放请求。
方案分析
为什么Redlock
要在集群中多个实例上加锁呢?实际目的是通过锁的冗余来实现分布式锁的高容错性。试想一下如果只有一个Redis
实例,一旦它挂掉了,客户端就无法进行加锁操作了或者锁信息就会丢失,影响业务功能。通过在集群中多实例中冗余锁信息,即使出现Redis
挂了的情况,其他节点中依然存在锁信息,从而提升了分布式锁的可用性。那么为什么还要计算几所时间呢?由于我们加锁的时候,每个节点都设置了超时时间,如果整个加锁的时间过长,整个过程的累加时间超过了锁的有效时间,那么加锁完成之后就会哦出现锁失效的情况了,因此我们需要确保加锁的事件尽可能的短,这也是为什么加锁请求都有超时时间的原因了,发现超时立马跳到下一个节点,避免单个节点耗时过长。
虽然Redlock看上去是比较完善的分布式解决方案,但是实际上这个方案是比较重的,需要维护一个Redis集群,另外过程中依赖系统时间,但是如果出现了时间跳变,那么对于整个分布式锁都有非常大的影响。
基于Zookeeper的分布式锁实现方案
实现原理
Zookeeper
是一个分布式的应用协调服务中间件,通过它也可以实现分布式锁的效果,这里介绍的是基于临时有序的ZNode
分布式锁实现方案。在介绍方案之前,先补充下Zookeeper
中和分布式锁息息相关的特性。 我们来看下Zookeeper
的数据结构,实际上它是一种树形模型,类似于Linux
的文件系统。Zookeeper
使用类似于文件目录的层级目录数据结构来组织自身的数据存储节点,这些节点就被称作为ZNode
,每个节点都用一个以斜杠(/)分隔的路径来表示,而且每个节点都有父节点(根节点除外)。另外在Zookeeper
中,如果我们使用不同的创建参数,可以创建不同类型的ZNode
。 1、持久化ZNode
:当createMode
为PERSISTENT
会创建持久化ZNode
,节点存储的数据会永久保存在Zookeeper
中,如果createMode
为PERSISTENT_SEQUENTIAL
,则会创建有序持久化ZNode
,和之前的持久化节点不通的是,有序持久化节点的节点名称会附加上全局有序的递增序号; 2、临时ZNode
:当createMode
为EPHEMERAL
时,创建的节点临时节点,在与客户端的session
过期后,对应的临时节点也会被删除。当createMode
为EPHEMERAL_SEQUENTIAL
时创建出来的为有序的临时节点,当session
过期之后,节点及其存储的数据也是会被删除的。
通过上述对于节点特性的描述,可以看出来它的全局递增有序以及过期删除的特性与分布式锁实现的原理非常契合。因此通过Zookeeper
实现分布式锁的大致可以分为以下几个步骤:
1、首先创建一个持久化节点也就是父节点,这个持久化节点代表着一个分布式锁实例;
2、当有线程想要申请分布式锁的时候,则在该持久化节点下创建临时有序节点;
3、如果此时新建的临时有序节点是该父节点小所有有序节点中序号最小的节点,那么此时就表示申请到了分布式锁;
4、如果新建的临时节点当前不是最小序号的节点,则需要不断检查是否最小,知道最终获取到锁,或者节点超时。实际上这个是通过Zookeeper
的watch
机制实现的,在当前节点的上一序号的节点设置监听器,检查是否为最小节点的任务可以一直阻塞,直到收到上一节点被删除的时间事件,则唤醒检查事件,检查当前节点是不是最小序号节点。
5、当线程执行完业务之后,可以手动删除该临时节点以便于释放持有的锁。另外即使服务挂掉,由于对应的session失效,对应的临时节点也会被删除,防止出现死锁问题。
和Redisson
类似,我们在实际使用Zookeeper
作为分布式锁的时候可以用Curator
来作为开发SDK
,它同样封装了很多实现,包括可重入锁的实现,减轻了使用者的负担。
方案分析
看上去通过Zookeeper
实现分布式锁还是比较好的一种解决方案,但是它是完美的吗?从上面的分布式锁的流程可知,客户端线程想要获取锁就需要创建临时节点,这个时候客户端和Zookeeper
之间就会维护一个session
,来表示该客户端还在排队等待获取锁。因此这个方案的潜在问题就在于一旦出现网络异常,或者客户端发生STW GC
,那么就可能导致session
关闭,从而导致临时节点被关闭,此时就会出现原来客户端持有的锁被删除了,如果有另外的客户端过来加锁的话可以成功获取,那么此时就出现并发安全问题了。因此在这种极端条件下,Zookeeper
的分布式锁实现方案也不是100%保证安全的。 另外实际上还有基于etcd
的分布式锁实现方案,其基本原理和Zookeeper
差不多,感兴趣的同学可以再进行了解下。
分布式锁方案到底选哪个?
通过上述几种分布式锁方案原理的阐述以及问题分析,每个方案都有自己的长处以及缺点。所以在实际项目落地的时候,我么需要结合实际来进行分布式锁方案的选择。比如如果平台中本身已经有Redis
集群了,但是没有Zookeeper
集群,那么我们就可以借助于现有的基础实施来落地分布式锁,不需要再去维护一套Zookeeper
集群。另外根据实际的业务场景,如果并发量并不是很高,也可以通过简单的数据库的分布式锁方案来实现。
总结
本文首先对从单机时代到分布式场景下的分布式锁的产生的背景进行了分析,通过对分布式锁的本质问题的探究,引出了数据库分布式锁方案、Redis
分布式锁方案以及Zookeeper
分布式锁方案,并对每一种方案的优点以及不足进行了分析,相信大家可以在落地实现分布式锁的时候可以按照自身的情况选择合适的方案。到此这篇关于深入浅出探索Java分布式锁原理的文章就介绍到这了,更多相关Java 分布式锁内容请搜索盛行IT以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。