在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深入理解分布式鎖:原理、應用與挑戰

京東云 ? 來源:jf_75140285 ? 作者:jf_75140285 ? 2025-03-11 15:40 ? 次閱讀

前言

在單機環境中,我們主要通過線程間的加鎖機制來確保同一時間只有一個線程能夠訪問某個共享資源或執行某個關鍵代碼塊,從而防止各種并發修改異常。例如,在Java中提供了synchronized/Lock。但是在分布式環境中,這種線程間的鎖機制已經不起作用了,因為系統會被部署在不同機器上,這些資源已經不是在線程間共享了,而是進程之間共享資源。為了解決這個問題,分布式鎖應運而生。本文將詳細解析分布式鎖的原理、應用與挑戰,以幫助讀者更好地理解和應用分布式鎖。

分布式鎖的原理

首先,從最原始的鎖定義來看,鎖是一種同步機制,主要用于協調并發訪問共享資源的行為。分布式鎖也符合這個定義,只不過運行環境從單機變為分布式環境。它們的核心操作都可以分為以下三個步驟:

1. 獲取:在訪問共享資源前,先獲取一個鎖

2. 占有:獲取成功的進程或線程可以訪問共享資源,其他進程或線程則需要等待鎖釋放后才能進行訪問

3. 釋放:釋放鎖

同時,分布式鎖也具備一般鎖的以下特性:

1. 互斥性:這是鎖的核心特性,確保在任意時刻,同一個鎖只能被一個進程或線程所持有。這種特性對于確保資源的獨占訪問和防止并發沖突至關重要。

2. 一致性:加鎖和釋放鎖的過程應盡量由同一個線程或進程完成,以確保鎖狀態的一致性,防止因鎖狀態不一致而導致的錯誤或混亂。

3. 可重入性:這意味著已經持有鎖的線程或進程可以再次獲得同一個鎖,這在某些情況下是有用的,例如遞歸函數中的鎖操作。

還有分布式鎖的特性問題:

4. 鎖租期問題:在分布式鎖的場景中,為避免死鎖或無法正常釋放,鎖通常設置有效時間。當有效時間過期但業務還在執行時,需要通過特定的機制(如watchdog)來續租,確保鎖的持有者能夠繼續完成其操作。

5. 性能:避免鎖成為分布式系統的瓶頸。

?

分布式鎖的主流實現方案

常見的分布式鎖實現方案可以分為以下三大類:基于數據庫(比如MySQL),基于緩存(比如 Redis)和基于分布式一致性協調服務組件(比如 ZooKeeper、etcd)

wKgZPGfP6L-AcTqnAAF91MZqtvU465.png

基于數據庫的分布式鎖(以MySQL為例)

要實現一套基于數據庫的分布式鎖,最簡單的方式可能就是直接創建一張鎖表,然后通過操作該表中的數據來實現分布式鎖。

為了更好的演示,我們先創建一張數據庫表,例如:

CREATE TABLE `database_lock` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `resource` int(11) NOT NULL COMMENT '鎖定的資源',
  `desc` varchar(128) NOT NULL DEFAULT '' COMMENT '描述',
  `create_time` datetime COMMENT '創建時間', 
  `update_time` datetime COMMENT '更新時間'
  PRIMARY KEY (`id`),
  UNIQUE KEY `uniq_idx_resource` (`resource`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='分布式鎖表';

記錄鎖

1. 獲取鎖:

當想要獲取鎖時,可以插入一條數據:

INSERT INTO `database_lock` (resource, desc, create_time, update_time) VALUES (1,'lock',now(), now());

由于表中對resource設置了唯一索引,也就存在唯一性約束,這樣如果有多個請求同時提交到數據庫的話,數據庫可以保證只有一個操作成功,那么我們就可以認為操作成功的請求獲得了鎖。

2. 占有鎖:

成功獲取鎖后,就可以繼續操作共享資源了。

3. 釋放鎖:

當需要釋放鎖時,可以刪除這條數據:

DELETE FROM database_lock WHERE resource = 1;

以上實現方式非常簡單,但是以下幾點需要特別注意:

1. 這種鎖沒有失效時間,一旦釋放鎖的操作失敗就會導致鎖記錄一直存在數據庫中,鎖無法釋放,其他線程無法獲得鎖。這個缺陷也很好解決,比如可以增加一個定時任務定時清理未正常釋放的鎖記錄。

2. 這種鎖的可靠性依賴于數據庫。可以設置備庫,避免單點,進一步提升可靠性。

3. 這種鎖時非阻塞的,因為插入數據失敗后會立即報錯,想要獲得鎖就需要再次操作。如果需要阻塞式的,可以通過For循環、while循環模擬,直至成功再返回。

4. 這種鎖時非可重入的,因為同一個線程在沒有釋放鎖之前無法再次獲得鎖,因為數據庫中已經存在同一份記錄了。想要實現可重入,可以在數據庫中添加一些鎖的唯一標識字段,比如 主機信息、線程信息等,那么再次獲取鎖的時候可以先查詢數據,如果當前的主機信息和線程信息等能被查詢到的話,可以直接分配鎖。

樂觀鎖

如果數據的更新在大多數情況下是不會產生沖突的,那么只在數據庫更新操作提交的時候對數據作沖突檢測,如果檢測的結果與預期一致,則獲得鎖,如果出現了與預期數據不一致的情況,則丟棄本次更新。

樂觀鎖大多數是基于版本控制實現的。即給數據增加一個版本標識,比如通過為數據庫表添加一個"version"字段來實現。

為了更好的理解數據庫樂觀鎖在實際項目中的使用,這里就列舉一個典型的電商庫存更新的例子。電商平臺中,當用戶提單的時候就會對庫存進行操作(庫存減1代表已經賣出了一件)。我們將這個庫存模型用下面的一張表optimistic_lock來表述:

CREATE TABLE `optimistic_lock` (
 `id` BIGINT NOT NULL AUTO_INCREMENT,
 `resource` int NOT NULL COMMENT '鎖定的資源',
 `version` int NOT NULL COMMENT '鎖的版本信息',
 `create_time` datetime COMMENT '創建時間',
 `update_time` datetime COMMENT '更新時間',
 `delete_time` datetime COMMENT '刪除時間', 
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='分布式鎖表-樂觀鎖';

其中:resource表示具體操作的資源,在這里也就是特指庫存;version表示版本號。

在使用樂觀鎖之前要確保表中有相應的數據,比如:

INSERT INTO optimistic_lock (resource, version, create_at, update_at) VALUES(20, 10, now(), now());

如果只有一個線程進行操作,數據庫本身就能保證操作的正確性。主要步驟如下:

1. 獲取資源信息:SELECT resource FROM optimistic_lock WHERE id = 1

2. 執行業務邏輯

3. 提交數據:UPDATE optimistic_lock SET resource = resource -1 WHERE id = 1

但是當有兩個用戶同時購買一件商品時,庫存實際操作應該是庫存(resource)減2,但是由于有高并發的存在,第一個用戶請求執行之后(執行了1、2,但是還沒有完成3),第二個用戶在購買相同的商品(執行1),此時查詢出的庫存并沒有完成減1的動作,那么最終會導致2個線程購買的商品卻出現庫存只減1的情況,最終導致庫存異常。

在引入了version版本控制之后,具體的操作就會演變成如下步驟:

1. 獲取資源信息: SELECT resource, version as oldVersion FROM optimistic_lock WHERE id = 1

2. 執行業務邏輯

3. 更新資源:UPDATE optimistic_lock SET resource = resource -1, version = version + 1 WHERE id = 1 AND version = oldVersion

另外,借助更新時間戳(update_at)也可以實現樂觀鎖,和采用version字段的方式相似:更新操作執行前先獲取并記錄當前的更新時間,在提交更新時,檢測當前更新時間是否與更新開始時獲取的更新時間戳相等。

由于在檢測數據沖突時并不依賴唯一索引,不會影響請求的性能,在并發量較小的時候只有少部分請求會失敗,適用于競爭較少的場景。缺點是當應用并發量高的時候,version值在頻繁變化,則會導致大量請求失敗,影響系統的可用性。另外,我們通過上述sql語句還可以看到,數據庫鎖都是作用于同一行數據記錄上,這就會導致熱點數據,在一些特殊場景,如大促、秒殺等活動的時候,大量的請求同時請求同一條記錄的行鎖,會對數據庫產生很大的寫壓力。所以綜合數據庫樂觀鎖的優缺點,可以看出樂觀鎖比較適合并發量不高,寫操作不頻繁的場景。

悲觀鎖

我們還可以借助數據庫中自帶的鎖來實現分布式鎖。例如在查詢語句后面增加FOR UPDATE,數據庫會在查詢過程中給數據庫表增加悲觀鎖,也稱排他鎖。當某條記錄被加上悲觀鎖之后,其它線程也就無法再該行上增加悲觀鎖。

悲觀鎖,與樂觀鎖相反,總是假設最壞的情況,它認為數據的更新在大多數情況下是會產生沖突的。

在使用悲觀鎖的同時,我們需要注意一下鎖的級別。MySQL InnoDB引擎在加鎖的時候,只有明確地指定主鍵(或唯一索引)的才會執行行鎖 (只鎖住被選取的數據)。 在使用悲觀鎖時,我們必須關閉MySQL數據庫的自動提交屬性(參考下面的示例),因為MySQL默認使用autocommit模式,也就是說,當你執行一個更新操作后,MySQL會立刻將結果進行提交。

mysql> SET AUTOCOMMIT = 0;
Query OK, 0 rows affected (0.00 sec)

這樣在使用FOR UPDATE獲得鎖之后可以執行相應的業務邏輯,執行完之后再使用COMMIT來釋放鎖。

下面通過前面的database_lock表來具體表述一下用法。假設有一線程A需要獲得鎖并執行相應的操作,那么它的具體步驟如下:

1. 獲取鎖:SELECT * FROM database_lock WHERE id = 1 FOR UPDATE;。

2. 執行業務邏輯。

3. 釋放鎖:COMMIT。

如果另一個線程B在線程A釋放鎖之前執行步驟1,那么它會被阻塞,直至線程A釋放鎖之后才能繼續。注意,如果線程A長時間未釋放鎖,那么線程B會報錯,參考如下(lock wait time可以通過innodb_lock_wait_timeout來進行配置):

ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

注意事項:

1. 上面的示例中演示了指定主鍵并且能查詢到數據的過程(觸發行鎖),如果查不到數據那么也就無從“鎖”起了。 2. 如果未指定主鍵(或者唯一索引)且能查詢到數據,那么就會觸發表鎖或間隙鎖,比如步驟1改為執行:

SELECT * FROM database_lock WHERE desc='lock' FOR UPDATE;

或者主鍵不明確也會觸發表鎖,又比如步驟1改為執行:

SELECT * FROM database_lock WHERE id>0 FOR UPDATE;

在悲觀鎖中,每一次行數據的訪問都是獨占的,只有當正在訪問該行數據的請求事務提交以后,其他請求才能依次訪問該數據,否則將阻塞等待鎖的獲取。悲觀鎖可以嚴格保證數據訪問的安全。但是缺點也明顯,即每次請求都會額外產生加鎖的開銷且未獲取到鎖的請求將會阻塞等待鎖的獲取,在高并發環境下,容易造成大量請求阻塞,影響系統性能。另外,悲觀鎖使用不當還可能產生死鎖的情況。

小結

基于以上討論,借助與數據庫自身的能力(唯一索引,數據庫排他鎖),基于數據庫實現分布式鎖還是挺簡單的。下面對其實用性其進行簡單分析:

優點

?實現簡單,容易理解,不需要額外的第三方中間件。

?通過數據庫的事務特性可以確保鎖的原子性、互斥性。

不足

?性能相對較低,特別是在高并發場景下,頻繁的數據庫操作可能導致性能瓶頸。

?需要自己考慮鎖超時等問題,實現起來較為繁瑣。

?依賴本地事務,不支持集群部署,不能保證高可用。

基于Redis實現的分布式鎖

方案一:SETNX+EXPIRE

這種是最簡單的實現方式,先通過setNX或取到鎖,然后通過expire命令添加超時時間。這種方式存在一個很大的問題:這兩個命令不是原子操作,需要和redis交互兩次,客戶端可能會在第一個命令執行完之后掛掉,導致沒有設置超時時間,鎖無法正常失效。于是產生了以下優化方案。

方案二:SETNX+VALUE

這種方式的value值中保存的是客戶端計算出的過期時間,通過setnx命令一次性寫入redis中

public boolean getLock(String key,Long expireTime) {
    long now = System.currentTimeMills();
    //絕對超時時間
    long expireTime = now + expireTime; 
    String expiresStr = String.valueOf(expireTime); 
    // 加鎖成功 
    if ( jedis.setnx(key, expiresStr)==1) { 
        return true; 
    } 
    // 檢查鎖是否過期,獲取鎖的value 
    String currentValueStr = jedis.get(key); 
    // 如果記錄的過期時間小于系統時間,則表示已過期 
    if (currentValueStr != null && Long.parseLong(currentValueStr) < now) { 
        // 鎖已過期,獲取上一個鎖的過期時間,并設置現在鎖的過期時間 
        String oldValueStr = jedis.getSet(key, expiresStr); 
        if (oldValueStr != null && oldValueStr.equals(currentValueStr)) { 
            // 考慮多線程并發的情況,只有一個線程的設置值和當前值相同,它才可以加鎖 
            return true; 
        } 
    } 
    //其他情況,均返回加鎖失敗 
    return false;
}

這種方式通過value將超時時間賦值,解決了第一種方案的兩次操作不能保證原子性的問題。但是這種方式也有問題:

1. 在鎖過期時,如果多個線程同時來加鎖,可能會導致多個線程都加鎖成功(不滿足互斥性);

2. 在多個線程都加鎖成功后,因為鎖中沒有加鎖線程的標識,會導致多個線程都可以解鎖(不滿足一致性);

3. 超時時間是在客戶端計算的,不同的客戶端的時鐘可能會存在差異,導致在加鎖客戶端沒有超時的鎖,在另一個客戶端已經超時(基于客戶端時鐘,不滿足一致性)。

方案三:使用Lua腳本

同樣是為了解決第一種方案中的原子性問題,我們可以采用Lua腳本,來保證SETNX+EXPIRE操作的原子性。

if redis.call('setnx',KEYS[1],ARGV[1]) == 1 then 
    redis.call('expire',KEYS[1],ARGV[2])
else
    return 0
end;

在Java代碼中,使用jedis.eval()執行加鎖。

public boolean getLock(String key, String value, long expireTime) {  
    String lua_scripts = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then " +  
                          "redis.call('expire', KEYS[1], ARGV[2]) " +  
                          "return 1 " +  
                          "else " +  
                          "return 0 " +  
                          "end";  
    List keys = Collections.singletonList(key);  
    List argv = Arrays.asList(value, String.valueOf(expireTime));  
    Long result = (Long) jedis.eval(lua_scripts, keys, argv);  
    return result != null && result == 1;  
}

這種方式可以完全避免在加鎖后中斷設置不上超時時間的問題。也不會存在有時鐘不一致的問題,和高并發情況下多個線程都加上鎖的問題。但是這種方式就一定沒有問題了嗎?答案是否定的。考慮以下場景:

當服務A加鎖成功后,正在執行業務的過程中,鎖過期啦,這時服務A是沒有感知的;

接著服務B這時來獲取鎖,成功獲取到了;

緊接著,服務A處理完業務了,來釋放鎖,成功釋放掉了,而服務B這時還以為它的鎖還在,在執行代碼。

全亂套了有沒有?以為自己加鎖了,其實你沒加;

以為自己解鎖成功了,其實解的是別人的鎖;

這種方案的問題主要是因為兩點:鎖過期釋放,業務沒處理完;鎖沒有唯一身份標識

備注:從Redis 2.6.12版本開始支持setNx同時設置超時時間

如果你想要在設置key的同時為其設置過期時間,并希望這是一個原子操作,你可以考慮使用Redis的 SET 命令,如下所示:

SET mykey "myvalue" NX EX 10  # 設置mykey的值為myvalue,僅當mykey不存在時,并設置過期時間為10秒

方案四:SET NX PX EX + 唯一標識

對于誤刪鎖的問題,我們可以在加鎖時,由客戶端生成一個唯一ID作為value設置在鎖中,在刪除鎖時先進行身份判斷,再刪除;加鎖邏輯如下:

public boolean getLock(String key,String uniId,Long expireTime) {    
    //加鎖    
    return jedis.set(key, uniId, "NX", "EX", expireTime) == 1;
}
// 解鎖
public boolean releaseLock(String key,String uniId) {    
    // 因為get和del操作并不是原子的,所以使用lua腳本    
    String lua_script = "if redis.call('get',KEYS[1]) == ARGV[1] then  return redis.call('del',KEYS[1]) else return 0  end;"; 
    List keys = Collections.singletonList(key); 
    List argv = Arrays.asList(uuiId);  
    Object result = jedis.eval(lua_scripts, keys, argv);    
    return result !=null && result.equals(1L);
}

這種方式解決了鎖被誤刪的問題,但是同樣存在鎖超時失效,但是業務還未處理完的問題

方案五:Redission框架

那么對于鎖過期失效,業務未處理完畢的問題,該如何處理呢?

我們可以在加鎖成功后,啟動一個守護線程,在守護線程中隔一段時間就對鎖的超時時間再續長一點,直到業務處理完成后再釋放鎖,防止鎖在業務處理完畢之前提前釋放。而Redission框架就是使用的這種機制來解決的這個問題。

1. 當一個線程去獲取鎖,在加鎖成功的情況下,那么它已經通過Lua腳本將數據保存在了redis中;

2. 然后在加鎖成功的同時,啟動Watch Dog看門狗,每隔10秒檢查是否還持有鎖,如果是則將鎖超時時間延長。

3. 如果一開始就獲取鎖失敗,則會一直循環獲取。

方案六:RedLock

以上的這些方案,都只是在Redis單機模式下討論的方案,如果Redis是采用集群模式,還會存在一些問題,比如:

在集群模式下,一般Master節點會將數據同步到Salve節點,如果我們先在Master節點上加鎖成功,在同步到Salve節點之前,這個Master節點掛了,然后另一臺Salve節點升級為Master節點,這時這個節點上并沒有我們的加鎖數據;

此時另一個客戶端線程來獲取相同的鎖,它就會獲取成功,這時在我們的應用中將會有兩個線程同時獲取到這個鎖,這個鎖也就不安全了。

為了解決這個問題,Redis的作者提出了一種高級的分布式鎖算法,叫:RedLock,即:Redis Distributed Lock, Redis分布式鎖。

RedLock的核心原理:

?在Redis集群中選出多個Master節點,保證這些Master節點不會同時宕機;

?并且各個Master節點之間相互獨立,數據不同步;

?使用與Redis單實例相同的方法來加鎖和解鎖。

那么RedLock到底是如何來保證在有節點宕機的情況下,還能安全的呢?

1.假設集群中有N臺Master節點,首先,獲取當前時間戳;

2.客戶端按照順序使用相同的key,value依次獲取鎖,并且獲取時間要比鎖超時時間足夠小;比如超時時間5s,那么獲取鎖時間最多1s,超過1s則放棄,繼續獲取下一個;

3.客戶端通過獲取所有能獲取的鎖之后減去第一步的時間戳,這個時間差要小于鎖超時時間,并且要至少有N/2 + 1臺節點獲取成功,才表示鎖獲取成功,否則獲取失敗;

4.如果成功獲取鎖,則鎖的有效時間是原本超時時間減去第三步的時間差;

5.如果獲取鎖失敗,則要解鎖所有的節點,不管該節點加鎖時是否成功,防止有漏網之魚。

Redssion庫對RedLock方案已經做了實現,如果你的Redis是集群部署,可以看看使用方法。

參考文檔:https://redis.io/topics/distlock

小結

優點

?實現簡單,性能較高。

?可以利用Redis的集群特性實現高可用性和可擴展性。

?有現成的第三方包和工具支持,實現起來相對簡單。

缺點

?如果Redis節點故障,可能導致鎖失效或死鎖。

?RedLock算法雖然提高了容錯性,但增加了實現的復雜性和開銷。

基于Zookeeper等實現的分布式鎖

zookeeper 鎖相關基礎知識

zk 一般由多個節點構成(單數),采用 zab 一致性協議。因此可以將 zk 看成一個單點結構,對其修改數據其內部自動將所有節點數據進行修改而后才提供查詢服務。zk 的數據以目錄樹的形式,每個目錄稱為 znode,znode 中可存儲數據(一般不超過 1M),還可以在其中增加子節點。

znode節點有三種類型。序列化節點,每在該節點下增加一個節點自動給該節點的名稱上添加序號并且自增1。臨時節點,一旦創建這個 znode 的客戶端與服務器失去聯系,這個 znode 也將自動刪除。最后就是普通節點。

Watch 機制,client 可以監控每個節點的變化,當產生變化時 client 會接受到一個事件通知。

zk 基本鎖

原理:利用臨時節點與 watch 機制。每個鎖占用一個普通節點 /lock,當需要獲取鎖時在 /lock 目錄下創建一個臨時節點,創建成功則表示獲取鎖成功,失敗則 watch/lock 節點,有刪除操作后再去爭鎖。臨時節點好處在于當進程掛掉后能自動上鎖的節點自動刪除即取消鎖。

缺點:所有取鎖失敗的進程都監聽父節點,很容易發生羊群效應,即當釋放鎖后所有等待進程一起來創建節點,并發量很大,增加zk集群壓力。

zk 鎖優化

原理:上鎖改為創建臨時有序節點,每個上鎖的節點均能創建節點成功,只是其序號不同。只有序號最小的可以擁有鎖,如果這個節點序號不是最小的則 watch 序號比本身小的前一個節點 (公平鎖)。

步驟:

?在 /lock 節點下創建一個有序臨時節點 (EPHEMERAL_SEQUENTIAL)。

?判斷創建的節點序號是否最小,如果是最小則獲取鎖成功。不是則獲取鎖失敗,然后 watch 序號比本身小的前一個節點。

?當取鎖失敗,設置 watch 后則等待 watch 事件到來后,再次判斷是否序號最小。

?取鎖成功則執行代碼,最后釋放鎖(刪除該節點)。

參考代碼:

@Slf4j
public class DistributedLock implements Lock, Watcher{
     /**
      * zk客戶端
      */
      private ZooKeeper zk;
     /**
     * 根目錄
     */
     private final String root = "/locks";
     /**
     * 鎖名稱
     */
     private final String lockName;

     /**
     * 等待前一個鎖
     */
     private String waitNode;

     /**
     * 當前鎖
     */
     private String myZnode;
     /**
     * 計數器
     */
     private CountDownLatch latch;
     /**
     * 會話超時時間
     */
     private final int sessionTimeout = 30000;
     /**
     * 異常列表
     */
     private final List exception = new ArrayList();

     /**
     * 創建分布式鎖
     * @param config 服務器配置
     * @param lockName 競爭資源標志,lockName中不能包含單詞lock
     */
     public DistributedLock(String config, String lockName){
         this.lockName = lockName;
         // 創建與服務器的連接
         try {
             zk = new ZooKeeper(config, sessionTimeout, this);
             Stat stat = zk.exists(root, false);
             if(stat == null){
                 // 創建根節點
                 zk.create(root, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
             }
         } catch (IOException | KeeperException | InterruptedException e) {
              exception.add(e);
         }
     }

    /**
     * zookeeper節點的監視器
     */
     @Override
     public void process(WatchedEvent event) {
         if(this.latch != null) {
             this.latch.countDown();
         }
     }

     @Override
     public void lock() {
         if(!exception.isEmpty()){
              throw new LockException(exception.get(0));
         }
         try {
             if(this.tryLock()){
                 log.info("Thread " + Thread.currentThread().getId() + " " +myZnode + " get lock true");
             } else{
                 //等待鎖
                 waitForLock(waitNode, sessionTimeout);
             }
         } catch (KeeperException | InterruptedException e) {
             throw new LockException(e);
         }
     }

     @Override
     public boolean tryLock() {
         try {
             String splitStr = "_lock_";
             if(lockName.contains(splitStr)) {
                 throw new LockException("lockName can not contains \u000B");
         }
         //創建臨時有序子節點
         myZnode = zk.create(root + "/" + lockName + splitStr, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
         log.info(myZnode + " is created ");
         //取出所有子節點
         List subNodes = zk.getChildren(root, false);
         //取出所有lockName的鎖
         List lockObjNodes = new ArrayList();
         for (String node : subNodes) {
             String _node = node.split(splitStr)[0];
             if(_node.equals(lockName)){
                 lockObjNodes.add(node);
             }
         }
         Collections.sort(lockObjNodes);
         log.info("myZnode={} minZnode={}", myZnode, lockObjNodes.get(0));
         if(myZnode.equals(root+"/"+lockObjNodes.get(0))){
             //如果是最小的節點,則表示取得鎖
             return true;
         }
         //如果不是最小的節點,找到比自己小1的節點
         String subMyZnode = myZnode.substring(myZnode.lastIndexOf("/") + 1);
         waitNode = lockObjNodes.get(Collections.binarySearch(lockObjNodes, subMyZnode) - 1);
         } catch (KeeperException | InterruptedException e) {
             throw new LockException(e);
         }
         return false;
     }

     @Override
     public boolean tryLock(long time,@NonNull TimeUnit unit) {
         try {
             if(this.tryLock()){
                 return true;
             }
             return waitForLock(waitNode,time);
         } catch (Exception e) {
             log.error("tryLock exception:", e);
         }
         return false;
     }

     /**
     * @param lower 監視節點
     * @param waitTime 等待超時時間
     * @return 是否獲得鎖
     * @throws InterruptedException
     * @throws KeeperException
     */
      private boolean waitForLock(String lower, long waitTime) throws InterruptedException, KeeperException {
          Stat stat = zk.exists(root + "/" + lower,true);
          //判斷比自己小一個數的節點是否存在,如果不存在則無需等待鎖,同時注冊監聽
          if(stat != null){
             log.info("Thread " + Thread.currentThread().getId() + " waiting for " + root + "/" + lower);
             this.latch = new CountDownLatch(1);
             this.latch.await(waitTime, TimeUnit.MILLISECONDS);
             this.latch = null;
          }
          return true;
     }


      /**
      * 解鎖方法
      * @throws InterruptedException 線程中斷異常
      * @throws KeeperException ZooKeeper異常
      */
      @Override
      public void unlock() {
          try {
              log.info("unlock " + myZnode);
              zk.delete(myZnode,-1);
              myZnode = null;
              zk.close();
         } catch (InterruptedException | KeeperException e) {
             log.error("unlock exception:", e);
         }
     }

     @Override
     public void lockInterruptibly() throws InterruptedException {
          this.lock();
     }

     @Override
     public Condition newCondition() {
         return null;
     }

     /**
     * 自定義鎖異常
     */
     public static class LockException extends RuntimeException {
         private static final long serialVersionUID = 1L;

         /**
         * @param e 異常
         */
         public LockException(String e){
             super(e);
         }

         /**
         * @param e 異常
         */
         public LockException(Exception e){
             super(e);
         }
     }
}

小結

優點

?有效的解決單點問題,不可重入問題,非阻塞問題以及鎖無法釋放的問題。實現起來較為簡單。

?具有良好的順序性和公平性,可以有效的避免死鎖和競爭問題。

?支持高可用,容錯性較好,通過zookeeper集群可以確保鎖的可靠性和強一致性。

?有現成的第三方包和工具支持,實現起來相對簡單。

不足

?性能相對較低,ZK中創建和刪除節點只能通過 Leader 服務器來執行,然后將數據同步到所有的 Follower 機器上。

?需要維護ZooKeeper集群,增加了系統的復雜性和維護成本。

?在高并發場景下,頻繁的鎖操作可能導致ZooKeeper集群成為性能瓶頸。

分布式鎖的應用

分布式鎖的應用場景

分布式鎖在分布式系統中有著廣泛的應用,主要體現在以下幾個方面:

1.共享資源競爭:當多個進程或線程嘗試同時訪問或修改共享資源時,為了避免數據沖突和不一致,可以使用分布式鎖來確保同一時刻只有一個節點可以訪問資源。這在多機器或多節點的分布式系統中尤為重要,因為傳統的單機并發控制策略可能不再適用。

2.效率性:使用分布式鎖可以避免不同節點或進程重復執行相同的任務或操作。例如,在任務調度系統中,如果多個節點都嘗試執行同一任務,通過使用分布式鎖,可以確保只有一個節點執行該任務,從而提高系統的整體效率。

3.特殊業務場景:在電商業務中,分布式鎖常用于處理高并發場景下的資源競爭問題。例如,在扣減庫存或防止流量過載時,通過分布式鎖可以確保操作的原子性和一致性。此外,秒殺搶購、優惠券領取等場景也常利用分布式鎖來確保數據的一致性。

4.微服務架構:在微服務架構的系統中,分布式鎖發揮著至關重要的作用。特別是在金融支付系統等對一致性要求極高的場景中,分布式鎖被廣泛應用于實現各種特殊需求,確保操作的原子性、數據的準確性和一致性。

總的來說,分布式鎖的主要應用場景涉及需要確保數據一致性、防止數據沖突和提高系統效率的場景。通過使用分布式鎖,可以在分布式系統中實現更精細化的控制和協調,確保系統的穩定性和可靠性。

選型分析

根據以上實現原理的分析,選擇哪種分布式鎖方案取決于具體的應用場景和需求。對于簡單的應用場景和對性能要求不高的系統,基于MySQL的分布式鎖可能是一個不錯的選擇。對于高并發、高性能要求的系統,基于Redis的分布式鎖可能更合適。而如果需要確保鎖的公平性和一致性,并且對性能要求不是特別高,那么基于ZooKeeper的分布式鎖可能是一個更好的選擇。在實際應用中,還需要根據系統的具體情況和需求進行權衡和選擇。

關于布式鎖互斥性的進一步討論

經過以探討,我們可以得出一個結論:基于單機模式的MySQL、Redis以及ZooKeeper集群,均能夠嚴格實現分布式鎖,從而確保鎖的互斥性。這里之所以強調鎖的互斥性,是因為它確保了同一時刻僅有一個進程或線程能夠訪問特定的共享資源,從而避免了數據沖突和不一致性的發生。

然而,當我們轉向MySQL主從模式或Redis主從模式時,情況便發生了變化。這些模式在保障鎖的互斥性方面存在明顯的不足。要深入探究這一現象的根源,我們不得不提及分布式領域中的一個關鍵理論——CAP理論。

從鎖的定義和特性出發,我們知道,在獲取鎖的過程中,需要一個全局可見的標識。當一個進程或線程成功獲取鎖后,該標識會被設置并變得全局可見,這樣其他線程就無法突破鎖的互斥性限制,確保鎖的互斥性得到維護。而這一切的前提,便是數據必須保持一致性

然而,主從模式更傾向于保障可用性和分區容忍性,即AP模型,這在一定程度上犧牲了數據的一致性。相比之下,ZooKeeper集群則采用了CP模型,即保證一致性和分區容忍性。因此,在分布式環境下,ZooKeeper集群能夠確保數據的一致性,從而確保鎖的互斥性得到嚴格保障。

綜上所述,在分布式系統中,確保鎖的互斥性至關重要。我們在選擇和設計分布式鎖時,必須充分考慮其互斥性保障能力,并結合實際場景和需求,選擇最合適的實現方案。當業務場景需要高可靠性的分布式鎖時,ZooKeeper集群因其出色的數據一致性保障能力,自然成為了一個更加值得考慮的優秀選擇。

分布式鎖的挑戰

雖然分布式鎖為分布式系統帶來了諸多好處,但在實際應用中也面臨一些挑戰:

1.性能問題:分布式鎖的獲取和釋放需要通過網絡通信,這可能會引入額外的性能開銷。在高并發場景下,如果大量進程或線程爭用同一個鎖,可能導致性能瓶頸。

2.可靠性問題:分布式鎖的可靠性受到網絡、硬件、軟件等多方面因素的影響。如果鎖服務出現故障或網絡中斷,可能導致死鎖或數據不一致等問題。

3.可擴展性問題:隨著分布式系統的規模不斷擴大,如何確保分布式鎖的可擴展性成為一個重要問題。需要設計合理的分布式鎖策略,以適應不同規模和需求的系統。

本文主要討論了分布式鎖的原理和不同的實現方案,有基于數據庫,Redis和ZooKeeper三種選擇,并且各有優缺點。項目開發過程中根據自己實際的業務場景,選擇適合自己項目的方案。

?

文章中難免會有不足之處,希望讀者能給予寶貴的意見和建議。謝謝!

參考文檔

https://cloud.tencent.com/developer/article/1909596

https://zhuanlan.zhihu.com/p/42056183

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 分布式
    +關注

    關注

    1

    文章

    970

    瀏覽量

    75095
  • MySQL
    +關注

    關注

    1

    文章

    841

    瀏覽量

    27372
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    抗干擾CAN總線通信技術在分布式電力系統中的應用

    摘要 :隨著分布式電力系統的廣泛應用,其通信系統的可靠性與穩定性受到了前所未有的挑戰。CAN總線通信技術以其卓越的抗干擾性能和可靠性,在眾多通信技術中脫穎而出,成為解決分布式電力系統通信問題的關鍵
    的頭像 發表于 04-14 18:24 ?132次閱讀

    VirtualLab Fusion應用:基于分布式計算的AR光波導中測試圖像的仿真

    (10201次模擬):大約43小時。 模擬結果:不同視場角的輻射通量*。 *注: 21個×21個方向的結果存儲在參數連續變化的光柵的查找表中。 使用分布式計算 參數運行用于改變當前視場模式的角度,這
    發表于 02-19 08:51

    從“接網難”到“四可”管理:新政策下分布式光伏系統的挑戰與優化路徑

    。本文深入分析新政策下分布式光伏系統從 “接網難” 到實現 “四可” 管理過程中面臨的挑戰,并提出針對性的優化路徑,旨在促進分布式光伏產業健康、可持續發展。 關鍵詞:
    的頭像 發表于 02-17 15:24 ?613次閱讀
    從“接網難”到“四可”管理:新政策下<b class='flag-5'>分布式</b>光伏系統的<b class='flag-5'>挑戰</b>與優化路徑

    鐵塔基站分布式儲能揭秘!

    的正常運轉。為了解決這些問題,安科瑞推出了基站鐵塔分布式儲能解決方案,為基站的穩定供電提供了可靠的保障。 一、什么是基站鐵塔分布式儲能? 基站鐵塔分布式儲能系統是一種將儲能電池分布在基
    的頭像 發表于 02-12 16:42 ?466次閱讀
    鐵塔基站<b class='flag-5'>分布式</b>儲能揭秘!

    分布式云化數據庫有哪些類型

    分布式云化數據庫有哪些類型?分布式云化數據庫主要類型包括:關系型分布式數據庫、非關系型分布式數據庫、新SQL分布式數據庫、以列方式存儲數據、
    的頭像 發表于 01-15 09:43 ?322次閱讀

    基于ptp的分布式系統設計

    在現代分布式系統中,精確的時間同步對于確保數據一致性、系統穩定性和性能至關重要。PTP(Precision Time Protocol)是一種網絡協議,用于在分布式系統中實現高精度的時間同步
    的頭像 發表于 12-29 10:09 ?391次閱讀

    HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據權限與基礎數據

    使用分布式數據對象遷移數據,當需要遷移的數據較大(100KB以上)或需要遷移文件時,可以使用分布式數據對象。原理與接口說明詳見分布式數據對象跨設備數據同步。 說明:自API 12起,由于直接使用跨
    發表于 12-24 09:40

    深入理解C語言:循環語句的應用與優化技巧

    能讓你的代碼更加簡潔明了,還能顯著提升程序執行效率。本文將詳細介紹C語言中的三種常見循環結構——while循環、for循環和do...while循環,帶你深入理解
    的頭像 發表于 12-07 01:11 ?459次閱讀
    <b class='flag-5'>深入理解</b>C語言:循環語句的應用與優化技巧

    分布式通信的原理和實現高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經超出了單個 GPU 的范圍。所以就需要實現跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我們將簡單介紹
    的頭像 發表于 11-18 09:39 ?997次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現高效<b class='flag-5'>分布式</b>通信背后的技術NVLink的演進

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發表于 11-12 01:02 ?415次閱讀
    <b class='flag-5'>分布式</b>光纖測溫解決方案

    淺談屋頂分布式光伏發電技術的設計與應用

    【摘要】為了緩解城市用電緊張袁降低人們的用電成本,可以在工業園區、辦公樓屋頂等場所應用屋頂分布式光伏發電技術進行就近轉換、并網發電袁充分利用建筑物屋頂的太陽資源。概述屋頂分布式光伏發電技術,分析屋頂
    的頭像 發表于 11-11 15:10 ?1601次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發電技術的設計與應用

    分布式光纖測溫是什么?應用領域是?

    分布式光纖測溫是一種先進的溫度測量技術,它利用光纖的拉曼散射原理進行溫度監測。以下是對分布式光纖測溫的詳細介紹: 一、基本原理 分布式光纖測溫的原理基于光纖的拉曼散射效應。當光纖某處的溫度發生變化
    的頭像 發表于 10-24 15:30 ?946次閱讀
    <b class='flag-5'>分布式</b>光纖測溫是什么?應用領域是?

    分布式輸電線路故障定位中的分布式是指什么

    所謂分布式指的是產品的部署方式,是相對于集中式而言的。 一、部署方式 分散安裝:分布式輸電線路故障定位系統中的采集裝置需要安裝在輸電線路的多個位置,通常是每隔一定距離設置一個監測點,以確保對整條線路
    的頭像 發表于 10-16 11:39 ?571次閱讀
    <b class='flag-5'>分布式</b>輸電線路故障定位中的<b class='flag-5'>分布式</b>是指什么

    深入理解FPD-link III ADAS解串器HUB產品

    電子發燒友網站提供《深入理解FPD-link III ADAS解串器HUB產品.pdf》資料免費下載
    發表于 09-06 09:58 ?1次下載
    <b class='flag-5'>深入理解</b>FPD-link III ADAS解串器HUB產品

    遠程IO與分布式IO的區別

    在工業自動化和控制系統設計中,遠程IO(Input/Output)和分布式IO是兩個重要的概念。它們各自具有獨特的特點和優勢,適用于不同的應用場景。本文將詳細探討遠程IO與分布式IO的區別,包括位置
    的頭像 發表于 06-15 15:57 ?3573次閱讀
    主站蜘蛛池模板: 欧美一级视频在线观看 | 国产一级特黄aa大片免费 | 天天综合天天做天天综合 | 色屋视频 | 午夜嘿嘿嘿 | 久久综合五月婷婷 | 五月天婷婷网站 | 欧美激情片网站 | eee在线播放成人免费 | 全黄毛片 | 伊人久久大香线蕉综合影 | 久久理论片 | 一道精品一区二区三区 | 国产精品99r8免费视频2022 | 午夜看片网站 | 欧美综合视频 | 激情综合在线观看 | 亚洲日本视频 | 夜夜偷影视 | 成人免费视频一区二区三区 | 午夜韩国理论片在线播放 | yy8090韩国日本三理论免费 | 午夜香港三级在线观看网 | 天天草比| 一级毛片aaaaaa视频免费看 | 国产h视频在线观看 | 午夜小视频男女在线观看 | 天天干天天摸 | 久久综合中文字幕 | 色综合久久网 | 爱情岛网站亚洲禁18进入 | 免费一级视频在线播放 | 国产你懂的视频 | 欧美xxxx性高清 | 国产美女主播一级成人毛片 | 天天摸夜夜摸爽爽狠狠婷婷97 | 亚洲成在人线影视天堂网 | 婷婷99精品国产97久久综合 | 涩涩97在线观看视频 | 日韩婷婷 | 大尺度免费高清在线观看视频 |