在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Sharding JDBC 實戰:分布式事務處理

jf_ro2CN3Fa ? 來源:CSDN ? 2022-12-22 15:06 ? 次閱讀

  • 1. 什么是全局事務呢?
  • 2. 2pc提交協議
  • 3. XA事務存在的問題
  • 4. CAP理論
  • 5. Sharding-JDBC分布式事務支持
  • 6. 項目地址

在我們使用Sharding JDBC分庫分表的時候,會帶來另外一個問題,就是分布式事務問題,如下圖所示。用戶采購商品業務,整個業務包含3個微服務:

  • 庫存服務: 扣減給定商品的庫存數量。
  • 訂單服務: 根據采購請求生成訂單。
  • 賬戶服務: 用戶賬戶金額扣減。

這三個業務操作應該屬于同一個事務,但是這些數據卻分配在不同的數據庫上,所以沒辦法采用數據庫的事務來保證數據一致性。

d9316416-81b9-11ed-8abf-dac502259ad0.png

這個時候,要解決分布式事務問題,就需要引入全局事務。

1. 什么是全局事務呢?

全局事務是一個DTP模型的事務,所謂DTP模型指的是 X/Open DTP (X/Open Distributed Transaction Processing Reference Model),是 X/Open 這個組織定義的一套分布式事務的標準。

X/Open,即現在的open group,是一個獨立的組織,主要負責制定各種行業技術標準。

官網地址:http://www.opengroup.org/

X/Open組織主要由各大知名公司或者廠商進行支持,這些組織不光遵循X/Open組織定義的行業技術標準,也參與到標準的制定。

X/Open了定義了規范和API接口,由這個廠商進行具體的實現,這個標準提出了使用二階段提交(2PC –Two-Phase-Commit)來保證分布式事務的完整性。后來J2EE也遵循了X/OpenDTP規范,設計并實現了java里的分布式事務編程接口規范-JTA,如下圖所示,表示一個X/Open DTP模型。

d9499f7c-81b9-11ed-8abf-dac502259ad0.png

X/Open DTP模型定義了三個角色和兩個協議,其中三個角色分別如下:

  • AP(Application Program ,表示應用程序,也可以理解成使用DTP模型的程序
  • RM(Resource Manager) ,資源管理器,這個資源可以是數據庫, 應用程序通過資源管理器對資源進行控制,資源管理器必須實現XA定義的接口
  • TM(Transaction Manager) ,表示事務管理器,負責協調和管理全局事務,事務管理器控制整個全局事務,管理事務的生命周期,并且協調資源。

兩個協議分別是:

XA協議: XA 是X/Open DTP定義的資源管理器和事務管理器之間的接口規范,TM用它來通知和協調相關RM事務的開始、結束、提交或回滾。

目前Oracle、Mysql、DB2都提供了對XA的支持;XA接口是雙向的系統接口,在事務管理器(TM ) 以及多個資源管理器之間形成通信的橋梁(XA不能自動 提交)

  • https://dev.mysql.com/doc/refman/8.0/en/xa.html
  • https://dev.mysql.com/doc/refman/8.0/en/xa-statements.html

XA協議的語法,主流的數據庫都支持 XA協議,從而能夠實現跨數據庫事務。

XA{START|BEGIN}xid[JOIN|RESUME]--負責開啟或者恢復一個事務分支,并且管理XID到調用線程
XAENDxid[SUSPEND[FORMIGRATE]]--負責取消當前線程與事務分支的關聯
XAPREPARExid--負責詢問RM是否準備好了提交事務分支
XACOMMITxid[ONEPHASE]--知RM提交事務分支
XAROLLBACKxid--通知RM回滾事務分支
XARECOVER[CONVERTXID]

TX協議: 全局事務管理器與資源管理器之間通信的接口

在分布式系統中,每一個機器節點雖然都能夠明確知道自己在進行事務操作過程中的結果是成功還是失敗,但卻無法直接獲取到其他分布式節點的操作結果。

因此當一個事務操作需要跨越多個分布式節點的時候,為了保持事務處理的ACID特性,就需要引入一個“協調者”(TM)來統一調度所有分布式節點的執行邏輯,這些被調度的分布式節點被稱為AP。TM負責調度AP的行為,并最終決定這些AP是否要把事務真正進行提交到(RM)。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

2. 2pc提交協議

在X/OpenDTP模型中,一個分布式事務所涉及的SQL邏輯都執行完成,并到了(RM)要最后提交事務的關鍵時刻,為了避免分布式系統所固有的不可靠性導致提交事務意外失敗,TM 果斷決定實施兩步走的方案,這個就稱為二階提交,如下圖所示。

二階段提交,是計算機網絡尤其是在數據庫領域內,為了使基于分布式系統架構下的所有節點在進行事務處理過程中能夠保持原子性和一致性而設計的一種算法。通常,二階段提交協議也被認為是一種一致性協議,用來保證分布式系統數據的一致性。

目前,絕大部分的關系型數據庫都是采用二階段提交協議來完成分布式事務處理的,利用該協議能夠非常方便地完成所有分布式事務AP的協調,統一決定事務的提交或回滾,從而能夠有效保證分布式數據一致性,因此2pc也被廣泛運用在許多分布式系統中。

d973a128-81b9-11ed-8abf-dac502259ad0.png

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/

3. XA事務存在的問題

上述基于XA協議的全局事務,是屬于強一致性事務,因為在全局事務中,只要有任何一個RM出現異常,都會導致全局事務回滾。同時,本地事務在Prepare階段鎖定資源時,如果有其他事務要要修改相同的數據,就必須要等待前面的事務完成,這本身是無可厚非的設計,但是由于多個RM節點是跨網絡,一旦出現網絡延遲,就導致該事務一直占用資源使得整體性能下降。

另外,在XA COMMIT階段,如果其中一個RM因為網絡超時沒有收到數據提交的指令,會導致數據不一致,為了解決這個問題,很多開源分布式事務框架都會提供重試機制來保證數據一致性。

4. CAP理論

說到強一致性的問題,必然要提到CAP理論。

CAP的含義:

  • C:Consistency 一致性 同一數據的多個副本是否實時相同。
  • A:Availability 可用性 可用性:一定時間內 & 系統返回一個明確的結果 則稱為該系統可用。
  • P:Partition tolerance 分區容錯性 將同一服務分布在多個系統中,從而保證某一個系統宕機,仍然有其他系統提供相同的服務。

CAP理論告訴我們,在分布式系統中,C、A、P三個條件中我們最多只能選擇兩個。那么問題來了,究竟選擇哪兩個條件較為合適呢?

對于一個業務系統來說,分區容錯性是必須要滿足的條件。業務系統之所以使用分布式系統,主要原因有兩個:

  • 提升整體性能 當業務量猛增,單個服務器已經無法滿足我們的業務需求的時候,就需要使用分布式系統,使用多個節點提供相同的功能,從而整體上提升系統的性能,這就是使用分布式系統的第一個原因。
  • 實現分區容錯性 單一節點 或 多個節點處于相同的網絡環境下,那么會存在一定的風險,萬一該機房斷電、該地區發生自然災害,那么業務系統就全面癱瘓了。為了防止這一問題,采用分布式系統,將多個子系統分布在不同的地域、不同的機房中,從而保證系統高可用性。

所以我們需要根據自己的業務需求,選擇采取CP還是AP。

5. Sharding-JDBC分布式事務支持

了解了X/Open DTP模型的全局事務解決方案,就必然需要一個成熟的技術中間件來簡化我們對于分布式事務的開發邏輯,而Sharding-JDBC提供了分布式事務解決方案。

Sharding-JDBC支持以下四種事務模型,實際上這些分布式事務模式都是集成開源的事務組件做的集成。

  • Atomikos事務
  • Narayana事務
  • Bitronix事務
  • Seata事務

Apache ShardingSphere 默認的 XA 事務管理器為 Atomikos,下面我們通過Atomikos來配置一個分布式事務的使用模型。

5.1 Atomikos事務

Atomikos是為Java平臺提供的開源的事務管理工具,它包含收費和開源兩個版本,開源版本基本能滿足我們的需求。

Atomikos實現了JTA/XA規范中的事務管理器(Transaction Manager)應該實現的相關接口。

JTA,即Java Transaction API,JTA允許應用程序執行分布式事務處理——在兩個或多個網絡計算機資源上訪問并且更新數據,JDBC驅動程序的JTA支持極大地增強了數據訪問能力。

  • TransactionManager : 常用方法,可以開啟、回滾、獲取事務。begin(),rollback()…
  • XAResouce : 資源管理,通過Session來進行事務管理。commit(xid)…
  • XID : 每一個事務都分配一個特定的XID

JTA是如何實現多數據源的事務管理呢?

主要的原理是兩階段提交,以上面的請求業務為例,當整個業務完成了之后只是第一階段提交,在第二階段提交之前會檢查其他所有事務是否已經提交,如果前面出現了錯誤或是沒有提交,那么第二階段就不會提交,而是直接rollback操作,這樣所有的事務都會做Rollback操作。

5.2 實戰

5.2.1 項目搭建

使用IDEA直接創建Spring boot 項目即可。

5.2.2 依賴

由于使用XA事務,所以除了Sharding依賴外還需要引入事務依賴。

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starterartifactId>
<version>5.0.0-alphaversion>
dependency>
<dependency>
<groupId>com.zaxxergroupId>
<artifactId>HikariCPartifactId>
<version>3.4.2version>
dependency>
<dependency>
<groupId>org.freemarkergroupId>
<artifactId>freemarkerartifactId>
dependency>

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-transaction-xa-coreartifactId>
<version>5.0.0-alphaversion>
dependency>

5.2.3 配置

接下來就是配置相關數據庫連接信息以及分片規則;

在這里主要做的是創建了兩個數據源(數據源最好設置兩臺服務器的數據庫)以及設置好了相應的分庫規則。

server.port=8080
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html

spring.shardingsphere.props.sql-show=true
spring.shardingsphere.datasource.names="ds-0,ds-1"
spring.shardingsphere.datasource.common.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.common.driver-class-name=com.mysql.jdbc.Driver

spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc//localhost:3306/shard01?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.username=root
spring.shardingsphere.datasource.ds-0.password=123456

spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc//localhost:3306/shard02?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.username=root
spring.shardingsphere.datasource.ds-1.password=123456

spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds-$->{user_id % 2}

spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=snowflake

spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE
spring.shardingsphere.rules.sharding.key-generators.snowflake.props.worker-id=123

5.2.4 事務一致性注解

Sharding jdbc解決事務一致性可以直接通過@ShardingTransactionType(TransactionType.XA)注解實現,我們只需要在對應的方法上加上即可。

比如下圖,由于我們在配置文件中是通過user_id進行分庫的,然后我們在這里通過隨機數,會根據分片規則往兩個數據庫中插入數據。

當i=4的時候,我們人為的制造異常,如果我們不采用全局事務的話,則之前插入的數據還會再數據庫中。所以這個時候我們只需要加上@ShardingTransactionType(TransactionType.XA)注解即可,XA屬于強一致性。

d999c59c-81b9-11ed-8abf-dac502259ad0.png

6. 項目地址

https://gitee.com/cl1429745331/sharding-jdbc-demo



審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3882

    瀏覽量

    65552
  • 分布式
    +關注

    關注

    1

    文章

    969

    瀏覽量

    75066
  • JDBC
    +關注

    關注

    0

    文章

    25

    瀏覽量

    13553

原文標題:Sharding JDBC 實戰:分布式事務處理

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    MCU分布式模塊化自動測量單元:數據傳輸與處理能力如何?

    在現代工程監測中,MCU分布式模塊化自動測量單元(MCU)以其靈活的配置和強大的數據處理能力,成為了各類安全監測項目的理想選擇。本文將深入探討MCU的工作原理、數據傳輸方式以及其在實際應用中的優勢
    的頭像 發表于 03-12 14:09 ?281次閱讀
    MCU<b class='flag-5'>分布式</b>模塊化自動測量單元:數據傳輸與<b class='flag-5'>處理</b>能力如何?

    分布式日志追蹤ID實戰

    作者:京東物流 張小龍 本文通過介紹分布式應用下各個場景的全局日志ID透傳思路,以及介紹分布式日志追蹤ID簡單實現原理和實戰效果,從而達到通過提高日志查詢排查問題的效率。 背景 開發排查系統問題用得
    的頭像 發表于 01-20 10:16 ?524次閱讀

    分布式云化數據庫有哪些類型

    分布式云化數據庫有哪些類型?分布式云化數據庫主要類型包括:關系型分布式數據庫、非關系型分布式數據庫、新SQL分布式數據庫、以列方式存儲數據、
    的頭像 發表于 01-15 09:43 ?313次閱讀

    基于ptp的分布式系統設計

    在現代分布式系統中,精確的時間同步對于確保數據一致性、系統穩定性和性能至關重要。PTP(Precision Time Protocol)是一種網絡協議,用于在分布式系統中實現高精度的時間同步
    的頭像 發表于 12-29 10:09 ?381次閱讀

    HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據文件資產遷移

    === AbilityConstant.LaunchReason.CONTINUATION) { // ... // 調用封裝好的分布式數據對象處理函數 this.handleDistributedData(want
    發表于 12-24 10:11

    HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據權限與基礎數據

    === AbilityConstant.LaunchReason.CONTINUATION) { // ... // 調用封裝好的分布式數據對象處理函數 this.handleDistributedData(want
    發表于 12-24 09:40

    分布式通信的原理和實現高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經超出了單個 GPU 的范圍。所以就需要實現跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我們將簡單介紹
    的頭像 發表于 11-18 09:39 ?982次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現高效<b class='flag-5'>分布式</b>通信背后的技術NVLink的演進

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發表于 11-12 01:02 ?403次閱讀
    <b class='flag-5'>分布式</b>光纖測溫解決方案

    淺談屋頂分布式光伏發電技術的設計與應用

    【摘要】為了緩解城市用電緊張袁降低人們的用電成本,可以在工業園區、辦公樓屋頂等場所應用屋頂分布式光伏發電技術進行就近轉換、并網發電袁充分利用建筑物屋頂的太陽資源。概述屋頂分布式光伏發電技術,分析屋頂
    的頭像 發表于 11-11 15:10 ?1573次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發電技術的設計與應用

    Spring事務實現原理

    作者:京東零售 范錫軍 1、引言 spring的spring-tx模塊提供了對事務管理支持,使用spring事務可以讓我們從復雜的事務處理中得到解脫,無需要去處理獲得連接、關閉連接、
    的頭像 發表于 11-08 10:10 ?1040次閱讀
    Spring<b class='flag-5'>事務</b>實現原理

    分布式光纖測溫是什么?應用領域是?

    時,該處的散射光特性會受到影響。通過高速信號采集與數據處理技術,可以準確地定位發生溫度變化的位置,并給出實時的溫度信息。簡而言之,分布式光纖測溫技術將整條傳輸光纖作為傳感器,光纖上的每一點都兼具“傳”和“感”
    的頭像 發表于 10-24 15:30 ?925次閱讀
    <b class='flag-5'>分布式</b>光纖測溫是什么?應用領域是?

    分布式輸電線路故障定位中的分布式是指什么

    所謂分布式指的是產品的部署方式,是相對于集中式而言的。 一、部署方式 分散安裝:分布式輸電線路故障定位系統中的采集裝置需要安裝在輸電線路的多個位置,通常是每隔一定距離設置一個監測點,以確保對整條線路
    的頭像 發表于 10-16 11:39 ?551次閱讀
    <b class='flag-5'>分布式</b>輸電線路故障定位中的<b class='flag-5'>分布式</b>是指什么

    分布式功能安全的創新與突破

    近日,Imagination推出全新性能最高且具有高等級功能安全性的汽車GPUIP——ImaginationDXSGPU,并且是Imagination第一款帶有“分布式安全機制”的處理器。下載白皮書
    的頭像 發表于 09-20 08:09 ?432次閱讀
    <b class='flag-5'>分布式</b>功能安全的創新與突破

    分布式光伏發電有哪些優點?分布式光伏發電有哪些應用形式?

    分布式光伏發電是一種在用戶附近或用電現場配置的小型光伏發電系統,它具有許多顯著的優點和多樣的應用形式。
    的頭像 發表于 04-29 17:44 ?5319次閱讀

    分布式能源是什么意思?分布式能源有什么優勢?

    分布式能源指的是在用戶端或靠近用戶端的小型能源供應系統,它能夠直接滿足用戶的多種能源需求,如電力、熱能和冷能。
    的頭像 發表于 04-29 17:26 ?3005次閱讀
    主站蜘蛛池模板: 一级特级aaa毛片 | 免费观看影院 | 人人天天爱天天做天天摸 | 亚洲精品久久久久午夜三 | 偷窥自拍亚洲色图 | 5g影院天天| 天天狠天天插 | 日本黄色美女视频 | 欧洲色 | 天天躁夜夜躁狠狠躁躁 | 色播图片 | 种子天堂 | 精品亚洲综合在线第一区 | 天堂在线中文网 | 性欧美视频在线观看 | 日本一区视频在线观看 | 国产网站免费视频 | 国产精品你懂的 | 狠狠色丁香婷婷综合橹不卡 | 草伊人| 黄网页在线观看 | 午夜影院免费版 | 91国内在线 | 一级毛片一片毛 | 欧美丝袜一区 | 三级视频中文字幕 | 亚洲偷自偷白图片 | 卡一卡二卡三国色天香永不失联 | 亚洲日韩色图 | 午夜欧美日韩 | 黄色片网站大全 | 狠狠干激情| 四虎影院免费观看 | 免费观看在线aa | 91青草视频 | 一级做a爰片久久毛片鸭王 一级做a爰片久久毛片一 | 电影一区二区三区 | 色吧在线观看 | 成人a大片高清在线观看 | 亚洲精品国产成人 | 日本特黄色大片 |