星環(huán)科技自成立以來,一直致力于國產(chǎn)化數(shù)據(jù)庫的自主研發(fā),打造了自主可控的高性能分布式分析型數(shù)據(jù)庫ArgoDB和分布式交易型數(shù)據(jù)庫KunDB。交易型數(shù)據(jù)庫KunDB具備較強(qiáng)的SQL兼容性,同時(shí)具備高可用、高并發(fā)、在線擴(kuò)縮容、數(shù)據(jù)強(qiáng)一致性等能力,適用于操作型業(yè)務(wù)、高并發(fā)業(yè)務(wù)等場景。多模型數(shù)據(jù)庫ArgoDB具備完整的SQL兼容性,同時(shí)具備高擴(kuò)展、高可靠、多模型、存算解耦等能力,一站式滿足數(shù)據(jù)倉庫、實(shí)時(shí)數(shù)據(jù)倉庫、數(shù)據(jù)集市、OLAP、聯(lián)邦計(jì)算等場景。
通過不斷的打磨和對(duì)業(yè)務(wù)場景不斷的落地實(shí)踐,ArgoDB和KunDB已成為具有完全自主知識(shí)產(chǎn)權(quán)的成熟的國產(chǎn)數(shù)據(jù)庫,能夠?yàn)楦嗟目蛻籼峁└咝阅堋⒏呖煽俊⒊墒斓臄?shù)據(jù)庫產(chǎn)品服務(wù),幫助用戶應(yīng)對(duì)智能數(shù)據(jù)時(shí)代海量數(shù)據(jù)的分析與探索。
近日,星環(huán)科技正式發(fā)布了ArgoDB5.0和KunDB3.0,并將其結(jié)合打造了一體化實(shí)時(shí)AETP技術(shù)(分析增強(qiáng)型交易庫),在一個(gè)數(shù)據(jù)庫系統(tǒng)里同時(shí)支撐交易與分析混合型業(yè)務(wù)場景,助力數(shù)據(jù)庫國產(chǎn)化升級(jí)。
ArgoDB5.0:存算引擎雙升級(jí),打造高性能湖倉集一體化多模型數(shù)據(jù)庫
Transwarp ArgoDB 是星環(huán)科技自主研發(fā)的面向數(shù)據(jù)分析型業(yè)務(wù)場景的國產(chǎn)化分布式多模數(shù)據(jù)庫,能夠一站式替代Hadoop+MPP混合架構(gòu),提供多模分析、實(shí)時(shí)數(shù)據(jù)處理、存算解耦、混合負(fù)載、數(shù)據(jù)聯(lián)邦、異構(gòu)服務(wù)器混合部署等先進(jìn)技術(shù)能力,一站式滿足數(shù)據(jù)倉庫、實(shí)時(shí)數(shù)據(jù)倉庫、數(shù)據(jù)集市、OLAP、聯(lián)邦計(jì)算等各種需求。2019年8月,ArgoDB成為全球第四個(gè)通過TPC-DS基準(zhǔn)測試并經(jīng)過TPC官方審計(jì)的數(shù)據(jù)庫產(chǎn)品。
ArgoDB5.0打造了新一代向量化計(jì)算引擎和多模型存儲(chǔ)引擎,整體分析性能大幅度提升。ArgoDB5.0進(jìn)一步加強(qiáng)了多模型數(shù)據(jù)的支持能力和處理能力,通過一個(gè)數(shù)據(jù)庫就可以滿足更多數(shù)據(jù)模型處理和不同模態(tài)數(shù)據(jù)關(guān)聯(lián)。同時(shí),ArgoDB5.0引入DP-SQL能力,實(shí)現(xiàn)對(duì)數(shù)據(jù)的隱私保護(hù),滿足數(shù)據(jù)發(fā)布、流通、脫敏、查詢、交易等場景下的數(shù)據(jù)安全要求。在數(shù)據(jù)資產(chǎn)安全保障上,5.0版本繼續(xù)加強(qiáng)了數(shù)據(jù)容災(zāi)備份能力,通過細(xì)粒度、高并發(fā)、高效率的容災(zāi)備份能力,進(jìn)一步提升數(shù)據(jù)安全保障能力。此外,ArgoDB 5.0進(jìn)一步加強(qiáng)數(shù)據(jù)湖和數(shù)據(jù)倉庫/數(shù)據(jù)集市等業(yè)務(wù)面的技術(shù)革新,增強(qiáng)湖倉集融合能力,通過統(tǒng)一訪問接口、統(tǒng)一存儲(chǔ)、統(tǒng)一元數(shù)據(jù)管理等能力,真正意義上為用戶提供湖倉集一體化的場景解決方案。
新一代向量化計(jì)算引擎和多模存儲(chǔ)引擎,分析性能是同類數(shù)據(jù)庫產(chǎn)品的2~10倍
ArgoDB 5.0在原高效的計(jì)算引擎之上,將計(jì)算算子全向量化native改寫,使得高并發(fā)復(fù)雜分析在百毫秒內(nèi)反饋結(jié)果,將優(yōu)化器中引入數(shù)據(jù)的動(dòng)態(tài)采樣,全面支持多種join的重寫。同時(shí)結(jié)合業(yè)務(wù)場景,優(yōu)化場景化能力,重點(diǎn)在湖倉一體的SQL管理上進(jìn)行了優(yōu)化,并且新增隱私計(jì)算能力和數(shù)據(jù)動(dòng)態(tài)脫敏能力,增強(qiáng)數(shù)據(jù)聯(lián)邦場景中SQL語句算子下推能力等。
在存儲(chǔ)引擎方面,ArgoDB 5.0繼續(xù)深耕分布式存儲(chǔ)框架與列式存儲(chǔ)引擎的優(yōu)化,在降低業(yè)務(wù)資源消耗的同時(shí)提升多模型能力和業(yè)務(wù)性能。相對(duì)于上一代批量掃描性能提升了10倍以上,同時(shí)降低業(yè)務(wù)SQL資源(IO等)的使用,提升系統(tǒng)穩(wěn)定性和業(yè)務(wù)效率。對(duì)于實(shí)時(shí)數(shù)倉場景,數(shù)據(jù)延遲控制在毫秒級(jí),并且支持高并發(fā)分析。在大集群場景下,支持百萬級(jí)別的表和百萬級(jí)別的元信息管理,穩(wěn)定性進(jìn)一步提升。
基于存算雙引擎的升級(jí),ArgoDB 5.0在性能上有大幅度的提升,尤其是OLAP分析場景下的性能提升,無論是單表查詢還是多表關(guān)聯(lián)場景,ArgoDB都具備有明顯的性能優(yōu)勢,整體上是同類數(shù)據(jù)庫產(chǎn)品的2-10倍,幫助用戶更快、更穩(wěn)定地應(yīng)對(duì)復(fù)雜多變的業(yè)務(wù)需求。
多模數(shù)據(jù)融合分析,更高效地滿足”一庫多用“場景
隨著業(yè)務(wù)數(shù)據(jù)量不斷增長的同時(shí),數(shù)據(jù)結(jié)構(gòu)也變得越來越靈活多樣,數(shù)據(jù)不再局限于規(guī)整的結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)域處理中的占比逐年上升,因此對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行智能化數(shù)據(jù)處理的需求越來越迫切。
多模型數(shù)據(jù)庫ArgoDB繼3.2版本新增支持大對(duì)象數(shù)據(jù)類型Blob和Clob,用來存儲(chǔ)、查詢和處理圖片、電子文檔、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)后,ArgoDB 5.0新增對(duì)半結(jié)構(gòu)化的JSON/JSONB/XML數(shù)據(jù)類型的支持,滿足了更多數(shù)據(jù)模型處理場景和更多復(fù)雜業(yè)務(wù)需求。
同時(shí),ArgoDB 5.0進(jìn)一步加強(qiáng)了對(duì)多模態(tài)數(shù)據(jù)的處理能力,在優(yōu)化器上進(jìn)一步深耕,對(duì)不同模態(tài)數(shù)據(jù)基于代價(jià)/規(guī)則等自動(dòng)判斷選擇合理高效模型,拆分、分發(fā)計(jì)算任務(wù),讓數(shù)據(jù)處理更加快捷和高效。
在架構(gòu)上,ArgoDB基于存算解耦,實(shí)現(xiàn)了多模數(shù)據(jù)庫的“四個(gè)統(tǒng)一”:
統(tǒng)一的SQL編譯引擎,支持SQL 99/2003 標(biāo)準(zhǔn)語法,兼容TD,Oracle,DB2等多種方言,對(duì)不同模式的數(shù)據(jù)提供統(tǒng)一接口,將多個(gè)操作訪問入口變?yōu)橐粋€(gè)入口,將多種數(shù)據(jù)庫語言變?yōu)橐环N語言,降低開發(fā)和遷移成本,簡化用戶操作。
統(tǒng)一的計(jì)算引擎,將多套計(jì)算引擎變?yōu)橐惶滓妫瑢⒍喾萦?jì)算資源變?yōu)橐环葙Y源,提供高性能的分析計(jì)算和執(zhí)行效率,滿足跨模型數(shù)據(jù)復(fù)雜關(guān)聯(lián)分析場景。
統(tǒng)一的存儲(chǔ)管理系統(tǒng),同時(shí)支持分析型行列混合存儲(chǔ)、支持具有搜索功能的文本存儲(chǔ)等多模異構(gòu)存儲(chǔ),并保證數(shù)據(jù)的強(qiáng)一致性,數(shù)據(jù)只需一次入庫,即可通過異構(gòu)存儲(chǔ)的訪問能力支撐多樣化復(fù)雜分析場景,降低運(yùn)維成本,將分散存儲(chǔ)管理變?yōu)榻y(tǒng)一存儲(chǔ)管理,極大簡化系統(tǒng)架構(gòu),減少開發(fā)運(yùn)維成本。
統(tǒng)一的星環(huán)云原生操作系統(tǒng),支持 ARM+X86的混合架構(gòu),用戶可以利舊硬件,大幅降低成本。
ArgoDB5.0通過統(tǒng)一的元數(shù)據(jù)管理、統(tǒng)一的事務(wù)管理和完備的多模優(yōu)化器支撐了對(duì)不同模態(tài)數(shù)據(jù)的統(tǒng)一讀取調(diào)度,實(shí)現(xiàn)多模態(tài)融合,滿足更多“一庫多用“場景。
創(chuàng)新型數(shù)據(jù)差分隱私,強(qiáng)化數(shù)據(jù)安全
數(shù)據(jù)處理與數(shù)據(jù)安全是不可分割的,如何對(duì)個(gè)人數(shù)據(jù)的有效保護(hù)是在數(shù)據(jù)處理、數(shù)據(jù)公開、數(shù)據(jù)發(fā)布中不可繞開的一個(gè)話題。隱私保護(hù)是基于差分隱私的密碼學(xué)方法,在統(tǒng)計(jì)數(shù)據(jù)庫查詢時(shí),旨在保證數(shù)據(jù)查詢的同時(shí),最大程度減少識(shí)別個(gè)體數(shù)據(jù)的機(jī)會(huì)。
ArgoDB 5.0版本結(jié)合數(shù)據(jù)隱私安全的業(yè)務(wù)訴求,引入DP-SQL能力,實(shí)現(xiàn)對(duì)數(shù)據(jù)的隱私保護(hù),滿足數(shù)據(jù)發(fā)布、流通、脫敏、查詢、交易等場景下的數(shù)據(jù)安全要求。在交互式場景下,數(shù)據(jù)管理者可以按需對(duì)查詢請求數(shù)據(jù)集合添加必要的干擾(即:噪聲)后反饋給用戶;在非交互式場景下,數(shù)據(jù)管理者可以按需針對(duì)所有可能的查詢,在滿足一定條件下一次性發(fā)布相關(guān)查詢數(shù)據(jù)(即添加噪聲后的“凈化版”數(shù)據(jù))。
ArgoDB5.0將隱私計(jì)算與數(shù)據(jù)庫技術(shù)相結(jié)合,支持復(fù)雜分析SQL自動(dòng)優(yōu)化,易于開發(fā)人員使用。同時(shí)將加密協(xié)議結(jié)合SQL優(yōu)化技術(shù),相較于python級(jí)別實(shí)現(xiàn)執(zhí)行效率更優(yōu),支持更大數(shù)據(jù)量的隱私計(jì)算。
打破數(shù)據(jù)壁壘,增強(qiáng)湖倉集融合
隨著數(shù)據(jù)與業(yè)務(wù)的并行發(fā)展,對(duì)數(shù)據(jù)的融合分析處理逐漸成為數(shù)據(jù)庫技術(shù)發(fā)展趨勢。當(dāng)數(shù)據(jù)倉庫與數(shù)據(jù)湖數(shù)據(jù)集市協(xié)同處理時(shí),帶來的是數(shù)據(jù)孤島的打破,以及數(shù)據(jù)計(jì)算邊界的拓寬。
ArgoDB 5.0版本進(jìn)一步加強(qiáng)數(shù)據(jù)湖和數(shù)據(jù)倉庫/數(shù)據(jù)集市等業(yè)務(wù)面的技術(shù)革新。在同一平臺(tái)中,避免數(shù)據(jù)移動(dòng),將原始的、加工清洗的、模型化的數(shù)據(jù),共同存儲(chǔ)于一體化的“湖倉集”中,既能面向業(yè)務(wù)實(shí)現(xiàn)高并發(fā)、精準(zhǔn)化、高性能的歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的查詢服務(wù),又能承載分析報(bào)表、批處理、數(shù)據(jù)挖掘等分析型數(shù)據(jù)集市業(yè)務(wù),真正意義上為用戶提供湖倉集一體化的場景解決方案。
通過ArgoDB打造的湖倉集一體化方案,用戶可以基于統(tǒng)一訪問接口最大程度上降低數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市業(yè)務(wù)過程中業(yè)務(wù)接口的調(diào)整,降低用戶開發(fā)成本,提高數(shù)據(jù)處理效率。統(tǒng)一的元數(shù)據(jù)管理可以在精準(zhǔn)的ACL控制下,實(shí)現(xiàn)按需展示湖倉集內(nèi)的相關(guān)元數(shù)據(jù)的統(tǒng)一查詢,提高數(shù)據(jù)管理效率。統(tǒng)一存儲(chǔ)管理,對(duì)使用者屏蔽不同數(shù)據(jù)源的數(shù)據(jù)存儲(chǔ),降低業(yè)務(wù)數(shù)據(jù)管理難度。此外,基于ArgoDB打造的湖倉集一體化方案可以無縫銜接AI技術(shù),幫助業(yè)務(wù)挖掘更多數(shù)據(jù)價(jià)值。
KunDB3.0:高度兼容Oracle語法和PL/SQL, 實(shí)現(xiàn)OLTP數(shù)據(jù)庫國產(chǎn)化升級(jí)
Transwarp KunDB是星環(huán)科技基于分布式技術(shù)自主研發(fā)的國產(chǎn)化的交易型數(shù)據(jù)庫,提供完整的關(guān)系型數(shù)據(jù)庫的能力,高度兼容SQL,保證事務(wù)ACID。KunDB具有業(yè)內(nèi)領(lǐng)先的事務(wù)處理性能,SQL兼容性以及最新的分布式查詢優(yōu)化技術(shù),支持復(fù)雜查詢且性能是MySQL的10倍以上,充分滿足高并發(fā)、大數(shù)據(jù)量的交易型業(yè)務(wù)場景,能夠?qū)崿F(xiàn)MySQL,Oracle等傳統(tǒng)主流數(shù)據(jù)庫的國產(chǎn)化替代。獨(dú)特的混合部署技術(shù)支持主流國產(chǎn)化CPU等自主可控的硬件平臺(tái)和OS部署,滿足國產(chǎn)化部署需求。此外,KunDB提供全鏈路高可用、一致性備份恢復(fù)等容災(zāi)能力,以及完備的安全管理、資源管理能力,可以為不同業(yè)務(wù)場景保駕護(hù)航。
KunDB3.0高度兼容Oracle對(duì)象與語法,基于創(chuàng)新的過程語言編譯技術(shù),完整支持Oracle PL/SQL語法,大大降低企業(yè)國產(chǎn)化遷移成本。通過豐富查詢優(yōu)化規(guī)則和算子進(jìn)一步增強(qiáng)查詢優(yōu)化器,并結(jié)合全新的向量化執(zhí)行引擎使得分析性能在TPCH基準(zhǔn)測試中較MySQL最高優(yōu)化80倍。在事務(wù)處理能力方面,相較于KunDB2.0采用的全局事務(wù)管理器GTM方案,KunDB3.0采用基于TSO的全新分布式強(qiáng)一致事務(wù)處理框架,進(jìn)一步提升分布式事務(wù)處理能力,事務(wù)處理上限達(dá)300萬TPS,較GTM方案提升5倍以上。同時(shí)KunDB3.0也對(duì)存儲(chǔ)層性能和分布式架構(gòu)做了持續(xù)優(yōu)化,單機(jī)TPCC提升了1倍,分布式TPCC提升了60%。在容災(zāi)能力方面,KunDB3.0優(yōu)化了跨機(jī)房容災(zāi)架構(gòu),支持全鏈路高可用、一致性備份恢復(fù)等能力,故障時(shí)可恢復(fù)過去任意時(shí)間點(diǎn),充分保障數(shù)據(jù)安全。此外,KunDB3.0采用了基于分析引擎增強(qiáng)分布式事務(wù)處理引擎技術(shù)(ATEP),大幅提高了KunDB的數(shù)據(jù)分析能力,通過一個(gè)系統(tǒng)就可以同時(shí)提供高性能AP和TP服務(wù)能力,滿足交易與分析混合型業(yè)務(wù)場景。
高度兼容Oracle對(duì)象與語法,完整支持Oracle PL/SQL
KunDB3.0 對(duì)Oracle語法各個(gè)方面高度兼容,成為業(yè)內(nèi)領(lǐng)先的具備支撐Oracle業(yè)務(wù)遷移能力的國產(chǎn)數(shù)據(jù)庫。KunDB3.0高度兼容Oracle語法與PL/SQL,支持VARCHAR2、NVARCHAR2等全部類型,在PL/SQL語法上,支持控制語句、集合、動(dòng)態(tài)SQL、子程序、預(yù)定義包、錯(cuò)誤處理等全部PL/SQL語法,解決了Oracle業(yè)務(wù)遷移到國產(chǎn)化數(shù)據(jù)庫的核心痛點(diǎn),為其它兼容性完善提供了基礎(chǔ)。在Oracle數(shù)據(jù)庫對(duì)象、DML、函數(shù)、系統(tǒng)視圖、內(nèi)置包、驅(qū)動(dòng)等方面,做到了常用功能的兼容,滿足大部分業(yè)務(wù)的遷移需求,極大降低了企業(yè)業(yè)務(wù)遷移成本。
KunDB3.0采用創(chuàng)新的過程語言編譯技術(shù)及中間優(yōu)化語言TIR,完整支持Oracle PL/SQL語法,并在4類技術(shù)場景實(shí)現(xiàn)創(chuàng)新和性能提升。
為了支持多個(gè)數(shù)據(jù)庫方言,傳統(tǒng)解釋器方式導(dǎo)致重復(fù)工作量會(huì)很大。KunDB3.0通過統(tǒng)一的中間優(yōu)化語言TIR,表達(dá)任意的過程式語義及SQL語義,支持multi pass編譯與LLVM IR組合,低偶合、低成本的擴(kuò)展不同數(shù)據(jù)庫PL/SQL語法體系
傳統(tǒng)技術(shù)將PL/SQL翻譯成函數(shù)執(zhí)行方式,沒有控制流代碼優(yōu)化空間。KunDB3.0通過轉(zhuǎn)譯LLVM,將PL/SQL轉(zhuǎn)為底層語法,可以與llvm的 multi pass優(yōu)化結(jié)合,增加代碼優(yōu)化規(guī)則,從而優(yōu)化存儲(chǔ)過程的執(zhí)行
傳統(tǒng)翻譯成函數(shù)執(zhí)行的方式,無法進(jìn)一步實(shí)現(xiàn)編譯執(zhí)行。KunDB3.0引入統(tǒng)一表達(dá)式處理引擎技術(shù),SQL與PL/SQL可復(fù)用編譯優(yōu)化,實(shí)現(xiàn)方式上比Oracle更加簡潔,同時(shí)節(jié)省了開發(fā)成本
傳統(tǒng)的異常處理無法實(shí)現(xiàn)零開銷。KunDB3.0參考LLVM的landing pad技術(shù),實(shí)現(xiàn)零開銷的異常處理系統(tǒng)。
全新的查詢優(yōu)化器和向量化執(zhí)行引擎,復(fù)雜分析性能提升10倍
KunDB從2.0到3.0的迭代中,為了更加友好的支持跨分片的復(fù)雜查詢分析,提升AP能力,KunDB基于火山模型重新設(shè)計(jì)了查詢優(yōu)化器,面向分布式存儲(chǔ)豐富了查詢優(yōu)化的規(guī)則,包括了分片下推、子查詢?nèi)リP(guān)聯(lián)化等十多種查詢優(yōu)化規(guī)則,相應(yīng)的擴(kuò)展和優(yōu)化了block hash join、Index Lookup Join等二十多個(gè)算子,TPCH 子查詢性能相比于KunDB2.0均有大幅度提升,最高提升了近20倍。
KunDB3.0使用了全新的向量化執(zhí)行引擎,在內(nèi)存中使用列存儲(chǔ)的方式對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換存儲(chǔ)后再進(jìn)行計(jì)算,相比于內(nèi)存行式數(shù)據(jù)管理,在內(nèi)存資源占用、分析函數(shù)實(shí)現(xiàn)、表達(dá)式求值性能、壓縮支持上都更加具有優(yōu)勢。另一方面,執(zhí)行引擎基于多協(xié)程技術(shù),采用了基于流水線的并行處理框架,支持并行的數(shù)據(jù)掃描、算子間數(shù)據(jù)交換、算子計(jì)算、結(jié)果集返回等全鏈路過程,對(duì)于數(shù)據(jù)可分拆執(zhí)行的場景,性能有大幅提升。同樣的數(shù)據(jù)規(guī)模下以TPCH測試為參考,KunDB分析性能較MysQL有大幅度提升,22個(gè)Query最高性能提升可達(dá)到MySQL的近80倍。
基于TSO的全新分布式強(qiáng)一致事務(wù)處理,集群事務(wù)處理能力提升1倍
在分布式事務(wù)處理上,KunDB3.0使用基于全局時(shí)間戳的事務(wù)處理框架來代替2.0的全局事務(wù)管理器GTM方案。分布式層引入了TSO服務(wù)器分配時(shí)間戳,采用XA協(xié)議和時(shí)間戳優(yōu)化2PC保證分布式原子性寫,分布式事務(wù)開銷降低50%。基于事務(wù)提交時(shí)間戳可做到副本全局一致性讀,實(shí)現(xiàn)保證事務(wù)的讀寫分離。存儲(chǔ)層可基于當(dāng)前時(shí)間戳和數(shù)據(jù)時(shí)間戳做全局一致性讀判斷,不依賴全局快照,性能更高,減輕中心化風(fēng)險(xiǎn)。KunDB3.0集群的事務(wù)處理上限提升了6倍,達(dá)到300萬TPS,完全滿足頭部互聯(lián)網(wǎng)業(yè)務(wù)場景的性能需求。
此外,KunDB3.0也對(duì)存儲(chǔ)層性能和分布式架構(gòu)做了持續(xù)優(yōu)化。存儲(chǔ)層采用了面向內(nèi)存的數(shù)據(jù)存儲(chǔ)與管理、無鎖內(nèi)存索引技術(shù)、悲觀與樂觀結(jié)合的并發(fā)控制技術(shù)、并行查詢技術(shù),實(shí)現(xiàn)了存儲(chǔ)層性能接近1倍的提升。結(jié)合分布式層在通信鏈路優(yōu)化為基于MySQL協(xié)議的通信,放棄了高開銷的grpc通信;元數(shù)據(jù)存儲(chǔ)的改造為高吞吐的關(guān)系型存儲(chǔ),以及減少組件、管理組件精簡為一個(gè)全局服務(wù),優(yōu)化了分布式層的開銷。在4分片的拓?fù)湎拢琓PCC性能較2.0提升了60%。
跨機(jī)房容災(zāi)架構(gòu),任意時(shí)間點(diǎn)全局一致性恢復(fù)
在容災(zāi)方面,KunDB優(yōu)化了跨機(jī)房容災(zāi)架構(gòu),支持全鏈路高可用和全局一致性恢復(fù)。計(jì)算引擎完全無狀態(tài),擴(kuò)展便捷,可實(shí)現(xiàn)多節(jié)點(diǎn)部署;存儲(chǔ)引擎支持主備/Paxos復(fù)制,支持故障時(shí)主備切換;元數(shù)據(jù)服務(wù)也都是基于多數(shù)派協(xié)議支持故障時(shí)自動(dòng)選主,實(shí)際部署時(shí)避免了單節(jié)點(diǎn)部署的風(fēng)險(xiǎn)。通過跨機(jī)房的副本數(shù)據(jù)強(qiáng)同步,保證了機(jī)房級(jí)故障時(shí),恢復(fù)點(diǎn)目標(biāo)RPO=0。
通過副本可讀技術(shù),最大化利用每個(gè)角色提升系統(tǒng)吞吐,并且支持基于業(yè)務(wù)負(fù)載和組件健康狀態(tài)的路由變化,提升系統(tǒng)穩(wěn)定性。
KunDB3.0支持物理備份與實(shí)時(shí)binlog備份,故障時(shí)可恢復(fù)過去任意時(shí)間點(diǎn)。新增的一致性備份恢復(fù)能力,基于時(shí)間戳信息保障數(shù)據(jù)庫恢復(fù)到最新的一致性點(diǎn),避免了分布式數(shù)據(jù)庫恢復(fù)后需要人為參與事務(wù)點(diǎn)對(duì)齊的難題。各分片獨(dú)立并發(fā)備份,每分鐘完成數(shù)GB數(shù)據(jù)備份,在高并發(fā)核心系統(tǒng)中,能夠有效降低備份對(duì)業(yè)務(wù)的影響。
保證全局事務(wù)的一體化實(shí)時(shí)AETP,同時(shí)提供高性能交易與分析服務(wù)能力
中國信通院2021年數(shù)據(jù)發(fā)展研究報(bào)告中指出,企業(yè)通常維護(hù)不同數(shù)據(jù)庫來支持聯(lián)機(jī)事務(wù)處理(OLTP)與聯(lián)機(jī)分析處理(OLAP)任務(wù),管理和維護(hù)成本高。基于創(chuàng)新的計(jì)算存儲(chǔ)框架的HTAP 數(shù)據(jù)庫,能夠基于同一套引擎同時(shí)支撐業(yè)務(wù)系統(tǒng)運(yùn)行和分析決策場景,避免在傳統(tǒng)架構(gòu)中,在線與離線數(shù)據(jù)庫之間大量的數(shù)據(jù)交互,成為未來數(shù)據(jù)庫發(fā)展的趨勢之一。
KunDB3.0采用了基于分析引擎增強(qiáng)分布式事務(wù)處理引擎技術(shù)(ATEP),大幅提高了KunDB的數(shù)據(jù)分析能力,通過一個(gè)系統(tǒng)就可以同時(shí)提供高性能AP和TP服務(wù)能力。
對(duì)外提供統(tǒng)一的SQL引擎作為統(tǒng)一入口,簡化用戶操作,數(shù)據(jù)在庫內(nèi)即可自動(dòng)同步、轉(zhuǎn)換,不需要繁瑣的ETL組件和ETL過程,數(shù)據(jù)無需出庫即可完成計(jì)算。同時(shí)提供統(tǒng)一數(shù)據(jù)類型和方言支持,將多種數(shù)據(jù)庫語言變?yōu)橐环N語言,大大降低開發(fā)和遷移成本。
針對(duì)不同程度的分析負(fù)載,通過全局優(yōu)化器自動(dòng)識(shí)別SQL,利用不同的引擎進(jìn)行處理,TP引擎和AP引擎根據(jù)工作負(fù)載做自動(dòng)路由和自動(dòng)查詢優(yōu)化,如針對(duì)復(fù)雜加工邏輯,則使用AP引擎分布式計(jì)算能力直接讀取KunDB上的數(shù)據(jù)進(jìn)行復(fù)雜計(jì)算;針對(duì)高并發(fā)明細(xì)檢索,則使用TP引擎提供服務(wù)。
使用行列混合存儲(chǔ)方案,列存提供給AP引擎支持高性能分析,同時(shí)列存作為TP庫的只讀副本,實(shí)時(shí)從行存同步事務(wù)最新數(shù)據(jù)庫,延遲低于10s,保證了數(shù)據(jù)分析的時(shí)效性和全局一致性讀。
對(duì)于已經(jīng)部署了ArgoDB或KunDB的用戶,可以直接升級(jí)到AETP數(shù)據(jù)庫,無需改造業(yè)務(wù)和數(shù)據(jù)庫的交互方式,實(shí)現(xiàn)快速平滑升級(jí)。
通過不斷的打磨和對(duì)業(yè)務(wù)場景不斷的落地實(shí)踐,星環(huán)科技關(guān)系型數(shù)據(jù)庫ArgoDB和KunDB已經(jīng)在金融、政務(wù)、能源、醫(yī)療、交通等多個(gè)行業(yè)應(yīng)用,成功替代Oracle、MySQL等傳統(tǒng)業(yè)務(wù)數(shù)據(jù)庫。未來,星環(huán)科技將繼續(xù)深耕數(shù)據(jù)庫領(lǐng)域,通過不斷的技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新,為用戶提供更完備功能,更高性能、更穩(wěn)定可靠的國產(chǎn)化數(shù)據(jù)庫產(chǎn)品。
-
存儲(chǔ)
+關(guān)注
關(guān)注
13文章
4510瀏覽量
87188 -
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3905瀏覽量
65899 -
星環(huán)科技
+關(guān)注
關(guān)注
0文章
37瀏覽量
2743
發(fā)布評(píng)論請先 登錄
全國產(chǎn)化!這款A(yù)I智能模組很硬核

中軟國際數(shù)據(jù)庫工具助力企業(yè)高效完成數(shù)據(jù)遷移
自主創(chuàng)新,龍芯ATX主板助力國產(chǎn)化升級(jí)
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)——MongoDB數(shù)據(jù)庫文件拷貝后服務(wù)無法啟動(dòng)的數(shù)據(jù)恢復(fù)

中興通訊GoldenDB數(shù)據(jù)庫助力首個(gè)住房公積金國產(chǎn)數(shù)據(jù)庫聯(lián)合實(shí)驗(yàn)室落地?fù)P州
分布式云化數(shù)據(jù)庫有哪些類型
云數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?
國產(chǎn)化,更可控 智微工業(yè)JVC國產(chǎn)化系列嵌入式工控機(jī)
金倉數(shù)據(jù)庫支撐全國首例軌道交通ACC與ITP同步國產(chǎn)化項(xiàng)目上線

數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復(fù)流程

中軟國際亮相2024國產(chǎn)數(shù)據(jù)庫創(chuàng)新生態(tài)大會(huì)
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—通過拼接數(shù)據(jù)庫碎片恢復(fù)SQLserver數(shù)據(jù)庫

數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫出現(xiàn)823錯(cuò)誤的數(shù)據(jù)恢復(fù)案例

啟明信息完成國產(chǎn)化Doris數(shù)據(jù)庫升級(jí)替代任務(wù)
軟通動(dòng)力數(shù)據(jù)庫全棧服務(wù),助力企業(yè)數(shù)據(jù)庫體系全面升級(jí)

評(píng)論