在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

星環(huán)科技正式發(fā)布ArgoDB5.0和KunDB3.0 助力數(shù)據(jù)庫國產(chǎn)化升級(jí)

科技綠洲 ? 來源:星環(huán)科技 ? 作者:星環(huán)科技 ? 2022-04-26 15:32 ? 次閱讀

星環(huán)科技自成立以來,一直致力于國產(chǎn)化數(shù)據(jù)庫的自主研發(fā),打造了自主可控的高性能分布式分析型數(shù)據(jù)庫ArgoDB和分布式交易型數(shù)據(jù)庫KunDB。交易型數(shù)據(jù)庫KunDB具備較強(qiáng)的SQL兼容性,同時(shí)具備高可用、高并發(fā)、在線擴(kuò)縮容、數(shù)據(jù)強(qiáng)一致性等能力,適用于操作型業(yè)務(wù)、高并發(fā)業(yè)務(wù)等場景。多模型數(shù)據(jù)庫ArgoDB具備完整的SQL兼容性,同時(shí)具備高擴(kuò)展、高可靠、多模型、存算解耦等能力,一站式滿足數(shù)據(jù)倉庫、實(shí)時(shí)數(shù)據(jù)倉庫、數(shù)據(jù)集市、OLAP、聯(lián)邦計(jì)算等場景。

通過不斷的打磨和對(duì)業(yè)務(wù)場景不斷的落地實(shí)踐,ArgoDB和KunDB已成為具有完全自主知識(shí)產(chǎn)權(quán)的成熟的國產(chǎn)數(shù)據(jù)庫,能夠?yàn)楦嗟目蛻籼峁└咝阅堋⒏呖煽俊⒊墒斓臄?shù)據(jù)庫產(chǎn)品服務(wù),幫助用戶應(yīng)對(duì)智能數(shù)據(jù)時(shí)代海量數(shù)據(jù)的分析與探索。

近日,星環(huán)科技正式發(fā)布了ArgoDB5.0和KunDB3.0,并將其結(jié)合打造了一體化實(shí)時(shí)AETP技術(shù)(分析增強(qiáng)型交易庫),在一個(gè)數(shù)據(jù)庫系統(tǒng)里同時(shí)支撐交易與分析混合型業(yè)務(wù)場景,助力數(shù)據(jù)庫國產(chǎn)化升級(jí)。

ArgoDB5.0:存算引擎雙升級(jí),打造高性能湖倉集一體化多模型數(shù)據(jù)庫

Transwarp ArgoDB 是星環(huán)科技自主研發(fā)的面向數(shù)據(jù)分析型業(yè)務(wù)場景的國產(chǎn)化分布式多模數(shù)據(jù)庫,能夠一站式替代Hadoop+MPP混合架構(gòu),提供多模分析、實(shí)時(shí)數(shù)據(jù)處理、存算解耦、混合負(fù)載、數(shù)據(jù)聯(lián)邦、異構(gòu)服務(wù)器混合部署等先進(jìn)技術(shù)能力,一站式滿足數(shù)據(jù)倉庫、實(shí)時(shí)數(shù)據(jù)倉庫、數(shù)據(jù)集市、OLAP、聯(lián)邦計(jì)算等各種需求。2019年8月,ArgoDB成為全球第四個(gè)通過TPC-DS基準(zhǔn)測試并經(jīng)過TPC官方審計(jì)的數(shù)據(jù)庫產(chǎn)品。

ArgoDB5.0打造了新一代向量化計(jì)算引擎和多模型存儲(chǔ)引擎,整體分析性能大幅度提升。ArgoDB5.0進(jìn)一步加強(qiáng)了多模型數(shù)據(jù)的支持能力和處理能力,通過一個(gè)數(shù)據(jù)庫就可以滿足更多數(shù)據(jù)模型處理和不同模態(tài)數(shù)據(jù)關(guān)聯(lián)。同時(shí),ArgoDB5.0引入DP-SQL能力,實(shí)現(xiàn)對(duì)數(shù)據(jù)的隱私保護(hù),滿足數(shù)據(jù)發(fā)布、流通、脫敏、查詢、交易等場景下的數(shù)據(jù)安全要求。在數(shù)據(jù)資產(chǎn)安全保障上,5.0版本繼續(xù)加強(qiáng)了數(shù)據(jù)容災(zāi)備份能力,通過細(xì)粒度、高并發(fā)、高效率的容災(zāi)備份能力,進(jìn)一步提升數(shù)據(jù)安全保障能力。此外,ArgoDB 5.0進(jìn)一步加強(qiáng)數(shù)據(jù)湖和數(shù)據(jù)倉庫/數(shù)據(jù)集市等業(yè)務(wù)面的技術(shù)革新,增強(qiáng)湖倉集融合能力,通過統(tǒng)一訪問接口、統(tǒng)一存儲(chǔ)、統(tǒng)一元數(shù)據(jù)管理等能力,真正意義上為用戶提供湖倉集一體化的場景解決方案。

新一代向量化計(jì)算引擎和多模存儲(chǔ)引擎,分析性能是同類數(shù)據(jù)庫產(chǎn)品的2~10倍

ArgoDB 5.0在原高效的計(jì)算引擎之上,將計(jì)算算子全向量化native改寫,使得高并發(fā)復(fù)雜分析在百毫秒內(nèi)反饋結(jié)果,將優(yōu)化器中引入數(shù)據(jù)的動(dòng)態(tài)采樣,全面支持多種join的重寫。同時(shí)結(jié)合業(yè)務(wù)場景,優(yōu)化場景化能力,重點(diǎn)在湖倉一體的SQL管理上進(jìn)行了優(yōu)化,并且新增隱私計(jì)算能力和數(shù)據(jù)動(dòng)態(tài)脫敏能力,增強(qiáng)數(shù)據(jù)聯(lián)邦場景中SQL語句算子下推能力等。

在存儲(chǔ)引擎方面,ArgoDB 5.0繼續(xù)深耕分布式存儲(chǔ)框架與列式存儲(chǔ)引擎的優(yōu)化,在降低業(yè)務(wù)資源消耗的同時(shí)提升多模型能力和業(yè)務(wù)性能。相對(duì)于上一代批量掃描性能提升了10倍以上,同時(shí)降低業(yè)務(wù)SQL資源(IO等)的使用,提升系統(tǒng)穩(wěn)定性和業(yè)務(wù)效率。對(duì)于實(shí)時(shí)數(shù)倉場景,數(shù)據(jù)延遲控制在毫秒級(jí),并且支持高并發(fā)分析。在大集群場景下,支持百萬級(jí)別的表和百萬級(jí)別的元信息管理,穩(wěn)定性進(jìn)一步提升。

基于存算雙引擎的升級(jí),ArgoDB 5.0在性能上有大幅度的提升,尤其是OLAP分析場景下的性能提升,無論是單表查詢還是多表關(guān)聯(lián)場景,ArgoDB都具備有明顯的性能優(yōu)勢,整體上是同類數(shù)據(jù)庫產(chǎn)品的2-10倍,幫助用戶更快、更穩(wěn)定地應(yīng)對(duì)復(fù)雜多變的業(yè)務(wù)需求。

多模數(shù)據(jù)融合分析,更高效地滿足”一庫多用“場景

隨著業(yè)務(wù)數(shù)據(jù)量不斷增長的同時(shí),數(shù)據(jù)結(jié)構(gòu)也變得越來越靈活多樣,數(shù)據(jù)不再局限于規(guī)整的結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)域處理中的占比逐年上升,因此對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行智能化數(shù)據(jù)處理的需求越來越迫切。

多模型數(shù)據(jù)庫ArgoDB繼3.2版本新增支持大對(duì)象數(shù)據(jù)類型Blob和Clob,用來存儲(chǔ)、查詢和處理圖片、電子文檔、音頻視頻等非結(jié)構(gòu)化數(shù)據(jù)后,ArgoDB 5.0新增對(duì)半結(jié)構(gòu)化的JSON/JSONB/XML數(shù)據(jù)類型的支持,滿足了更多數(shù)據(jù)模型處理場景和更多復(fù)雜業(yè)務(wù)需求。

同時(shí),ArgoDB 5.0進(jìn)一步加強(qiáng)了對(duì)多模態(tài)數(shù)據(jù)的處理能力,在優(yōu)化器上進(jìn)一步深耕,對(duì)不同模態(tài)數(shù)據(jù)基于代價(jià)/規(guī)則等自動(dòng)判斷選擇合理高效模型,拆分、分發(fā)計(jì)算任務(wù),讓數(shù)據(jù)處理更加快捷和高效。

在架構(gòu)上,ArgoDB基于存算解耦,實(shí)現(xiàn)了多模數(shù)據(jù)庫的“四個(gè)統(tǒng)一”:

統(tǒng)一的SQL編譯引擎,支持SQL 99/2003 標(biāo)準(zhǔn)語法,兼容TD,Oracle,DB2等多種方言,對(duì)不同模式的數(shù)據(jù)提供統(tǒng)一接口,將多個(gè)操作訪問入口變?yōu)橐粋€(gè)入口,將多種數(shù)據(jù)庫語言變?yōu)橐环N語言,降低開發(fā)和遷移成本,簡化用戶操作。

統(tǒng)一的計(jì)算引擎,將多套計(jì)算引擎變?yōu)橐惶滓妫瑢⒍喾萦?jì)算資源變?yōu)橐环葙Y源,提供高性能的分析計(jì)算和執(zhí)行效率,滿足跨模型數(shù)據(jù)復(fù)雜關(guān)聯(lián)分析場景。

統(tǒng)一的存儲(chǔ)管理系統(tǒng),同時(shí)支持分析型行列混合存儲(chǔ)、支持具有搜索功能的文本存儲(chǔ)等多模異構(gòu)存儲(chǔ),并保證數(shù)據(jù)的強(qiáng)一致性,數(shù)據(jù)只需一次入庫,即可通過異構(gòu)存儲(chǔ)的訪問能力支撐多樣化復(fù)雜分析場景,降低運(yùn)維成本,將分散存儲(chǔ)管理變?yōu)榻y(tǒng)一存儲(chǔ)管理,極大簡化系統(tǒng)架構(gòu),減少開發(fā)運(yùn)維成本。

統(tǒng)一的星環(huán)云原生操作系統(tǒng),支持 ARM+X86的混合架構(gòu),用戶可以利舊硬件,大幅降低成本。

ArgoDB5.0通過統(tǒng)一的元數(shù)據(jù)管理、統(tǒng)一的事務(wù)管理和完備的多模優(yōu)化器支撐了對(duì)不同模態(tài)數(shù)據(jù)的統(tǒng)一讀取調(diào)度,實(shí)現(xiàn)多模態(tài)融合,滿足更多“一庫多用“場景。

創(chuàng)新型數(shù)據(jù)差分隱私,強(qiáng)化數(shù)據(jù)安全

數(shù)據(jù)處理與數(shù)據(jù)安全是不可分割的,如何對(duì)個(gè)人數(shù)據(jù)的有效保護(hù)是在數(shù)據(jù)處理、數(shù)據(jù)公開、數(shù)據(jù)發(fā)布中不可繞開的一個(gè)話題。隱私保護(hù)是基于差分隱私的密碼學(xué)方法,在統(tǒng)計(jì)數(shù)據(jù)庫查詢時(shí),旨在保證數(shù)據(jù)查詢的同時(shí),最大程度減少識(shí)別個(gè)體數(shù)據(jù)的機(jī)會(huì)。

ArgoDB 5.0版本結(jié)合數(shù)據(jù)隱私安全的業(yè)務(wù)訴求,引入DP-SQL能力,實(shí)現(xiàn)對(duì)數(shù)據(jù)的隱私保護(hù),滿足數(shù)據(jù)發(fā)布、流通、脫敏、查詢、交易等場景下的數(shù)據(jù)安全要求。在交互式場景下,數(shù)據(jù)管理者可以按需對(duì)查詢請求數(shù)據(jù)集合添加必要的干擾(即:噪聲)后反饋給用戶;在非交互式場景下,數(shù)據(jù)管理者可以按需針對(duì)所有可能的查詢,在滿足一定條件下一次性發(fā)布相關(guān)查詢數(shù)據(jù)(即添加噪聲后的“凈化版”數(shù)據(jù))。

ArgoDB5.0將隱私計(jì)算與數(shù)據(jù)庫技術(shù)相結(jié)合,支持復(fù)雜分析SQL自動(dòng)優(yōu)化,易于開發(fā)人員使用。同時(shí)將加密協(xié)議結(jié)合SQL優(yōu)化技術(shù),相較于python級(jí)別實(shí)現(xiàn)執(zhí)行效率更優(yōu),支持更大數(shù)據(jù)量的隱私計(jì)算。

打破數(shù)據(jù)壁壘,增強(qiáng)湖倉集融合

隨著數(shù)據(jù)與業(yè)務(wù)的并行發(fā)展,對(duì)數(shù)據(jù)的融合分析處理逐漸成為數(shù)據(jù)庫技術(shù)發(fā)展趨勢。當(dāng)數(shù)據(jù)倉庫與數(shù)據(jù)湖數(shù)據(jù)集市協(xié)同處理時(shí),帶來的是數(shù)據(jù)孤島的打破,以及數(shù)據(jù)計(jì)算邊界的拓寬。

ArgoDB 5.0版本進(jìn)一步加強(qiáng)數(shù)據(jù)湖和數(shù)據(jù)倉庫/數(shù)據(jù)集市等業(yè)務(wù)面的技術(shù)革新。在同一平臺(tái)中,避免數(shù)據(jù)移動(dòng),將原始的、加工清洗的、模型化的數(shù)據(jù),共同存儲(chǔ)于一體化的“湖倉集”中,既能面向業(yè)務(wù)實(shí)現(xiàn)高并發(fā)、精準(zhǔn)化、高性能的歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的查詢服務(wù),又能承載分析報(bào)表、批處理、數(shù)據(jù)挖掘等分析型數(shù)據(jù)集市業(yè)務(wù),真正意義上為用戶提供湖倉集一體化的場景解決方案。

通過ArgoDB打造的湖倉集一體化方案,用戶可以基于統(tǒng)一訪問接口最大程度上降低數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市業(yè)務(wù)過程中業(yè)務(wù)接口的調(diào)整,降低用戶開發(fā)成本,提高數(shù)據(jù)處理效率。統(tǒng)一的元數(shù)據(jù)管理可以在精準(zhǔn)的ACL控制下,實(shí)現(xiàn)按需展示湖倉集內(nèi)的相關(guān)元數(shù)據(jù)的統(tǒng)一查詢,提高數(shù)據(jù)管理效率。統(tǒng)一存儲(chǔ)管理,對(duì)使用者屏蔽不同數(shù)據(jù)源的數(shù)據(jù)存儲(chǔ),降低業(yè)務(wù)數(shù)據(jù)管理難度。此外,基于ArgoDB打造的湖倉集一體化方案可以無縫銜接AI技術(shù),幫助業(yè)務(wù)挖掘更多數(shù)據(jù)價(jià)值。

KunDB3.0:高度兼容Oracle語法和PL/SQL, 實(shí)現(xiàn)OLTP數(shù)據(jù)庫國產(chǎn)化升級(jí)

Transwarp KunDB是星環(huán)科技基于分布式技術(shù)自主研發(fā)的國產(chǎn)化的交易型數(shù)據(jù)庫,提供完整的關(guān)系型數(shù)據(jù)庫的能力,高度兼容SQL,保證事務(wù)ACID。KunDB具有業(yè)內(nèi)領(lǐng)先的事務(wù)處理性能,SQL兼容性以及最新的分布式查詢優(yōu)化技術(shù),支持復(fù)雜查詢且性能是MySQL的10倍以上,充分滿足高并發(fā)、大數(shù)據(jù)量的交易型業(yè)務(wù)場景,能夠?qū)崿F(xiàn)MySQL,Oracle等傳統(tǒng)主流數(shù)據(jù)庫的國產(chǎn)化替代。獨(dú)特的混合部署技術(shù)支持主流國產(chǎn)化CPU等自主可控的硬件平臺(tái)和OS部署,滿足國產(chǎn)化部署需求。此外,KunDB提供全鏈路高可用、一致性備份恢復(fù)等容災(zāi)能力,以及完備的安全管理、資源管理能力,可以為不同業(yè)務(wù)場景保駕護(hù)航。

KunDB3.0高度兼容Oracle對(duì)象與語法,基于創(chuàng)新的過程語言編譯技術(shù),完整支持Oracle PL/SQL語法,大大降低企業(yè)國產(chǎn)化遷移成本。通過豐富查詢優(yōu)化規(guī)則和算子進(jìn)一步增強(qiáng)查詢優(yōu)化器,并結(jié)合全新的向量化執(zhí)行引擎使得分析性能在TPCH基準(zhǔn)測試中較MySQL最高優(yōu)化80倍。在事務(wù)處理能力方面,相較于KunDB2.0采用的全局事務(wù)管理器GTM方案,KunDB3.0采用基于TSO的全新分布式強(qiáng)一致事務(wù)處理框架,進(jìn)一步提升分布式事務(wù)處理能力,事務(wù)處理上限達(dá)300萬TPS,較GTM方案提升5倍以上。同時(shí)KunDB3.0也對(duì)存儲(chǔ)層性能和分布式架構(gòu)做了持續(xù)優(yōu)化,單機(jī)TPCC提升了1倍,分布式TPCC提升了60%。在容災(zāi)能力方面,KunDB3.0優(yōu)化了跨機(jī)房容災(zāi)架構(gòu),支持全鏈路高可用、一致性備份恢復(fù)等能力,故障時(shí)可恢復(fù)過去任意時(shí)間點(diǎn),充分保障數(shù)據(jù)安全。此外,KunDB3.0采用了基于分析引擎增強(qiáng)分布式事務(wù)處理引擎技術(shù)(ATEP),大幅提高了KunDB的數(shù)據(jù)分析能力,通過一個(gè)系統(tǒng)就可以同時(shí)提供高性能AP和TP服務(wù)能力,滿足交易與分析混合型業(yè)務(wù)場景。

高度兼容Oracle對(duì)象與語法,完整支持Oracle PL/SQL

KunDB3.0 對(duì)Oracle語法各個(gè)方面高度兼容,成為業(yè)內(nèi)領(lǐng)先的具備支撐Oracle業(yè)務(wù)遷移能力的國產(chǎn)數(shù)據(jù)庫。KunDB3.0高度兼容Oracle語法與PL/SQL,支持VARCHAR2、NVARCHAR2等全部類型,在PL/SQL語法上,支持控制語句、集合、動(dòng)態(tài)SQL、子程序、預(yù)定義包、錯(cuò)誤處理等全部PL/SQL語法,解決了Oracle業(yè)務(wù)遷移到國產(chǎn)化數(shù)據(jù)庫的核心痛點(diǎn),為其它兼容性完善提供了基礎(chǔ)。在Oracle數(shù)據(jù)庫對(duì)象、DML、函數(shù)、系統(tǒng)視圖、內(nèi)置包、驅(qū)動(dòng)等方面,做到了常用功能的兼容,滿足大部分業(yè)務(wù)的遷移需求,極大降低了企業(yè)業(yè)務(wù)遷移成本。

KunDB3.0采用創(chuàng)新的過程語言編譯技術(shù)及中間優(yōu)化語言TIR,完整支持Oracle PL/SQL語法,并在4類技術(shù)場景實(shí)現(xiàn)創(chuàng)新和性能提升。

為了支持多個(gè)數(shù)據(jù)庫方言,傳統(tǒng)解釋器方式導(dǎo)致重復(fù)工作量會(huì)很大。KunDB3.0通過統(tǒng)一的中間優(yōu)化語言TIR,表達(dá)任意的過程式語義及SQL語義,支持multi pass編譯與LLVM IR組合,低偶合、低成本的擴(kuò)展不同數(shù)據(jù)庫PL/SQL語法體系

傳統(tǒng)技術(shù)將PL/SQL翻譯成函數(shù)執(zhí)行方式,沒有控制流代碼優(yōu)化空間。KunDB3.0通過轉(zhuǎn)譯LLVM,將PL/SQL轉(zhuǎn)為底層語法,可以與llvm的 multi pass優(yōu)化結(jié)合,增加代碼優(yōu)化規(guī)則,從而優(yōu)化存儲(chǔ)過程的執(zhí)行

傳統(tǒng)翻譯成函數(shù)執(zhí)行的方式,無法進(jìn)一步實(shí)現(xiàn)編譯執(zhí)行。KunDB3.0引入統(tǒng)一表達(dá)式處理引擎技術(shù),SQL與PL/SQL可復(fù)用編譯優(yōu)化,實(shí)現(xiàn)方式上比Oracle更加簡潔,同時(shí)節(jié)省了開發(fā)成本

傳統(tǒng)的異常處理無法實(shí)現(xiàn)零開銷。KunDB3.0參考LLVM的landing pad技術(shù),實(shí)現(xiàn)零開銷的異常處理系統(tǒng)。

全新的查詢優(yōu)化器和向量化執(zhí)行引擎,復(fù)雜分析性能提升10倍

KunDB從2.0到3.0的迭代中,為了更加友好的支持跨分片的復(fù)雜查詢分析,提升AP能力,KunDB基于火山模型重新設(shè)計(jì)了查詢優(yōu)化器,面向分布式存儲(chǔ)豐富了查詢優(yōu)化的規(guī)則,包括了分片下推、子查詢?nèi)リP(guān)聯(lián)化等十多種查詢優(yōu)化規(guī)則,相應(yīng)的擴(kuò)展和優(yōu)化了block hash join、Index Lookup Join等二十多個(gè)算子,TPCH 子查詢性能相比于KunDB2.0均有大幅度提升,最高提升了近20倍。

KunDB3.0使用了全新的向量化執(zhí)行引擎,在內(nèi)存中使用列存儲(chǔ)的方式對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換存儲(chǔ)后再進(jìn)行計(jì)算,相比于內(nèi)存行式數(shù)據(jù)管理,在內(nèi)存資源占用、分析函數(shù)實(shí)現(xiàn)、表達(dá)式求值性能、壓縮支持上都更加具有優(yōu)勢。另一方面,執(zhí)行引擎基于多協(xié)程技術(shù),采用了基于流水線的并行處理框架,支持并行的數(shù)據(jù)掃描、算子間數(shù)據(jù)交換、算子計(jì)算、結(jié)果集返回等全鏈路過程,對(duì)于數(shù)據(jù)可分拆執(zhí)行的場景,性能有大幅提升。同樣的數(shù)據(jù)規(guī)模下以TPCH測試為參考,KunDB分析性能較MysQL有大幅度提升,22個(gè)Query最高性能提升可達(dá)到MySQL的近80倍。

基于TSO的全新分布式強(qiáng)一致事務(wù)處理,集群事務(wù)處理能力提升1倍

在分布式事務(wù)處理上,KunDB3.0使用基于全局時(shí)間戳的事務(wù)處理框架來代替2.0的全局事務(wù)管理器GTM方案。分布式層引入了TSO服務(wù)器分配時(shí)間戳,采用XA協(xié)議和時(shí)間戳優(yōu)化2PC保證分布式原子性寫,分布式事務(wù)開銷降低50%。基于事務(wù)提交時(shí)間戳可做到副本全局一致性讀,實(shí)現(xiàn)保證事務(wù)的讀寫分離。存儲(chǔ)層可基于當(dāng)前時(shí)間戳和數(shù)據(jù)時(shí)間戳做全局一致性讀判斷,不依賴全局快照,性能更高,減輕中心化風(fēng)險(xiǎn)。KunDB3.0集群的事務(wù)處理上限提升了6倍,達(dá)到300萬TPS,完全滿足頭部互聯(lián)網(wǎng)業(yè)務(wù)場景的性能需求。

此外,KunDB3.0也對(duì)存儲(chǔ)層性能和分布式架構(gòu)做了持續(xù)優(yōu)化。存儲(chǔ)層采用了面向內(nèi)存的數(shù)據(jù)存儲(chǔ)與管理、無鎖內(nèi)存索引技術(shù)、悲觀與樂觀結(jié)合的并發(fā)控制技術(shù)、并行查詢技術(shù),實(shí)現(xiàn)了存儲(chǔ)層性能接近1倍的提升。結(jié)合分布式層在通信鏈路優(yōu)化為基于MySQL協(xié)議的通信,放棄了高開銷的grpc通信;元數(shù)據(jù)存儲(chǔ)的改造為高吞吐的關(guān)系型存儲(chǔ),以及減少組件、管理組件精簡為一個(gè)全局服務(wù),優(yōu)化了分布式層的開銷。在4分片的拓?fù)湎拢琓PCC性能較2.0提升了60%。

跨機(jī)房容災(zāi)架構(gòu),任意時(shí)間點(diǎn)全局一致性恢復(fù)

在容災(zāi)方面,KunDB優(yōu)化了跨機(jī)房容災(zāi)架構(gòu),支持全鏈路高可用和全局一致性恢復(fù)。計(jì)算引擎完全無狀態(tài),擴(kuò)展便捷,可實(shí)現(xiàn)多節(jié)點(diǎn)部署;存儲(chǔ)引擎支持主備/Paxos復(fù)制,支持故障時(shí)主備切換;元數(shù)據(jù)服務(wù)也都是基于多數(shù)派協(xié)議支持故障時(shí)自動(dòng)選主,實(shí)際部署時(shí)避免了單節(jié)點(diǎn)部署的風(fēng)險(xiǎn)。通過跨機(jī)房的副本數(shù)據(jù)強(qiáng)同步,保證了機(jī)房級(jí)故障時(shí),恢復(fù)點(diǎn)目標(biāo)RPO=0。

通過副本可讀技術(shù),最大化利用每個(gè)角色提升系統(tǒng)吞吐,并且支持基于業(yè)務(wù)負(fù)載和組件健康狀態(tài)的路由變化,提升系統(tǒng)穩(wěn)定性。

KunDB3.0支持物理備份與實(shí)時(shí)binlog備份,故障時(shí)可恢復(fù)過去任意時(shí)間點(diǎn)。新增的一致性備份恢復(fù)能力,基于時(shí)間戳信息保障數(shù)據(jù)庫恢復(fù)到最新的一致性點(diǎn),避免了分布式數(shù)據(jù)庫恢復(fù)后需要人為參與事務(wù)點(diǎn)對(duì)齊的難題。各分片獨(dú)立并發(fā)備份,每分鐘完成數(shù)GB數(shù)據(jù)備份,在高并發(fā)核心系統(tǒng)中,能夠有效降低備份對(duì)業(yè)務(wù)的影響。

保證全局事務(wù)的一體化實(shí)時(shí)AETP,同時(shí)提供高性能交易與分析服務(wù)能力

中國信通院2021年數(shù)據(jù)發(fā)展研究報(bào)告中指出,企業(yè)通常維護(hù)不同數(shù)據(jù)庫來支持聯(lián)機(jī)事務(wù)處理(OLTP)與聯(lián)機(jī)分析處理(OLAP)任務(wù),管理和維護(hù)成本高。基于創(chuàng)新的計(jì)算存儲(chǔ)框架的HTAP 數(shù)據(jù)庫,能夠基于同一套引擎同時(shí)支撐業(yè)務(wù)系統(tǒng)運(yùn)行和分析決策場景,避免在傳統(tǒng)架構(gòu)中,在線與離線數(shù)據(jù)庫之間大量的數(shù)據(jù)交互,成為未來數(shù)據(jù)庫發(fā)展的趨勢之一。

KunDB3.0采用了基于分析引擎增強(qiáng)分布式事務(wù)處理引擎技術(shù)(ATEP),大幅提高了KunDB的數(shù)據(jù)分析能力,通過一個(gè)系統(tǒng)就可以同時(shí)提供高性能AP和TP服務(wù)能力。

對(duì)外提供統(tǒng)一的SQL引擎作為統(tǒng)一入口,簡化用戶操作,數(shù)據(jù)在庫內(nèi)即可自動(dòng)同步、轉(zhuǎn)換,不需要繁瑣的ETL組件和ETL過程,數(shù)據(jù)無需出庫即可完成計(jì)算。同時(shí)提供統(tǒng)一數(shù)據(jù)類型和方言支持,將多種數(shù)據(jù)庫語言變?yōu)橐环N語言,大大降低開發(fā)和遷移成本。

針對(duì)不同程度的分析負(fù)載,通過全局優(yōu)化器自動(dòng)識(shí)別SQL,利用不同的引擎進(jìn)行處理,TP引擎和AP引擎根據(jù)工作負(fù)載做自動(dòng)路由和自動(dòng)查詢優(yōu)化,如針對(duì)復(fù)雜加工邏輯,則使用AP引擎分布式計(jì)算能力直接讀取KunDB上的數(shù)據(jù)進(jìn)行復(fù)雜計(jì)算;針對(duì)高并發(fā)明細(xì)檢索,則使用TP引擎提供服務(wù)。

使用行列混合存儲(chǔ)方案,列存提供給AP引擎支持高性能分析,同時(shí)列存作為TP庫的只讀副本,實(shí)時(shí)從行存同步事務(wù)最新數(shù)據(jù)庫,延遲低于10s,保證了數(shù)據(jù)分析的時(shí)效性和全局一致性讀。

對(duì)于已經(jīng)部署了ArgoDB或KunDB的用戶,可以直接升級(jí)到AETP數(shù)據(jù)庫,無需改造業(yè)務(wù)和數(shù)據(jù)庫的交互方式,實(shí)現(xiàn)快速平滑升級(jí)。

通過不斷的打磨和對(duì)業(yè)務(wù)場景不斷的落地實(shí)踐,星環(huán)科技關(guān)系型數(shù)據(jù)庫ArgoDB和KunDB已經(jīng)在金融、政務(wù)、能源、醫(yī)療、交通等多個(gè)行業(yè)應(yīng)用,成功替代Oracle、MySQL等傳統(tǒng)業(yè)務(wù)數(shù)據(jù)庫。未來,星環(huán)科技將繼續(xù)深耕數(shù)據(jù)庫領(lǐng)域,通過不斷的技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新,為用戶提供更完備功能,更高性能、更穩(wěn)定可靠的國產(chǎn)化數(shù)據(jù)庫產(chǎn)品。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4510

    瀏覽量

    87188
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3905

    瀏覽量

    65899
  • 星環(huán)科技
    +關(guān)注

    關(guān)注

    0

    文章

    37

    瀏覽量

    2743
收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    國產(chǎn)化!這款A(yù)I智能模組很硬核

    國產(chǎn)化”已成為產(chǎn)業(yè)升級(jí)的關(guān)鍵趨勢之一。6月16日,在2025MWC上海開幕前夕,移遠(yuǎn)通信宣布重磅發(fā)布國產(chǎn)化5G智能模組SG530C-CN。該產(chǎn)品以100%
    的頭像 發(fā)表于 06-16 19:15 ?169次閱讀
    全<b class='flag-5'>國產(chǎn)化</b>!這款A(yù)I智能模組很硬核

    中軟國際數(shù)據(jù)庫工具助力企業(yè)高效完成數(shù)據(jù)遷移

    當(dāng)前,隨著國產(chǎn)化信創(chuàng)進(jìn)程的加速推進(jìn),特別是央國企核心系統(tǒng)100%實(shí)現(xiàn)信創(chuàng)替代等“國貨國用”戰(zhàn)略的深入實(shí)施,國產(chǎn)軟件產(chǎn)業(yè)正迎來重大發(fā)展機(jī)遇。然而,在這一過程中,政府、央國企、金融等關(guān)鍵行業(yè)客戶在推進(jìn)數(shù)據(jù)庫
    的頭像 發(fā)表于 05-16 15:55 ?289次閱讀

    自主創(chuàng)新,龍芯ATX主板助力國產(chǎn)化升級(jí)

    在科技飛速發(fā)展的當(dāng)下,國產(chǎn)化升級(jí)已成為各行業(yè)穩(wěn)固前行、突破發(fā)展瓶頸的關(guān)鍵路徑。從工業(yè)通信設(shè)備到能源、環(huán)保等諸多領(lǐng)域,自主可控的技術(shù)與產(chǎn)品正逐步取代進(jìn)口依賴,為行業(yè)發(fā)展注入全新活力。
    的頭像 發(fā)表于 04-25 09:49 ?139次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)——MongoDB數(shù)據(jù)庫文件拷貝后服務(wù)無法啟動(dòng)的數(shù)據(jù)恢復(fù)

    文件。將MongoDB數(shù)據(jù)庫文件拷貝到其他分區(qū)后,對(duì)MongoDB數(shù)據(jù)庫所在原分區(qū)進(jìn)行了格式操作。格式完成后將數(shù)據(jù)庫文件拷回原分區(qū),并重
    的頭像 發(fā)表于 04-09 11:34 ?250次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)——MongoDB<b class='flag-5'>數(shù)據(jù)庫</b>文件拷貝后服務(wù)無法啟動(dòng)的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)

    中興通訊GoldenDB數(shù)據(jù)庫助力首個(gè)住房公積金國產(chǎn)數(shù)據(jù)庫聯(lián)合實(shí)驗(yàn)室落地?fù)P州

    領(lǐng)域的國產(chǎn)數(shù)據(jù)庫聯(lián)合實(shí)驗(yàn)室成功落地,雙方將圍繞GoldenDB數(shù)據(jù)庫在公積金核心系統(tǒng)的深度應(yīng)用展開技術(shù)攻關(guān),為全國公積金行業(yè)數(shù)字轉(zhuǎn)型提供示范樣本。 ? 為什么住房公積金數(shù)字
    的頭像 發(fā)表于 04-07 18:26 ?571次閱讀

    分布式云數(shù)據(jù)庫有哪些類型

    分布式云數(shù)據(jù)庫有哪些類型?分布式云數(shù)據(jù)庫主要類型包括:關(guān)系型分布式數(shù)據(jù)庫、非關(guān)系型分布式數(shù)據(jù)庫
    的頭像 發(fā)表于 01-15 09:43 ?425次閱讀

    數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?

    數(shù)據(jù)庫是一種部署在虛擬計(jì)算環(huán)境中的數(shù)據(jù)庫,它融合了云計(jì)算的彈性和可擴(kuò)展性,為用戶提供高效、靈活的數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫主要分為兩大類:關(guān)系型數(shù)據(jù)庫
    的頭像 發(fā)表于 01-07 10:22 ?447次閱讀

    國產(chǎn)化,更可控 智微工業(yè)JVC國產(chǎn)化系列嵌入式工控機(jī)

    ,推出了 JVC國產(chǎn)化系列工控機(jī)——JVC-8100、JVC-8100F ,為用戶提供自主可控的高性能工控解決方案,助力產(chǎn)業(yè)升級(jí)與發(fā)展。 01性能強(qiáng)勁,安全可靠 ·CPU:? JVC國產(chǎn)化
    的頭像 發(fā)表于 12-23 09:15 ?829次閱讀

    金倉數(shù)據(jù)庫支撐全國首例軌道交通ACC與ITP同步國產(chǎn)化項(xiàng)目上線

    改造,無縫替代ACC一期及ITP一期系統(tǒng),安全平穩(wěn)地完成所有既有線路AFC系統(tǒng)的接入,并全面采用國產(chǎn)化數(shù)據(jù)庫作為核心基礎(chǔ)軟件的應(yīng)用案例。隨著我國數(shù)字交通產(chǎn)業(yè)的發(fā)展
    的頭像 發(fā)表于 12-20 12:24 ?610次閱讀
    金倉<b class='flag-5'>數(shù)據(jù)庫</b>支撐全國首例軌道交通ACC與ITP同步<b class='flag-5'>國產(chǎn)化</b>項(xiàng)目上線

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復(fù)流程

    Mysql數(shù)據(jù)庫故障: Mysql數(shù)據(jù)庫表記錄丟失。 Mysql數(shù)據(jù)庫故障表現(xiàn): 1、Mysql數(shù)據(jù)庫表中無任何數(shù)據(jù)或只有部分
    的頭像 發(fā)表于 12-16 11:05 ?553次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—Mysql<b class='flag-5'>數(shù)據(jù)庫</b>表記錄丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)流程

    中軟國際亮相2024國產(chǎn)數(shù)據(jù)庫創(chuàng)新生態(tài)大會(huì)

    近日,由深圳計(jì)算科學(xué)研究院主辦、深圳崖山科技有限公司和賽迪網(wǎng)承辦的“2024國產(chǎn)數(shù)據(jù)庫創(chuàng)新生態(tài)大會(huì)”在深圳隆重舉行。作為2024西麗湖論壇的專業(yè)論壇活動(dòng),本次大會(huì)以“核心替代、新質(zhì)金融”為主題,圍繞國產(chǎn)
    的頭像 發(fā)表于 11-26 14:14 ?603次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—通過拼接數(shù)據(jù)庫碎片恢復(fù)SQLserver數(shù)據(jù)庫

    一個(gè)運(yùn)行在存儲(chǔ)上的SQLServer數(shù)據(jù)庫,有1000多個(gè)文件,大小幾十TB。數(shù)據(jù)庫每10天生成一個(gè)NDF文件,每個(gè)NDF幾百GB大小。數(shù)據(jù)庫包含兩個(gè)LDF文件。 存儲(chǔ)損壞,數(shù)據(jù)庫
    的頭像 發(fā)表于 10-31 13:21 ?641次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—通過拼接<b class='flag-5'>數(shù)據(jù)庫</b>碎片恢復(fù)SQLserver<b class='flag-5'>數(shù)據(jù)庫</b>

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫出現(xiàn)823錯(cuò)誤的數(shù)據(jù)恢復(fù)案例

    SQL Server數(shù)據(jù)庫故障: SQL Server附加數(shù)據(jù)庫出現(xiàn)錯(cuò)誤823,附加數(shù)據(jù)庫失敗。數(shù)據(jù)庫沒有備份,無法通過備份恢復(fù)數(shù)據(jù)庫
    的頭像 發(fā)表于 09-20 11:46 ?660次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—SQL Server<b class='flag-5'>數(shù)據(jù)庫</b>出現(xiàn)823錯(cuò)誤的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例

    啟明信息完成國產(chǎn)化Doris數(shù)據(jù)庫升級(jí)替代任務(wù)

    近日,隨著集團(tuán)公司監(jiān)控平臺(tái)(Elasticsearch集群)的下線,標(biāo)志著啟明信息正式完成國產(chǎn)化Doris數(shù)據(jù)庫升級(jí)替代任務(wù)。該項(xiàng)目既標(biāo)志著啟明信息信創(chuàng)升級(jí)替代邁入新臺(tái)階,同時(shí)也標(biāo)志著
    的頭像 發(fā)表于 09-20 09:33 ?1951次閱讀

    軟通動(dòng)力數(shù)據(jù)庫全棧服務(wù),助力企業(yè)數(shù)據(jù)庫體系全面升級(jí)

    。在企業(yè)節(jié)與"數(shù)博會(huì)"展區(qū),軟通動(dòng)力受邀分享數(shù)據(jù)庫專業(yè)服務(wù)全棧解決方案,并重點(diǎn)展示以全棧云服務(wù)為核心的數(shù)智能力。 軟通動(dòng)力高級(jí)數(shù)據(jù)庫服務(wù)專家劉江云在開放演講中,分享了軟通動(dòng)力數(shù)據(jù)庫
    的頭像 發(fā)表于 09-05 15:30 ?547次閱讀
    軟通動(dòng)力<b class='flag-5'>數(shù)據(jù)庫</b>全棧服務(wù),<b class='flag-5'>助力</b>企業(yè)<b class='flag-5'>數(shù)據(jù)庫</b>體系全面<b class='flag-5'>升級(jí)</b>
    主站蜘蛛池模板: 精品久久久久久中文字幕欧美 | 一区二区不卡视频在线观看 | 高清性欧美xxx | 国产综合视频 | 日本精品三级 | 国产看午夜精品理论片 | 国产精品美女www爽爽爽视频 | www.毛片在线观看 | 欧美极品在线播放 | 亚洲成人激情电影 | 美女视频很黄很a免费国产 美女视频很黄很暴黄是免费的 | 久久精品国产大片免费观看 | 色偷偷亚洲综合网亚洲 | 人人添人人澡人人澡人人人爽 | 精品视频一二三区 | 与子乱刺激对白在线播放 | 久久99精品久久久久久秒播 | 97综合网 | 欧美日本一区 | 韩国三级视频在线 | 日b毛片 | 激情婷婷六月 | 黄色大片免费观看 | 成年网站在线在免费播放 | 久久久久女人精品毛片 | 午夜免费福利片 | 看全黄大片狐狸视频在线观看 | 天天精品视频 | 国产精品久久久久久一级毛片 | 欧美屁屁影院 | 国产精品成人在线播放 | 夜夜偷影视 | 狠狠操狠狠插 | 狠狠色婷婷丁香六月 | 欧美色网络| 狠狠干狠狠操视频 | 国产片一级特黄aa的大片 | 中文字幕一区二区三区四区五区人 | 在线激情网 | 99久久免费精品视频 | 国内一区二区三区精品视频 |