華為再出新品:GaussDB(for Influx)數(shù)據(jù)庫的魅力了解一下
華為自用的GaussDB(for Influx)數(shù)據(jù)庫逐漸深入大眾視野,到底值不值得期待?
``
時(shí)序數(shù)據(jù)庫想必大家都有所耳聞,現(xiàn)在在很多行業(yè)內(nèi)都有所應(yīng)用,它的優(yōu)點(diǎn)就是可以根據(jù)時(shí)間段,每一分每一秒都精準(zhǔn)地記錄和整理數(shù)據(jù)。最大的缺點(diǎn)也就顯而易見,因?yàn)楫a(chǎn)生數(shù)據(jù)的頻率過快,導(dǎo)致數(shù)據(jù)量過大,一天可以產(chǎn)生幾十GB,甚至達(dá)到TB級,久而久之形成了海量的時(shí)序數(shù)據(jù),數(shù)據(jù)的存儲就成了最大的問題。如何在長久地保存這些數(shù)據(jù)的同時(shí)壓縮數(shù)據(jù)?傳統(tǒng)的數(shù)據(jù)庫肯定做不到,那么有沒有企業(yè)能突破這個(gè)瓶頸?
目前而言,華為推出的GaussDB(for Influx)時(shí)序數(shù)據(jù)庫是最能達(dá)到業(yè)內(nèi)標(biāo)準(zhǔn)的。
GaussDB(for Influx)時(shí)序數(shù)據(jù)庫是華為在數(shù)據(jù)存儲領(lǐng)域摸爬滾打多年后,整合華為云多方面能力,大膽推出的技術(shù)創(chuàng)新。這一次也是華為內(nèi)部經(jīng)過多次反復(fù)調(diào)試達(dá)到了預(yù)期的效果后才決定將GaussDB(for Influx)時(shí)序數(shù)據(jù)庫對外開放,幫助上云企業(yè)解決相關(guān)業(yè)務(wù)問題。像華為這種大企業(yè)能認(rèn)可的數(shù)據(jù)庫,肯定有兩把刷子在身上,敢推向市面也肯定有足夠的把握。
從框架上來看,時(shí)序數(shù)據(jù)庫分為三大部分。第一,Shard節(jié)點(diǎn),主要負(fù)責(zé)數(shù)據(jù)的寫入和查詢,在這個(gè)節(jié)點(diǎn)內(nèi),除了分片和時(shí)間線管理外,還能預(yù)處理數(shù)據(jù)——聚合、降解預(yù)數(shù)據(jù)。第二,Config集群,可以儲存和管理元數(shù)據(jù),采用三節(jié)點(diǎn)的復(fù)制模式,保證元數(shù)據(jù)的可靠性。第三,分布式存儲系統(tǒng),能集中并且持久地存儲數(shù)據(jù)和日志,采用三副本方式存放,能用性和可靠性都毋庸置疑。
相比于InfluxDB等開源時(shí)序數(shù)據(jù)庫,GaussDB(for Influx)接口不僅完全兼容InfluxDB,寫入接口兼容OpenTSDB、Prometheus和Graphite,完全屬于上級和下級關(guān)系。GaussDB(for Influx)容錯(cuò)率更高,可以容忍N(yùn)-1節(jié)點(diǎn)故障;存儲與計(jì)算也是相互分離的,在保持高性能寫入的同時(shí)還可以進(jìn)行查詢業(yè)務(wù),也不用擔(dān)心系統(tǒng)故障導(dǎo)致業(yè)務(wù)中斷或者數(shù)據(jù)丟失,GaussDB(for Influx)可以實(shí)時(shí)保存。
擁有分鐘級計(jì)算節(jié)點(diǎn)擴(kuò)容,秒級存儲擴(kuò)容,GaussDB(for Influx)擴(kuò)縮容比其他的數(shù)據(jù)庫更加快速。由于避免了遷移過程中大量數(shù)據(jù)的物理綁定約束,所以可以做到原來以天為單位的數(shù)據(jù)傳輸縮短為分鐘級別。精簡副本也是關(guān)鍵,消除冗雜的副本模式,降低儲存成本,提升用戶體驗(yàn)感。
以上是GaussDB(for Influx)的優(yōu)化內(nèi)容,那么它的核心能力,又有哪些?
``
首先,支持億級時(shí)間線。在分配上,大量使用內(nèi)存池復(fù)用技術(shù),降低內(nèi)存碎片;在回收上實(shí)現(xiàn)算法根據(jù)內(nèi)存負(fù)載,能動(dòng)態(tài)調(diào)整GC頻率,加快內(nèi)存回收;在緩存上,根據(jù)不同的時(shí)間節(jié)點(diǎn),調(diào)整不同的配置。通過這樣的改進(jìn),可以達(dá)到每天萬億條的數(shù)據(jù)寫入。 其次,極致寫入性能。GaussDB(for Influx)可以支持每天萬億條數(shù)據(jù)寫入,實(shí)現(xiàn)了集群處理,確保日志持久化,數(shù)據(jù)庫多副本復(fù)制卸載到分布式存儲,降低計(jì)算節(jié)點(diǎn)到存儲節(jié)點(diǎn)的網(wǎng)絡(luò)流量。在大規(guī)模寫入場景下,GaussDB(for Influx)的寫入性能線性擴(kuò)展度大于80%。
再就是低成本的數(shù)據(jù)壓縮。為什么同樣的工作量卻只需1/20的存儲成本?原因就是采用不同的壓縮方式,將Gorilla壓縮算法進(jìn)行了優(yōu)化,先把數(shù)值轉(zhuǎn)為整數(shù),再根據(jù)數(shù)據(jù)特點(diǎn),選擇最合適的數(shù)據(jù)壓縮算法。選擇完合適的壓縮方式就是壓縮過程,采用了壓縮效率更好的ZSTD壓縮算法,并根據(jù)待壓縮數(shù)據(jù)的Length使用不同Level的編碼方法。最終采用差量壓縮方法,進(jìn)一步降低時(shí)序數(shù)據(jù)存儲成本。而壓縮數(shù)據(jù)也只是節(jié)約成本的方式之一,GaussDB(for Influx)還特意提供了時(shí)序數(shù)據(jù)的分級存儲,可以自定義冷熱數(shù)據(jù)。選擇合適的儲存模式就能達(dá)到節(jié)約存儲成本的目的。
最后是高性能多維聚合查詢。多維聚合是時(shí)序數(shù)據(jù)庫中較為常見、且會定期重復(fù)執(zhí)行的一種查詢。而基于滑動(dòng)窗口的聚合查詢,大部分從聚合結(jié)果緩存中直接命中,僅需要聚合增量數(shù)據(jù)部分即可,加快查詢數(shù)據(jù)中的無關(guān)信息過濾。
GaussDB(for Influx)的應(yīng)用場景非常廣泛,在能源、制造、IOT、互聯(lián)網(wǎng)等行業(yè)的監(jiān)控統(tǒng)計(jì)及分析業(yè)務(wù)場景中都可以應(yīng)用上,甚至可以說是必不可少的。當(dāng)然GaussDB(for Influx)數(shù)據(jù)庫還將不斷提升數(shù)據(jù)的存儲模式,帶來更好的用戶體驗(yàn)。
審核編輯 黃昊宇
-
華為
+關(guān)注
關(guān)注
216文章
35216瀏覽量
255995 -
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3929瀏覽量
66297 -
人工智能
+關(guān)注
關(guān)注
1807文章
49035瀏覽量
249750
發(fā)布評論請先 登錄
三款主流國產(chǎn)數(shù)據(jù)庫的技術(shù)特點(diǎn)
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—MongoDB數(shù)據(jù)庫文件丟失的數(shù)據(jù)恢復(fù)案例

數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫被加密如何恢復(fù)數(shù)據(jù)?

oracle數(shù)據(jù)恢復(fù)—oracle數(shù)據(jù)庫誤執(zhí)行錯(cuò)誤truncate命令如何恢復(fù)數(shù)據(jù)?

數(shù)據(jù)庫數(shù)據(jù)恢復(fù)——MongoDB數(shù)據(jù)庫文件拷貝后服務(wù)無法啟動(dòng)的數(shù)據(jù)恢復(fù)

MySQL數(shù)據(jù)庫的安裝

云數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復(fù)流程

數(shù)據(jù)庫事件觸發(fā)的設(shè)置和應(yīng)用
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—MYSQL數(shù)據(jù)庫ibdata1文件損壞的數(shù)據(jù)恢復(fù)案例
數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—通過拼接數(shù)據(jù)庫碎片恢復(fù)SQLserver數(shù)據(jù)庫

科技云報(bào)到:大模型時(shí)代下,向量數(shù)據(jù)庫的野望
Oracle數(shù)據(jù)恢復(fù)—異常斷電后Oracle數(shù)據(jù)庫啟庫報(bào)錯(cuò)的數(shù)據(jù)恢復(fù)案例

數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫出現(xiàn)823錯(cuò)誤的數(shù)據(jù)恢復(fù)案例

評論