剛剛獲悉，由騰訊云大數(shù)據(jù)團(tuán)隊(duì)主導(dǎo)的Ozone 1.0.0版本在Apache Hadoop社區(qū)正式發(fā)布。據(jù)了解，經(jīng)過(guò)2年多的社區(qū)持續(xù)開(kāi)發(fā)和內(nèi)部1000+節(jié)點(diǎn)的實(shí)際落地驗(yàn)證，Ozone 1.0.0已經(jīng)具備了在大規(guī)模生產(chǎn)環(huán)境下實(shí)際部署的能力。

Ozone 是Apache Hadoop社區(qū)推出的新一代分布式存儲(chǔ)系統(tǒng)，它的出現(xiàn)滿足了大量小文件的存儲(chǔ)問(wèn)題，解決了Hadoop分布式文件系統(tǒng)在可擴(kuò)展性上的缺陷。作為Hadoop生態(tài)圈的一款新的對(duì)象存儲(chǔ)系統(tǒng)，能夠支持百億甚至千億級(jí)文件規(guī)模的存儲(chǔ)。

騰訊云大數(shù)據(jù)團(tuán)隊(duì)Ozone項(xiàng)目負(fù)責(zé)人陳怡表示，作為大數(shù)據(jù)領(lǐng)域的領(lǐng)導(dǎo)廠商，騰訊是國(guó)內(nèi)一線互聯(lián)網(wǎng)公司中最早加入社區(qū)的，目前已經(jīng)在Ozone項(xiàng)目上已經(jīng)主導(dǎo)完成了集群網(wǎng)絡(luò)拓?fù)涓兄拈_(kāi)發(fā)，以及數(shù)據(jù)寫(xiě)入Multi-Raft Pipeline功能的開(kāi)發(fā)。同時(shí)，主導(dǎo)的StorageContainerManager（SCM） 高可用HA功能也正在開(kāi)發(fā)中。

Ozone 架構(gòu)圖

以集群網(wǎng)絡(luò)拓?fù)涓兄獊?lái)說(shuō)，在傳統(tǒng)的大數(shù)據(jù)構(gòu)架下，有了網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，計(jì)算引擎的調(diào)度器可以將任務(wù)調(diào)度到離數(shù)據(jù)最近的節(jié)點(diǎn)來(lái)獲取“數(shù)據(jù)的局部性”。即便是新興的計(jì)算存儲(chǔ)分離構(gòu)架，同樣也需要集群網(wǎng)絡(luò)拓?fù)湫畔ⅲ瑏?lái)保證數(shù)據(jù)的故障容錯(cuò)能力和高可用性。

陳怡進(jìn)一步介紹說(shuō)，在Ozone 的Alpha 發(fā)布后，騰訊內(nèi)部的大數(shù)據(jù)平臺(tái)上線了Ozone生產(chǎn)集群，承接了一部分業(yè)務(wù)的數(shù)據(jù)存儲(chǔ)。隨著數(shù)據(jù)服務(wù)體量的增加，逐漸發(fā)現(xiàn)Ozone寫(xiě)入性能顯現(xiàn)出了一定的波動(dòng)和瓶頸。基于這個(gè)發(fā)現(xiàn)，騰訊Ozone項(xiàng)目組設(shè)計(jì)并開(kāi)發(fā)了數(shù)據(jù)寫(xiě)入Multi-Raft Pipeline功能，顯著的提升了Ozone的寫(xiě)入吞吐量和性能。

此外，為了測(cè)試Ozone整體的穩(wěn)定性和性能，作為部署應(yīng)用的先鋒小隊(duì)，騰訊內(nèi)部部署了一個(gè)1000個(gè)數(shù)據(jù)節(jié)點(diǎn)的集群。進(jìn)行了長(zhǎng)達(dá)幾個(gè)月的穩(wěn)定性和壓力測(cè)試。期間團(tuán)隊(duì)遇到并解決了各種OOM、節(jié)點(diǎn)Crash、性能低于預(yù)期等問(wèn)題。經(jīng)過(guò)全面的優(yōu)化之后，單集群1000個(gè)節(jié)點(diǎn)現(xiàn)已能長(zhǎng)時(shí)間穩(wěn)定運(yùn)行，并且所有的數(shù)據(jù)都校驗(yàn)確認(rèn)正確無(wú)誤。

除了1000個(gè)節(jié)點(diǎn)集群的測(cè)試，1.0.0版本還進(jìn)行10億個(gè)元數(shù)據(jù)對(duì)象的測(cè)試和優(yōu)化，進(jìn)一步解決長(zhǎng)期困擾HDFS的大量小文件問(wèn)題。目前Ozone 1.0.0能夠輕松支持10億個(gè)10KB小對(duì)象的寫(xiě)入，同時(shí)元數(shù)據(jù)節(jié)點(diǎn)內(nèi)存使用不超過(guò)64GB。

為了確保Ozone和Hive、Spark、Impala等計(jì)算框架的無(wú)縫對(duì)接，Ozone 1.0.0進(jìn)行了和Hive LLAP、Spark以及Impala的集成測(cè)試。TPC-DS的測(cè)試表明，在100GB和1TB兩種數(shù)據(jù)量大小下，Ozone總體比HDFS有3.5%的優(yōu)勢(shì)。

經(jīng)過(guò)不斷的測(cè)試和優(yōu)化，升級(jí)后的Ozone 1.0.0在版本功能上有了質(zhì)的跨越。除了支持 Hadoop Compatible FileSystem、Hadoop 2.x以及 Hadoop3.x環(huán)境，Ozone 1.0.0還兼容Hadoop生態(tài)的Kerberos認(rèn)證體系，支持?jǐn)?shù)據(jù)的用戶無(wú)感知加密存放和Ranger授權(quán)集成、GDPR “Right to Erasure”以及網(wǎng)絡(luò)構(gòu)架感知。

未來(lái)，騰訊云大數(shù)據(jù)還將發(fā)揮自身技術(shù)優(yōu)勢(shì)和積累，在Ozone的基礎(chǔ)上開(kāi)發(fā)基于SCM的新一代高性能分布式文件系統(tǒng)，并持續(xù)推進(jìn)Ozone在更多騰訊內(nèi)外部業(yè)務(wù)的實(shí)踐落地，部署更大規(guī)模的生產(chǎn)集群。同時(shí)，進(jìn)一步擁抱開(kāi)源，深度參與Hadoop社區(qū)，提高Ozone的可靠性、穩(wěn)定性和性能，將其打造成新一代大數(shù)據(jù)文件和對(duì)象混合存儲(chǔ)系統(tǒng)。

值得一提的是，騰訊大數(shù)據(jù)團(tuán)隊(duì)除了在Ozone 項(xiàng)目上的貢獻(xiàn)之外，近年來(lái)在開(kāi)源領(lǐng)域的貢獻(xiàn)正在逐步加速，目前已完成了大數(shù)據(jù)核心能力全開(kāi)源。同時(shí)，還結(jié)合實(shí)際業(yè)務(wù)場(chǎng)景推動(dòng)開(kāi)源技術(shù)加速落地，通過(guò)技術(shù)實(shí)踐和創(chuàng)新持續(xù)回饋社區(qū)貢獻(xiàn)開(kāi)源。在Apache基金會(huì)的大數(shù)據(jù)項(xiàng)目上，騰訊已經(jīng)為主流的Hadoop、Spark、Flink等項(xiàng)目貢獻(xiàn)了大量的特性和patch。

責(zé)任編輯：gt