新年伊始,各種預(yù)測展望如期而至,但真正精彩的并不多!
恰如《連線》(Wired)雜志創(chuàng)始主編凱文·凱利說的 “即將消滅你的人,今天還沒有出現(xiàn)在你的敵人名單上?!笨梢婎A(yù)測是一件非常困難的事情。
如果是預(yù)測不過是湊個(gè)熱鬧,與之相比,判斷則要嚴(yán)謹(jǐn)重要得多,因?yàn)樗菦Q策的基礎(chǔ)。以軟件定義存儲(chǔ)、全閃存陣列、傳統(tǒng)存儲(chǔ)為例,將如何選擇呢?
這真是一個(gè)問題。
云廠商是怎么選的?
相比,軟件定義存儲(chǔ),傳統(tǒng)存儲(chǔ),有誰可以一統(tǒng)存儲(chǔ)市場江湖嗎?
我們期待這樣的一個(gè)結(jié)果,從而減輕選型中的困惑?
關(guān)鍵就在于軟件定義存儲(chǔ),
軟件定義存儲(chǔ)會(huì)成為存儲(chǔ)市場的主流嗎?
答案是肯定的!
在2018年存儲(chǔ)與數(shù)據(jù)峰會(huì)上,浪潮存儲(chǔ)給出了明確的答案。
浪潮存儲(chǔ)的信心來自哪里呢?
當(dāng)今市場的用戶環(huán)境是一個(gè)多云狀況,從邊緣(Edge)到核心(數(shù)據(jù)中心)到云(Cloud),從私有云到公有云,到混合云,從一個(gè)公有云,到另一個(gè)公有云,這就是目前典型的用戶應(yīng)用的場景。根據(jù)IDC提供的數(shù)據(jù),2018年云計(jì)算基礎(chǔ)設(shè)施的規(guī)模為523億美元,未來會(huì)按照10.8%復(fù)合年增長率(CAGR)增長。
如果說,傳統(tǒng)行業(yè)企業(yè)用戶的云化還在路上,沒有那么清晰,不妨看看公有云廠商的選擇。
在公有云的世界里,軟件定義存儲(chǔ)早已經(jīng)一統(tǒng)江湖了!
公有云廠商為了應(yīng)對(duì)“雙11“的業(yè)務(wù)尖峰,唯一的辦法就彈性擴(kuò)容,短暫利用離線服務(wù)器的資源,但是傳統(tǒng)的架構(gòu)和資源配置,依靠直連存儲(chǔ)DAS,特別是HDD的性能瓶頸,帶來的問題顯而易見。
存儲(chǔ)計(jì)算分離,構(gòu)建統(tǒng)一的軟件定義存儲(chǔ)集群,這就是問題的答案。
傳統(tǒng)行業(yè)市場特殊嗎?
既然如此,在傳統(tǒng)行業(yè)企業(yè)市場,為什么這種現(xiàn)象沒有發(fā)生呢?
就連“軟件定義存儲(chǔ)“本身,也是EMC等存儲(chǔ)廠商最早提出的,當(dāng)時(shí)的概念,強(qiáng)調(diào)軟件、硬件的解耦,這也是軟件定義的存儲(chǔ)。
如此原因,還要從應(yīng)用尋找答案。
從應(yīng)用軟件現(xiàn)狀看,互聯(lián)網(wǎng)企業(yè)以云原生應(yīng)用為主,具有非常好的分布式設(shè)計(jì),與軟件定義存儲(chǔ)珠聯(lián)璧合。相比傳統(tǒng)行業(yè)企業(yè),應(yīng)用以傳統(tǒng)應(yīng)用為主,不具有分布式特征,這樣的應(yīng)用可以構(gòu)建在軟件定義存儲(chǔ)的基礎(chǔ)上嗎?可靠性,穩(wěn)定性,安全性可以媲美傳統(tǒng)磁盤陣列嗎?
這也是傳統(tǒng)行業(yè)企業(yè)所擔(dān)心的,也是困擾他們的難題。
要么向互聯(lián)網(wǎng)企業(yè)學(xué)習(xí),對(duì)于傳統(tǒng)應(yīng)用進(jìn)行云原生改造,顯然這是一個(gè)艱巨而漫長的過程,此外,目前技術(shù)基礎(chǔ),人才積累也限制了云原生花改造的進(jìn)程。
怎么辦?
答案是:軟件定義存儲(chǔ)產(chǎn)品自身能力的提升。
目前市場上,軟件定義存儲(chǔ)產(chǎn)品眾多,有開源的方案,也有自主研發(fā)的產(chǎn)品。其中,開源產(chǎn)品也有Ceph、SheepDog、MooseFS、Swift等多種方案選擇。用戶可以選用開源社區(qū)版本,也可以購買開源商業(yè)版本。自主研發(fā)產(chǎn)品方面,VMware、浪潮、華為、聯(lián)想、新華三、紫光西部數(shù)據(jù)等也推出了自主研發(fā)的軟件定義存儲(chǔ)產(chǎn)品,IBM、DellEMC、NetApp、Ventara、Nutanix等也推出了相應(yīng)的產(chǎn)品方案,此外,XSKY、SmartX、華云網(wǎng)際、凱翔、南京鵬云等國內(nèi)創(chuàng)新企業(yè)也推出了各自的產(chǎn)品解決方案。
在如此眾多方案中,如何進(jìn)行選擇?
對(duì)此,首先是技術(shù)的選擇,億級(jí)IOPS、百GB帶寬、EB級(jí)海量存儲(chǔ)空間、千億億文件管理等硬件指標(biāo)是一個(gè)衡量的標(biāo)準(zhǔn)。
軟件定義存儲(chǔ)選型“硬標(biāo)準(zhǔn)”
如此優(yōu)異的產(chǎn)品真的現(xiàn)實(shí)存在嗎?
以億級(jí)IOPS為例,這不是簡單的 SSD置換就能夠?qū)崿F(xiàn)的,涉及從介質(zhì)到算法優(yōu)化,從外部存儲(chǔ)到內(nèi)存計(jì)算的設(shè)計(jì)和優(yōu)化。借助NVMe SSD、3D XPoint SSD等固態(tài)存儲(chǔ)介質(zhì)技術(shù),通過全閃存軟件定義存儲(chǔ)內(nèi)的介質(zhì)更新,軟件算法優(yōu)化,大幅提高IOPS、時(shí)延和帶寬。
在內(nèi)存計(jì)算技術(shù)發(fā)展起來之后,在數(shù)據(jù)庫設(shè)計(jì)、應(yīng)用設(shè)計(jì)方面已經(jīng)得到改變,固態(tài)存儲(chǔ)介質(zhì)技術(shù)的引入,也為內(nèi)存計(jì)算增加了非易失的特性,讓計(jì)算和存儲(chǔ)的特性得到極大發(fā)揮。
為實(shí)現(xiàn)億級(jí)IOPS,需要從底層NAND FLASH、NVM(Non-volatile memory,非易失存儲(chǔ)器)、設(shè)備驅(qū)動(dòng),接口、操作系統(tǒng)、上層應(yīng)用程序等軟件協(xié)議棧進(jìn)行全面的優(yōu)化,從應(yīng)用系統(tǒng)的層面,對(duì)于NVM存儲(chǔ)介質(zhì)管理、控制、質(zhì)量保障、數(shù)據(jù)保護(hù)進(jìn)行通盤的考慮,這是實(shí)現(xiàn)存儲(chǔ)高性能的關(guān)鍵。
與此同時(shí),一些大型的集群,IOPS并發(fā)性能要求達(dá)到了千萬級(jí)。以AI為例,它是建立在大量原始數(shù)據(jù)基礎(chǔ)上進(jìn)行的,其原始數(shù)據(jù)經(jīng)過標(biāo)記后,會(huì)變成大量的小文件,規(guī)模通常達(dá)到百億級(jí)。
以Tesla V100GPU應(yīng)用為例,每個(gè)GPU用5個(gè)容器讀取文件數(shù)據(jù),每秒鐘約產(chǎn)生5000個(gè)OPS,每個(gè)OPS按三次操作計(jì)算,如果,每臺(tái)設(shè)備有16個(gè)Tesla V100GPU, 16臺(tái)設(shè)備搭建一個(gè)集群,總計(jì)256個(gè)GPU,對(duì)存儲(chǔ)的IOPS性能要求,就達(dá)到了400萬。
為了應(yīng)對(duì)如此規(guī)模的應(yīng)用訪問,要求軟件定義存儲(chǔ)具有非常好的橫向擴(kuò)展(Scale-out)能力,以浪潮AS13000軟件定義存儲(chǔ)為例,不僅可以可擴(kuò)展至5120個(gè)節(jié)點(diǎn),同時(shí),通過數(shù)據(jù)自動(dòng)修復(fù)和自動(dòng)運(yùn)維機(jī)制,完全可以適用于海量數(shù)據(jù)存儲(chǔ)場景。浪潮AS13000軟件定義存儲(chǔ),一套架構(gòu)實(shí)現(xiàn)了文件、塊、對(duì)象和大數(shù)據(jù)場景的數(shù)據(jù)服務(wù)。
從實(shí)踐中來
以類似浪潮AS13000軟件定義存儲(chǔ)產(chǎn)品作為基礎(chǔ),對(duì)于行業(yè)企業(yè)用戶來說,完全可以像互聯(lián)網(wǎng)企業(yè)一樣,快速實(shí)現(xiàn)業(yè)務(wù)的云化,借助軟件定義存儲(chǔ)的橫向擴(kuò)展能力,從而滿足來自互聯(lián)網(wǎng)的用戶訪問所帶來的壓力,緩解資源彈性不足的問題。
其中,軟件定義存儲(chǔ)的場景化能力至關(guān)重要,也是解決傳統(tǒng)行業(yè)/企業(yè)問題的關(guān)鍵。
以石油勘探為例,借助對(duì)海量地震波數(shù)據(jù)的計(jì)算、解釋和反演,從而模擬出勘測區(qū)域的地下構(gòu)造,并作為鉆井精確定位的依據(jù),重要性和經(jīng)濟(jì)效益顯而易見。如今,三維地震數(shù)據(jù)處理、解釋一體化軟件應(yīng)用對(duì)存儲(chǔ)空間初始需求就達(dá)到PB級(jí)別,項(xiàng)目平均數(shù)據(jù)增量達(dá)20TB,一般單文件大小也都在200GB左右。
以往, 54TB原始勘探數(shù)據(jù)通過4000個(gè)CPU計(jì)算集群、GB級(jí)帶寬的存儲(chǔ)集群處理需要50多天時(shí)間。為縮短處理時(shí)間,就需要優(yōu)化數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái),通過增加GPU來進(jìn)行加速,與此同時(shí),要求軟件定義存儲(chǔ)進(jìn)行了大量場景化調(diào)優(yōu)。
浪潮軟件定義存儲(chǔ)AS13000通過去躁、振幅補(bǔ)償?shù)榷囗?xiàng)作業(yè)的優(yōu)化配置,提升了批量作業(yè)的處理能力;通過目錄分片,也就是在元數(shù)據(jù)服務(wù)端將目錄分成同等地位的多個(gè)分片,由每個(gè)分片承載該目錄下的不同子文件,如此,才能夠通過提升并發(fā)能力,滿足石油勘探大目錄操作性能的需求。
如今,浪潮軟件定義存儲(chǔ)AS13000可支持單目錄千萬級(jí)文件、文件系統(tǒng)可達(dá)百億級(jí),百萬文件瀏覽時(shí)間突破40s。
視頻監(jiān)控智能交通領(lǐng)域,需要對(duì)海量圖片進(jìn)行查詢,要系統(tǒng)能夠滿足“秒開”的能力。從技術(shù)上,涉及視頻監(jiān)控信息的海量存儲(chǔ),要求系統(tǒng)提供海量存儲(chǔ)能力,以一個(gè)120個(gè)視頻監(jiān)控探頭線程13.08小時(shí)所產(chǎn)生的數(shù)據(jù),會(huì)涉及556萬個(gè)文件的寫入。在這個(gè)基礎(chǔ)之上,還需要提供“秒開”查詢的能力。
為了滿足這樣的需求,一方面需要利用多節(jié)點(diǎn)數(shù)據(jù)并發(fā)讀寫的能力;另外還要考慮元數(shù)據(jù)服務(wù)集群技術(shù),滿足百億級(jí)別文件的快速檢索需求。在成都視頻監(jiān)控智能交通的項(xiàng)目中,以AS13000軟件定義存儲(chǔ)為基礎(chǔ),浪潮成功將圖片檢索用時(shí),從十幾秒降低到3秒以下,實(shí)現(xiàn)交通監(jiān)控圖片取證“秒開秒解”的創(chuàng)新需求。
從現(xiàn)有的行業(yè)實(shí)踐來看,軟件定義存儲(chǔ)并不是一個(gè)放之四海而皆準(zhǔn)的通用性技術(shù),需要產(chǎn)品服務(wù)提供商能夠根據(jù)應(yīng)用場景的特點(diǎn),對(duì)軟件定義存儲(chǔ)產(chǎn)品的技術(shù)功能加以組合,如此才能夠滿足產(chǎn)品的需要。
小結(jié)
毫無疑問,云計(jì)算是未來行業(yè)發(fā)展的趨勢,而軟件定義存儲(chǔ)的特點(diǎn)與云計(jì)算無縫銜接,是行業(yè)用戶未來的主要選擇。隨著云計(jì)算普及,軟件定義存儲(chǔ)超越傳統(tǒng)存儲(chǔ)是指日可待的事情。
應(yīng)該說,云計(jì)算的著眼點(diǎn)并不是針對(duì)某個(gè)特點(diǎn)應(yīng)用,云計(jì)算強(qiáng)調(diào)的是基礎(chǔ)設(shè)施,講求的是資源池化,追求系統(tǒng)的彈性,強(qiáng)調(diào)資源應(yīng)用的效率。但是從單一業(yè)務(wù)應(yīng)有的眼光看,除非采用公有云應(yīng)用,否則云系統(tǒng)的經(jīng)營、管理和服務(wù),還是一個(gè)復(fù)雜的事情。如果不考慮效率的問題,只從單一應(yīng)用的角度出發(fā),傳統(tǒng)存儲(chǔ)解決方案其實(shí)擁有最佳的案例實(shí)踐,仍然是用戶最佳的現(xiàn)實(shí)選擇。
從這個(gè)意義上說,傳統(tǒng)存儲(chǔ)市場仍然有所發(fā)展,但從長遠(yuǎn)的趨勢看,讓位于軟件定義存儲(chǔ)將是必然的趨勢。
評(píng)論