智慧時代,數據量激增且非結構化數據的占比逐漸增大,數據類型愈發(fā)復雜,處理數據的方式更加多樣化,傳統(tǒng)單一存儲難以滿足市場需求。基于此,浪潮推出了非結構化數據融合互通新平臺分布式融合存儲AS13000。
為什么需要多協(xié)議融合互通?
隨著云計算、大數據、AI技術的高速發(fā)展,數據的處理方式越來越多樣化,在自動駕駛、天文觀測、基因測序等場景下,一次數據處理過程通常涉及文件、對象、大數據多種協(xié)議的數據存儲和訪問方式。
S3/NFS觀測數據采集 | NFS數據分類、篩選、注釋 | HDFS對數據進行大數據分析 | S3成果壓縮后保存 |
數據采集 | 數據預處理 | 數據分析 | 成果保存 |
---|
天文觀測數據處理流程
以天文觀測場景為例,一次完整的天文觀測數據處理涉及到數據采集、數據預處理、數據分析和成果保存四個步驟,不同階段使用了不同的訪問協(xié)議。傳統(tǒng)分布式存儲僅支持單一協(xié)議訪問,即客戶需要同時部署多套存儲系統(tǒng),并且不同協(xié)議處理時,需要進行數據轉換和拷貝,造成存儲空間浪費和存儲成本增加的同時,極大程度降低數據的處理效率。
協(xié)議互通:高效、安全、便捷、低成本存儲
多協(xié)議融合互通既是時代產物,又是時代的成就者。浪潮分布式存儲AS13000基于對非結構化數據協(xié)議(NFS/CIFS/HDFS/S3)的研究,通過持續(xù)技術創(chuàng)新和技術突破,打造出非結構化數據融合互通存儲新平臺,為用戶提供更高效、更安全、更便捷、更低成本的數據存儲服務。
非結構化數據融合互通存儲架構
7大技術突破,助力分布式存儲變革
其一,存儲資源融合互通,數據全局共享
AS13000分布式融合存儲平臺構筑了全局統(tǒng)一存儲資源池,數據及元數據均統(tǒng)一管理,不同協(xié)議(NFS/CIFS/HDFS/S3)共享共用,且創(chuàng)建的文件、數據及元數據僅保存一份,有效減少數據重復存儲成本。
其二,多協(xié)議融合互通,數據零拷貝
根據傳統(tǒng)NFS、CIFS、HDFS和S3存儲協(xié)議的特點,AS13000分布式融合存儲平臺設計出統(tǒng)一的存儲架構。協(xié)議層無需數據轉換和拷貝、安裝網關或插件及在計算側或應用層改造,即可直接原生語義無感接入,大大提升數據處理效率。
其三,原生語義支持,語義零損失
語義損失是導致傳統(tǒng)協(xié)議互通方案無法商用的主要原因。文件、HDFS和對象服務由于使用場景的差異,每種服務都有各自獨立的語義,如文件的快照、對象多段上傳及HDFS Ranger鑒權等。傳統(tǒng)協(xié)議互通方案由于存儲架構和元數據管理不統(tǒng)一,無法實現各協(xié)議完整的語義支持,通常需要上層適配修改,造成語義損失。浪潮分布式融合存儲平臺AS13000在統(tǒng)一存儲架構上實現多協(xié)議的統(tǒng)一元數據管理,支持各協(xié)議原生無損語義訪問存儲系統(tǒng),應用無感接入。
其四,權限互通,多協(xié)議權限聯動
由于文件、對象、HDFS協(xié)議權限管理方式各不相同,傳統(tǒng)協(xié)議互通方案權限管理較為混亂,無法做到權限互通,給用戶訪問帶來極大的不便和困擾。
AS13000針對Windows用戶、Unix用戶和對象用戶的不同訪問形式及隔離限制,設計出用戶映射機制,實現不同類型用戶權限共享,打破不同類型用戶之間互相隔離的壁壘;提煉出統(tǒng)一的權限管理架構,統(tǒng)一管理非結構化數據權限。可以做到一份數據,一份權限信息,一種協(xié)議修改權限,對其它協(xié)議同時生效,真正做到了權限實時聯動。
其五,冗余保護,數據安全可靠
AS13000支持更全面的數據保護策略,提供跨節(jié)點、跨機架、不同級別的數據冗余保護,用戶無需擔心宕機、掉電等意外故障帶來的數據丟失風險。同時支持數據副本、糾刪冗余策略,能夠實現數據及時快速恢復,提高數據可靠性。
其六,數據分級存儲,降低存儲成本
隨著數據的爆炸式增長,單一形式的存儲已經無法滿足用戶高性能和低成本的需求。AS13000提供靈活的分級策略,將數據按照設定的策略和熱度分別存儲在高性能存儲介質和相對低成本的存儲介質中,合理利用存儲空間,降低存儲成本,快速響應用戶的數據存儲需求。
最后,特性級互通,高效便捷
憑借統(tǒng)一的特性架構和操作接口,實現特性級互通,對外提供統(tǒng)一的增值特性服務,如統(tǒng)一配額、統(tǒng)一QoS、統(tǒng)一分級存儲、統(tǒng)一回收站、統(tǒng)一元數據檢索。設置后,對NFS、CIFS、S3、HDFS等多種協(xié)議即時同步生效。
浪潮分布式融合存儲平臺AS13000通過多年的持續(xù)技術創(chuàng)新,以一份數據支持多種協(xié)議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,做到語義無損、數據零拷貝、權限聯動、應用無感接入。全面加持數據保護策略,助力企業(yè)數字化轉型,加速釋放數據價值。
審核編輯:湯梓紅
-
云計算
+關注
關注
39文章
7859瀏覽量
137866 -
存儲
+關注
關注
13文章
4353瀏覽量
86173 -
數據采集
+關注
關注
39文章
6251瀏覽量
114040 -
浪潮
+關注
關注
1文章
468瀏覽量
23946 -
AI
+關注
關注
87文章
31513瀏覽量
270333
原文標題:融合互通,浪潮分布式融合存儲AS13000加速海量數據處理
文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論