大數據的最底層的內容就是存儲,只有把數據存在能高效訪問的分布式系統下才能提升工作效率。今天帶大家來盤點一下這些常見的分布式文件系統:
Lustre
Lustre是一個非常安全,規模很大的分布式文件系統,最早由CFS(Cluster File System Inc.)公司研發,最后由CFS、惠普和因特爾三家公司一起與2003年推出第一版發布版,發展到現在已經非常成熟。其存儲量通常以PB起步,節點支持數也能打到萬級。但是其對設備有特殊要求。
HDFS
HDFS是Hadoop內置的分布式文件系統,之前也有過介紹。HDFS最大的優勢就是價格低廉,因此也使用極為廣泛。并且其高可靠性,高容錯性也讓使用者非常信賴。雖然HDFS的存儲級別也在PB以上,但是對于小文件過多的情況HDFS不能很好的支持。
QFS
QFS和HDFS類似,都是為了解決高效順序讀寫大量數據的問題。但是QFS在性能上優于HDFS,讀寫效率提升綜合越60%。現在QFS還比較小眾,沒有經過大量的使用測試,因此還不能用于大規模的生產環境。
GlusterFS
GlusterFS也是一個PB級別的集群文件系統,其思想是將集群內所有服務器的存儲空間匯到一個大的網絡系統上。這樣做最大的特點就是無中心,不會有單點故障。
Alluxio
Alluxio是第一個基于內存的分布式文件系統,因此其相應速度也會超出普通的分布式文件系統很多,例如HDFS就比它慢數百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中國人開發的,文檔都是中文的,對于被英文文檔困擾很久的小伙伴絕對是福音。
Ceph
Ceph也是一個沒有單點故障的分布式文件系統,Ceph的每個節點上都有一小部分資源用于計算節點的數據信息,從而非常優秀的實現負載均衡。
PVFS
PVFS是一個并行虛擬文件系統,他能很好的支持linux上的原聲命令和工具,例如rm、dd、cat等。但是PSFS是單管理節點的,因此存在單點故障,并且在啟動后無法靈活的修改。
-
文件系統
+關注
關注
0文章
287瀏覽量
19978 -
大數據
+關注
關注
64文章
8908瀏覽量
137792
原文標題:常見分布式文件系統大盤點,想了解大數據先從存儲開始
文章出處:【微信號:cunchujie,微信公眾號:存儲界】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
一文解讀在RTThread平臺上使用DFS分布式文件系統
HarmonyOS分布式文件系統開發指導
采用信任管理的分布式文件系統TrustFs
海量郵件分布式文件系統的設計與實現
基于分布式文件系統元數據操作優化
![基于<b class='flag-5'>分布式</b><b class='flag-5'>文件系統</b>元數據操作優化](https://file.elecfans.com/web1/M00/46/14/pIYBAFqQ_PmAMWg8AACNkmD-_oU007.jpg)
AFS,GFS ,QKFile主流分布式存儲文件系統
分布式文件存儲系統GFS的基礎知識
![<b class='flag-5'>分布式</b><b class='flag-5'>文件</b>存儲<b class='flag-5'>系統</b>GFS的基礎知識](https://file.elecfans.com/web1/M00/C4/E0/o4YBAF9E3UyAO1x5AABThpLdMMs058.jpg)
分布式文件系統主從式的伸縮性架構設計
![<b class='flag-5'>分布式</b><b class='flag-5'>文件系統</b>主從<b class='flag-5'>式</b>的伸縮性架構設計](https://file.elecfans.com/web1/M00/D8/8E/o4YBAF_z0muAE5JpAAEHKxV5ilI870.png)
評論