資料介紹
對象存儲非常適合長期備份和歸檔,如何將高性能對象存儲擴展到大規模、高容量的工作負載,人們對此需要進行了解。
對象存儲最有趣的方面之一是其用途的多樣性。盡管對象存儲通常用作歸檔存儲區、原有數據的目的地,以及文件服務器的替代品,但實際上有許多方法可以應用對象存儲。隨著供應商開始提供性能優化的對象存儲,該技術已經為用于一組全新的工作負載準備就緒。
高性能對象存儲不僅僅需要從基于硬盤的對象存儲系統切換到全閃存對象存儲。向全閃存介質的遷移無疑會有所幫助,但是對象存儲系統(很大程度上要歸功于其豐富的元數據)通常具有太多延遲,無法有效利用閃存性能。
創建高性能對象存儲系統的另一個挑戰是基礎設施的橫向擴展特性。為了滿足容量需求,對象存儲將大量節點添加到存儲集群中。每個節點的容量都被吸收到集群中,從而創建一個存儲池。在大型橫向擴展集群中,具有數十個節點都是比較常見的。聚合和管理這些節點的等待時間可能很長。
非結構化的大型數據工作負載(例如人工智能和機器學習以及深度學習)是對象存儲架構如何成為高性能工作負載的一個很好的例子。理論上,這些工作負載對于對象存儲而言應該是理想的。它們擁有數百萬甚至數十億個文件,而存儲所有這些數據需要大量的SSD硬盤或HDD硬盤,因此需要許多節點。這些過程也是受吞吐量驅動的。
所有這些因素的結合使ai服務器和深度學習針對對象存儲的高節點數存儲集群量身定制。大多數與人工智能通信的框架(例如TensorFlow)用于驅動人工智能服務器和機器學習工作負載,它們都使用Amazon S3協議。大多數對象存儲系統也是基于S3存儲桶,并且S3存儲桶本身是高度并行的。從理論上講,對象存儲基礎設施應該能夠滿足人工智能和機器或深度學習工作負載的需求。
但是,此方法不僅僅需要創建一個全閃存對象存儲系統。該系統必須能夠解決這樣一個問題,即可能會有數十個(即使不是數百個)節點,而元數據以及集群管理也帶來了挑戰。
應對元數據挑戰
元數據是關于數據的數據,它對高性能對象存儲帶來了挑戰,其原因有兩個:第一個挑戰是,對象存儲系統需要更多時間來管理其豐富的元數據。由于大多數對象存儲供應商會在集群中指定一定數量的節點來管理和存儲元數據,因此管理更加復雜。在人工智能和深度移動學習等工作負載中,專用的元數據控制器通常不堪重負,并成為系統瓶頸。因此,服務器閃存驅動器甚至硬盤無法充分發揮其潛力。
第二個挑戰是集群通信。大多數橫向擴展NAS或塊存儲系統的節點數都比較少。在網絡附屬存儲(NAS)和塊用例中,擁有六個節點的存儲集群被認為是大型的浪潮服務器存儲系統,但在許多對象存儲部署中,六個節點只是一個入門級別。而節點間的通信成為一個大問題,尤其是在不涉及性能的歸檔的用例中。
要創建高性能的大規模對象存儲解決方案,需要解決元數據性能和集群管理問題。下一代對象存儲將元數據分布在集群中的每個節點上,而不僅僅是幾個控制器。元數據的分布可確保每個節點都具有響應I/O請求所需的所有信息。
- 探索新潮流 — AI服務器引領數據中心的發展 363次下載
- 通過博通和希捷實現卓越的數據中心性能雙執行器硬盤存儲
- 高性能領導力:為下一代數據中心和汽車架構提供動力 0次下載
- iPDU在數據中心電源管理中的作用
- 數據中心各種冷卻技術的應用與發展 24次下載
- 基于數據組和數據中心劃分的數據放置算法 12次下載
- Ceph分布式存儲系統性能優化研究綜述 5次下載
- 可重構超大規模數據中心網絡研究綜述 27次下載
- 數據中心調試成功的步驟詳細說明 0次下載
- 一種面向高性能計算的分布式對象存儲系統 0次下載
- 數據中心網絡中的流量均衡 0次下載
- 數據中心網絡性能評估方法 0次下載
- 數據中心安全運營的必備條件與加強數據中心安全的五大步驟介紹 2次下載
- 基于Avago數據中心產品的設計方案 15次下載
- 打造中國石油大學雙活數據中心的存儲后盾 0次下載
- 數據中心產品通常包括哪些 581次閱讀
- 云數據中心、智算中心、超算中心,有何區別? 5544次閱讀
- 介紹一種高性能計算和數據中心網絡架構:InfiniBand(IB) 1652次閱讀
- IDc數據中心需要哪些產品 2172次閱讀
- 數據中心如何支持人工智能 743次閱讀
- 數據中心到數據中心的復制流程 773次閱讀
- 數據中心加速芯片需求大爆發,FPGA正領跑市場 1778次閱讀
- 數據中心使用PAM-4帶來的挑戰 2789次閱讀
- 零售托管數據中心 VS 批發數據中心 2375次閱讀
- 數據中心是機房嗎?它有什么作用? 1.5w次閱讀
- 數據中心互聯的構建面臨什么挑戰? 3258次閱讀
- 虛擬化數據中心的三個層次_虛擬化數據中心的好處 5.1w次閱讀
- 浪潮新一代數據中心級高端存儲平臺AS/HF18000G5 6577次閱讀
- 如何正確處理廢舊的數據中心存儲硬件 1384次閱讀
- 數據存儲在遠程數據中心的遠程服務器上時,究竟會發生什么? 3208次閱讀
下載排行
本周
- 1STM32開發板教程之STM32開發指南免費下載
- 24.88 MB | 176次下載 | 3 積分
- 2EN60335-1安規標準 中文版本
- 1.86 MB | 52次下載 | 1 積分
- 3LT7406FJ N溝道增強型功率MOSFET規格書
- 1.38 MB | 2次下載 | 免費
- 4STM32系列產品選型-中文
- 1.81 MB | 1次下載 | 免費
- 5LTS6802FJCB N溝道增強型功率MOSFET規格書
- 1.00 MB | 1次下載 | 免費
- 6運算放大電路入門教程
- 0.70 MB | 1次下載 | 免費
- 7米爾-瑞芯微RK3562核心板開發板,4核CPU,ARM中量級多面手
- 3.45 MB | 1次下載 | 免費
- 8開源鴻蒙版真4K顯示器廣告機主板AIoT-6780SE彩頁
- 613.79 KB | 1次下載 | 免費
本月
- 1STM32開發板教程之STM32開發指南免費下載
- 24.88 MB | 176次下載 | 3 積分
- 2DeepSeek:從入門到精通
- 5.36 MB | 92次下載 | 1 積分
- 3EN60335-1安規標準 中文版本
- 1.86 MB | 52次下載 | 1 積分
- 4OAH0428最新規格書(中文)
- 2.52 MB | 27次下載 | 10 積分
- 5UHV系列雷電沖擊電壓發生器試驗裝置詳細說明使用
- 1.07 MB | 17次下載 | 免費
- 6Altium-常用3D封裝庫(Step)接插件篇
- 4.95 MB | 14次下載 | 免費
- 7介紹一些常用的電子元器件
- 3.20 MB | 7次下載 | 免費
- 8麻將機升降電路
- 0.12 MB | 6次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935124次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420063次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191371次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183336次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81583次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73814次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論