資料介紹
軟件簡介
CURVE 是網易開源的高性能、高可用、高可靠分布式存儲系統,具有非常良好的擴展性。基于該存儲底座可以打造適用于不同應用場景的存儲系統,如塊存儲、對象存儲、云原生數據庫等。CURVE 的設計開發始終圍繞三個理念:一是順應當前存儲硬件設施發展趨勢,做到軟硬件結合打造頂級的存儲產品;二是秉持 “Simple Can be harder than complex”,了解問題本質情況下選擇最簡單的方案解決問題;三是擁抱開源,在充分調研的前提下使用優秀的開源項目組件,避免造輪子。
當前網易基于 CURVE 已經實現了高性能塊存儲系統,支持快照克隆和恢復 ,支持 QEMU 虛擬機和物理機 NBD 設備兩種掛載方式, 在網易內部作為高性能云盤使用。
特性
1. 高性能
高性能是 CURVE 的一大特點,也是項目團隊創建 CURVE 項目的初衷。RPC 層面 CURVE 采用了高性能和低延遲并且已開源的?brpc;在一致性層面選擇了基于 quorum 機制并且開源的?braft,從協議層面來說 quorum 機制在延遲方面天生優于多副本強一致的方式。實現上 CURVE 對 braft 快照的實現進行了優化,在狀態機的實現上采用 chunkfilepool 的方式 ( 初始化集群的時候格式化出指定比例的空間用作 chunk ) 使得底層的寫入放大為 0;此外CURVE 還在 chunk 上進行更細力度的地址空間 hash 以達到讀寫分離、減小 IO 碰撞等的效果,從而進一步提升 IO 性能。
2. 高可用
高可用是 CURVE 的另一大特點。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多實例部署,部分實例異常不影響整個集群的可用性。
-
MDS
MDS 是無狀態的,推薦至少部署兩個實例。通過 Etcd 進行選主。多個 MDS 實例通過 Etcd 進行選主,當單個實例失效時,可以秒級切換到另外一個實例。失效實例上正在處理的請求,Client 和 SnapShotCloneServer 都會對其進行重試,以達到不影響集群可用性的效果。
-
SnapShotCloneServer
SnapShotCloneServer 與 MDS 類似, 也是通過 Etcd 進行選主,不同的是,它通過負載均衡對外提供服務。失效期間的請求失敗重試都是冪等的,不影響任務的正確性以及集群的可用性。
-
ChunkServer
ChunkServer 是一個集群,通過 Raft 協議保持數據一致性,并通過 MDS 做負載均衡。單個節點失效時,會影響到這個節點上存儲的所有 Copyset。對于 Copyset 上的 Leader 節點,會中斷服務,等待重新選舉;對于Copyset 上的 follower 節點,服務不會受影響。當某個 Chunkserver 節點失效且在一段時間內無法恢復,MDS 會將其上的數據遷移到其他節點上。
- 分布式電源對配電系統的影響分析
- 基于綜合需求側響應的多能存儲系統優化 18次下載
- 基于Simulink的電子對抗分布式仿真系統 26次下載
- 基于分布式仿真系統的實時通訊架構 11次下載
- 基于KingSCADA的分布式運動控制監測系統 10次下載
- 分布式存儲系統的局部修復碼分析 19次下載
- 分布式存儲系統中的糾刪碼容錯方法綜述 4次下載
- Ceph分布式存儲系統性能優化研究綜述 5次下載
- 基于分布式數據Cache的實時動態遷移機制 20次下載
- 一種可行的分布式存儲系統安全構造方法 21次下載
- 云存儲中的Ceph分布式文件系統及節點選擇 13次下載
- 一種面向高性能計算的分布式對象存儲系統 0次下載
- 基于再生碼的分布式存儲節點修復優化 1次下載
- 基于高清視頻數據的高性能分布式存儲系統 1次下載
- 集群環境下分布式索引的實現 0次下載
- 分布式存儲架構面臨的挑戰 1513次閱讀
- 如何使用分布式存儲系統促進AI模型訓練 608次閱讀
- 一文參透分布式存儲系統Ceph的架構設計、集群搭建 1135次閱讀
- 利用NI VeriStand 2010實現分布式同步系統的設計 3437次閱讀
- 應對海量圖片存儲的分布式存儲解決方案 3824次閱讀
- 關于騰訊的開源分布式存儲系統DCache 2028次閱讀
- 分布式存儲的系統架構 2128次閱讀
- 淺談分布式存儲的六大優點 9004次閱讀
- 存儲分布式系統中如何從CAP轉到PACELC 2780次閱讀
- 基于單機存儲系統故障恢復 926次閱讀
- 分布式存儲運維系統構架簡析 2671次閱讀
- 淺談分布式塊存儲的元數據服務設計 4951次閱讀
- 分布式存儲集群設計,集群網絡規劃方案 2880次閱讀
- 深度解讀分布式存儲技術之分布式剪枝系統 1861次閱讀
- 分布式存儲系統技術解讀 3855次閱讀
下載排行
本周
- 1涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 76次下載 | 1 積分
- 2錦銳科技CA51F2 SDK開發包
- 24.06 MB | 29次下載 | 1 積分
- 3錦銳CA51F005 SDK開發包
- 19.47 MB | 3次下載 | 1 積分
- 4蘋果iphone 11電路原理圖
- 4.98 MB | 3次下載 | 2 積分
- 5基礎模擬電子電路
- 3.80 MB | 3次下載 | 1 積分
- 6RA-Eco-RA6M4-100PIN-V1.0開發板資料
- 34.89 MB | 1次下載 | 免費
- 7STM32F3系列、STM32F4系列、STM32L4系列和STM32L4+系列Cortex-M4編程手冊
- 3.32 MB | 1次下載 | 免費
- 8聯想A820t手機維修圖紙包括主板原理圖 尾板原理圖 點位圖
- 0.62 MB | 次下載 | 5 積分
本月
- 1AI智能眼鏡產業鏈分析
- 4.43 MB | 383次下載 | 免費
- 2蘇泊爾電磁爐線路的電路原理圖資料合集
- 2.02 MB | 296次下載 | 5 積分
- 3貼片三極管上的印字與真實名稱的對照表詳細說明
- 0.50 MB | 94次下載 | 1 積分
- 4長虹液晶電視R-HS310B-5HF01的電源板電路原理圖
- 0.46 MB | 91次下載 | 5 積分
- 5涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 76次下載 | 1 積分
- 6錦銳科技CA51F2 SDK開發包
- 24.06 MB | 29次下載 | 1 積分
- 7AO4803A雙P通道增強型場效應晶體管的數據手冊
- 0.11 MB | 28次下載 | 2 積分
- 8長虹液晶彩電LS29機芯的技術資料說明
- 3.42 MB | 16次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935127次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191388次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183342次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81588次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73815次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論