對(duì)一個(gè)大規(guī)模集群的存儲(chǔ)系統(tǒng)而言，服務(wù)器宕機(jī)、交換機(jī)失效是常態(tài)，架構(gòu)師必須為這些故障發(fā)生時(shí)，保證系統(tǒng)依然可用而進(jìn)行系統(tǒng)設(shè)計(jì)。在系統(tǒng)架構(gòu)層面，保證高可用的主要手段是冗余：服務(wù)器熱備，數(shù)據(jù)多份存儲(chǔ)。使整個(gè)集群在部分機(jī)器故障的情況下可以進(jìn)行靈活的失效轉(zhuǎn)移，保證系統(tǒng)整體依然可用，數(shù)據(jù)持久可靠。系統(tǒng)架構(gòu)如下圖所示：

系統(tǒng)整體上課分為如下三個(gè)部分。

應(yīng)用程序服務(wù)器：它們是存儲(chǔ)系統(tǒng)的客戶，對(duì)系統(tǒng)發(fā)起數(shù)據(jù)操作請(qǐng)求。

數(shù)據(jù)存儲(chǔ)服務(wù)器：它們是存儲(chǔ)系統(tǒng)的核心，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)、響應(yīng)應(yīng)用服務(wù)器的數(shù)據(jù)操作請(qǐng)求。

管理中心服務(wù)器：這是一個(gè)由兩臺(tái)機(jī)器組成的主-主熱備的小規(guī)模服務(wù)器集群，主要負(fù)責(zé)集群管理，對(duì)數(shù)據(jù)存儲(chǔ)集群進(jìn)行健康心跳檢測(cè)；集群擴(kuò)容、故障恢復(fù)管理；對(duì)應(yīng)用程序服務(wù)器提供集群地址配置信息服務(wù)等。

其中，數(shù)據(jù)存儲(chǔ)服務(wù)器又根據(jù)應(yīng)用的可用性級(jí)別設(shè)置數(shù)據(jù)復(fù)制份數(shù)，即每個(gè)數(shù)據(jù)實(shí)際物理存儲(chǔ)的副本數(shù)目，副本份數(shù)越多，可用性級(jí)別越高，當(dāng)然需要的服務(wù)器也越多。為了便于管理和訪問(wèn)數(shù)據(jù)的多個(gè)副本，將存儲(chǔ)服務(wù)器劃分為多個(gè)序列，數(shù)據(jù)的多個(gè)副本存儲(chǔ)在不同的序列中。

應(yīng)用服務(wù)器寫(xiě)入數(shù)據(jù)時(shí)，根據(jù)集群配置和應(yīng)用可用性級(jí)別使用路由算法在每個(gè)序列中計(jì)算得到一臺(tái)服務(wù)器，然后同時(shí)并發(fā)寫(xiě)入這些服務(wù)器中；應(yīng)用服務(wù)器讀取數(shù)據(jù)時(shí)，只需要隨機(jī)選擇一個(gè)序列，根據(jù)相同路由算法計(jì)算得到服務(wù)器編號(hào)和地址，即可讀取。通常情況下，系統(tǒng)最少寫(xiě)入的副本份數(shù)是兩份。

在正常狀態(tài)下，存儲(chǔ)服務(wù)器集群中的服務(wù)器互不感知，不進(jìn)行任何通信；應(yīng)用服務(wù)器也只在啟動(dòng)時(shí)從管理中心服務(wù)器獲取存儲(chǔ)服務(wù)器集群信息，除非集群信息發(fā)生變化（故障、擴(kuò)容），否則應(yīng)用服務(wù)器不會(huì)和管理中心服務(wù)器通信。一般而言，服務(wù)器之間通信越少，就越少依賴，發(fā)生故障時(shí)互相影響就越少，集群的可用性就越高。