高性能工作站和PC技術(shù)的發(fā)展運(yùn)用以及高性能網(wǎng)絡(luò)技術(shù)的出現(xiàn)和發(fā)展，使得計(jì)算機(jī)集群系統(tǒng)在性能價格比、可擴(kuò)展性、可用性、可靠性等方面都具有傳統(tǒng)的大型機(jī)和對稱多處理系統(tǒng)所無法比擬的優(yōu)勢。

計(jì)算機(jī)集群系統(tǒng)就是指將一系列的同構(gòu)或異構(gòu)的計(jì)算機(jī)通過高速網(wǎng)絡(luò)連接在一起，來協(xié)同完成特定任務(wù)的功能更加強(qiáng)大的計(jì)算機(jī)系統(tǒng)。集群系統(tǒng)采用的操作系統(tǒng)主要有VMS、UNIX、WindowsNT和Linux。集群是一種并行或分布式的處理系統(tǒng)，由多臺互聯(lián)的獨(dú)立計(jì)算機(jī)（稱為節(jié)點(diǎn)）整合而成，像一個單獨(dú)的計(jì)算資源一樣協(xié)同工作。集群的節(jié)點(diǎn)可以是PC、工作站或者對稱多處理機(jī)（SMP），每個節(jié)點(diǎn)都擁有自己的CPU、內(nèi)存、I／0設(shè)備和操作系統(tǒng)，可以提供大量的冗余設(shè)備來保證集群系統(tǒng)的高可用性。集群的計(jì)算能力隨著節(jié)點(diǎn)數(shù)量的增加而線性增加（如圖1）。

1 網(wǎng)絡(luò)存儲器技術(shù)的產(chǎn)生

隨著基于計(jì)算機(jī)集群系統(tǒng)的應(yīng)用的不斷擴(kuò)大，對整個系統(tǒng)性能的要求也就越來越高，越來越復(fù)雜的計(jì)算任務(wù)常常需要用到大量的數(shù)據(jù)，因此數(shù)據(jù)的I／0操作性能就成了影響計(jì)算機(jī)集群系統(tǒng)整體性能的一個重要指標(biāo)。根據(jù)系統(tǒng)平衡設(shè)計(jì)原理，系統(tǒng)使用最快部件所能達(dá)到的加速比受限制于最慢的系統(tǒng)部件，而目前限制計(jì)算機(jī)集群系統(tǒng)整體性能的主要因素就來自于計(jì)算機(jī)系統(tǒng)中的磁盤的I／O瓶頸。因此，提高計(jì)算機(jī)系統(tǒng)中磁盤的I／O性能就成了提高計(jì)算機(jī)集群系統(tǒng)整體性能所需要解決的首要問題。

通過分析計(jì)算機(jī)集群系統(tǒng)的資源優(yōu)勢，我們發(fā)現(xiàn)：一方面，由于網(wǎng)絡(luò)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)通訊延遲越來越小，網(wǎng)絡(luò)訪問比本地磁盤訪問的速度快得多。另一方面，整個計(jì)算機(jī)集群系統(tǒng)內(nèi)部的全部內(nèi)存是一個容量很大的資源。如果利用計(jì)算機(jī)集群內(nèi)其它節(jié)點(diǎn)的空閑內(nèi)存來作為本地節(jié)點(diǎn)的虛擬內(nèi)存或文件緩存，可以大幅度節(jié)省磁盤訪問時間，從而緩解磁盤的I／0瓶頸所帶來的問題。這種使用計(jì)算機(jī)集群系統(tǒng)內(nèi)的節(jié)點(diǎn)的主存提高計(jì)算機(jī)系統(tǒng)I／0性能的技術(shù)就稱為網(wǎng)絡(luò)存儲器技術(shù)。

伴隨著高性能網(wǎng)絡(luò)技術(shù)的出現(xiàn)和普及，計(jì)算機(jī)系統(tǒng)在傳統(tǒng)的存儲器層次中增加了一個新的層次一網(wǎng)絡(luò)存儲器（Net—work Memory）。計(jì)算機(jī)的性能依賴于系統(tǒng)內(nèi)處理器與存儲器之間數(shù)據(jù)交換的速度，網(wǎng)絡(luò)存儲器正是通過提高處理器與存儲器之間的數(shù)據(jù)交換的速度來提高計(jì)算機(jī)系統(tǒng)性能的，并進(jìn)而提高整個計(jì)算機(jī)集群系統(tǒng)的性能。

2 計(jì)算機(jī)存儲結(jié)構(gòu)的變化

在計(jì)算機(jī)存儲結(jié)構(gòu)當(dāng)中，存儲器的用途是多種多樣的，如寄存器、高速緩存、主存儲器和磁盤等。憑借高速緩存和操作系統(tǒng)對存儲器的管理與分配等技術(shù)，使得整個存儲系統(tǒng)的速度接近于系統(tǒng)內(nèi)速度最快的那個存儲器，容量接近于容量最大的那個存儲器。存儲結(jié)構(gòu)的性能由各層次的有效存取時間決定，它依賴于相鄰層次的命中率、訪問頻率和存取速度比。命中率越高，訪問頻率越低，則性能越高。在命中率和訪問頻率一定的情況下，下一層次的存儲器的訪問速度越快，則性能越高。

2．1 傳統(tǒng)的計(jì)算機(jī)存儲結(jié)構(gòu)

在傳統(tǒng)的計(jì)算機(jī)存儲結(jié)構(gòu)中（如圖2），以主存儲器為分界線，主要可以分為上下兩層，上層是由外部高速緩存和主存儲器構(gòu)成的高速緩存存儲系統(tǒng)，下層則是由磁盤或磁帶等大容量存儲設(shè)備構(gòu)成的存儲系統(tǒng)。

隨著集群技術(shù)的普及與廣泛應(yīng)用，低速磁盤與高速內(nèi)存之間的速度瓶頸問題就顯得尤為突出，有必要尋找一種辦法來緩解內(nèi)存與磁盤之間的速度不匹配問題。

要緩解這個矛盾，有三種辦法。第一，提高磁盤自身的存取速度。而這需要大量的資金與精力的投入，在目前看來，是不現(xiàn)實(shí)的，也是不可取的。第二，像解決高速處理器與內(nèi)存的速度瓶頸問題一樣，在本地主存儲器和本地磁盤之間也插入一種類似于高速緩存的存儲介質(zhì)。第三，使用網(wǎng)絡(luò)空閑內(nèi)存代替本地磁盤，與本地主存儲器進(jìn)行數(shù)據(jù)交換。目前高速發(fā)展的網(wǎng)絡(luò)互聯(lián)技術(shù)使得后兩種辦法成為可能，那就是網(wǎng)絡(luò)存儲器。

2．2 具有網(wǎng)絡(luò)存儲器的計(jì)算機(jī)存儲結(jié)構(gòu)

應(yīng)用了網(wǎng)絡(luò)存儲器的計(jì)算機(jī)存儲結(jié)構(gòu)發(fā)生了改變，如圖3所示，對于第二種解決方法，網(wǎng)絡(luò)存儲器在主存儲器和磁盤之間充當(dāng)了一個緩存的角色，這樣可以有效地緩解內(nèi)存和磁盤之間速度瓶頸的問題。對于第三種解決方法，網(wǎng)絡(luò)存儲器在計(jì)算機(jī)存儲結(jié)構(gòu)中的位置會有相應(yīng)的變化。

3 網(wǎng)絡(luò)存儲器的可行性分析

為了考查實(shí)際情況下的網(wǎng)絡(luò)存儲器，可以考查一個工作站集群，這個集群有100個工作站，每個工作站各有一個處理器，內(nèi)存為64MB或128MB，硬盤為 2GB或4GB。工作站以155Mb／s的ATM連接，典型的延遲是20微秒，帶寬為15Mb／s。這種環(huán)境下，很多工作站上裝載了用戶的應(yīng)用程序以及正在使用的集群資源（CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)）。根據(jù)統(tǒng)計(jì)情況，在給定的時間內(nèi)，仍有相當(dāng)多的資源沒有被利用。在夜間，甚至有80％～90％的工作站都被閑置著，即使在一天中最忙的時候，仍有三分之一的工作站完全未用，通常晚上有超過l千兆字節(jié)的存儲器空閑。在任何時間，在50臺機(jī)器的網(wǎng)絡(luò)中有30臺是空閑的。

圖4是希臘計(jì)算機(jī)科學(xué)學(xué)院（ICS）計(jì)算機(jī)結(jié)構(gòu)與VLSI系統(tǒng)小組提出的模型，該模型是一個由16臺工作站組成的共800M主存的集群。由圖4可以看出，絕大多數(shù)時間集群內(nèi)空閑內(nèi)存都超過了700MB，尤其在夜間和周末。

盡管網(wǎng)絡(luò)存儲器由可變的存儲器組成，但由于它分布在許多獨(dú)立的工作站上，所以能提供較好的數(shù)據(jù)可靠性，如果一臺工作站崩潰了，存在其他工作站內(nèi)存中的數(shù)據(jù)依然完整，通過某種形式的冗余，如數(shù)據(jù)復(fù)制，可以重構(gòu)崩潰工作站內(nèi)存中的數(shù)據(jù)。

4 網(wǎng)絡(luò)存儲器的性能分析

網(wǎng)絡(luò)存儲器有杰出的性價比。表l是一個有100臺工作站、20微秒延遲和15兆字節(jié)/秒帶寬的工作站網(wǎng)絡(luò)的存儲器各層次性能表。假設(shè)集群中至少有50％的網(wǎng)絡(luò)存儲器是空閑的，可看出網(wǎng)絡(luò)存儲器比硬盤性能好得多，比本地內(nèi)存甚至硬盤容量大得多，而實(shí)際上幾乎沒有什么成本。這種性價比使得網(wǎng)絡(luò)存儲器成為一個非常好地解決計(jì)算機(jī)系統(tǒng)I／O性能瓶頸的可行方案。

5 網(wǎng)絡(luò)存儲器的設(shè)計(jì)方法

根據(jù)網(wǎng)絡(luò)存儲器的不同應(yīng)用形式，網(wǎng)絡(luò)存儲器的設(shè)計(jì)方法可以分為以下三種：

1）網(wǎng)絡(luò)存儲器調(diào)頁：由于網(wǎng)絡(luò)存儲器性能介于硬盤與本地內(nèi)存之間，因此在存儲器層次關(guān)系中，可以看作是硬盤和本地內(nèi)存之間的一個中間層。這個附加的存儲層將給應(yīng)用程序帶來好處，因?yàn)榫W(wǎng)絡(luò)存儲器的頁交換速度比硬盤快，所以總的訪問內(nèi)存時間就會小很多。

2）網(wǎng)絡(luò)存儲器文件系統(tǒng)

a）網(wǎng)絡(luò)存儲器作為文件緩存：在集群工作站中，網(wǎng)絡(luò)文件系統(tǒng)在多個工作站上運(yùn)行，當(dāng)許多工作站通過文件系統(tǒng)如VFS訪問相同文件時，文件就會被高速緩沖到多個客戶機(jī)上，形成多個緩沖副本，浪費(fèi)了緩存空間。為了提高文件緩存的調(diào)度，在各個工作站已有一個本地文件緩存的情況下，創(chuàng)建一個全局網(wǎng)絡(luò)存儲文件系統(tǒng)緩存相當(dāng)重要。這種本地緩存統(tǒng)一成為一個全局緩存，增強(qiáng)文件緩存性能的技術(shù)叫做協(xié)作緩存。采用協(xié)作緩存技術(shù)，緩存所有本地協(xié)調(diào)交換信息，從而可以消除緩存文件副本，在必要時也可以共享內(nèi)容。

b）網(wǎng)絡(luò)存儲器作為存儲設(shè)備：另一種解決磁盤I／0性能問題的方法是使用可靠的網(wǎng)絡(luò)存儲器來直接存儲臨時文件。采用這種方法的設(shè)備，稱為網(wǎng)絡(luò)隨機(jī)磁盤 Network RamDisk（NRD）。NRD是塊設(shè)備，它通過虛擬磁盤接口統(tǒng)一了N0W中所有空閑的主存，它像一個傳統(tǒng)磁盤，允許在上面創(chuàng)建文件和文件系統(tǒng)，由于它是在主存RAM中實(shí)現(xiàn)的，因而提供了比大多數(shù)傳統(tǒng)磁盤低的延遲和高的帶寬。

3）網(wǎng)絡(luò)存儲器數(shù)據(jù)庫：網(wǎng)絡(luò)存儲器可以作為一個大的（分布式的）數(shù)據(jù)庫高速緩存和作為一個快速的非易變數(shù)據(jù)緩存來存放數(shù)據(jù)庫敏感數(shù)據(jù)。事務(wù)處理雖然在原子性和可恢復(fù)性方面已得到好的評價，但由于大多數(shù)基于事務(wù)處理的系統(tǒng)要存儲大量的數(shù)據(jù)，因此性能受到限制。使用網(wǎng)絡(luò)存儲器能將基于事務(wù)的系統(tǒng)性能與磁盤性能分開，從而增強(qiáng)系統(tǒng)性能。對事務(wù)處理系統(tǒng)的開發(fā)原型進(jìn)行實(shí)驗(yàn)測試顯示：網(wǎng)絡(luò)存儲器的應(yīng)用可以提高兩個數(shù)量級的性能。

6 結(jié)束語

網(wǎng)絡(luò)存儲器設(shè)計(jì)方法的基本思想就是盡量使用網(wǎng)絡(luò)存儲器來代替磁盤訪問，用以提高系統(tǒng)I／O性能。這些設(shè)計(jì)方法可在一般硬件上用軟件來開發(fā)。除此之外，有許多硬件組件，如SCI、Telegxaphs和SHRIMP，提供了特別的原始操作，增強(qiáng)了網(wǎng)絡(luò)存儲器系統(tǒng)的性能。網(wǎng)絡(luò)存儲器技術(shù)使用網(wǎng)絡(luò)空閑內(nèi)存作為存儲介質(zhì)，改變了傳統(tǒng)的計(jì)算機(jī)系統(tǒng)I／O訪問的層次結(jié)構(gòu)，提供了遠(yuǎn)遠(yuǎn)高于磁盤的訪問速度，具有良好的應(yīng)用前景。

責(zé)任編輯：gt