作者M(jìn)ichael McNerney,Supermicro

在《液冷時(shí)代的到來(lái),遠(yuǎn)超想象》中,我們探討了液體冷卻的興起,以及為什么它對(duì)如今的數(shù)據(jù)中心如此重要。這篇文章將重點(diǎn)介紹每種液冷方案的細(xì)節(jié)和利弊,并提供一些初步指引,為不同類型的企業(yè)所適用的液冷方案提供相關(guān)說(shuō)明和建議。

液冷技術(shù)主要有三種類型:直接冷卻芯片、浸沒(méi)式冷卻和后門熱交換器。就像我們?cè)谏弦黄恼轮刑接懺跀?shù)據(jù)中心的空氣冷卻和液體冷卻方案之間如何做出選擇時(shí)所說(shuō)的那樣,不同的部署項(xiàng)目和設(shè)備有著不同的需求,因此更適合采用某種特定的液冷方案。

直接冷卻芯片

第一種方案采用所謂的直接冷卻芯片(D2C)技術(shù)。大多數(shù)人都比較熟悉這種液冷方案,因?yàn)樗赑C愛(ài)好者中廣為采用。D2C裝置讓冷液流過(guò)發(fā)熱的電子設(shè)備,直接吸收芯片產(chǎn)生的熱量。之后受熱的液體被泵入冷卻系統(tǒng),利用風(fēng)扇和氣流將其冷卻至指定的溫度。最后,冷卻的液體回流至高溫電子設(shè)備,開(kāi)始下一個(gè)冷卻循環(huán)。

D2C是一種非常可靠的冷卻方式,但其裝置比較復(fù)雜。大多數(shù)D2C裝置都配備了多重液體“回路”,意即:將冷液泵送至計(jì)算機(jī)特定部位(如CPU、GPU和/或內(nèi)存)以實(shí)現(xiàn)冷卻。如果服務(wù)器機(jī)柜上有幾十個(gè)CPU、GPU和內(nèi)存插槽需要冷卻,那么就必須設(shè)置多重回路。因此,許多企業(yè)選擇創(chuàng)建水液分配模塊,類似于機(jī)柜的PDU。這樣可以更加輕松地創(chuàng)建和連接多重回路。

因?yàn)镈2C仍然有賴于空氣冷卻,所以它并不是最有效的冷卻方案,實(shí)際上,它的冷卻效率只有70%左右。因此,許多制造商積極探索其他更有效率的液冷方案。

浸沒(méi)式冷卻

在D2C之后最直接的冷卻方式是效率更高的浸沒(méi)式冷卻。浸沒(méi)式冷卻是指將整個(gè)服務(wù)器浸沒(méi)在裝有非導(dǎo)電液體的儲(chǔ)罐中。當(dāng)服務(wù)器釋放熱量時(shí),周圍液體的溫度升高,同時(shí)液面也會(huì)上升,而冷液則從底部泵入儲(chǔ)罐。接著,較熱的液體被泵出儲(chǔ)罐,在外部進(jìn)行冷卻。浸沒(méi)式冷卻是一個(gè)閉環(huán),因此它不僅不需要風(fēng)扇,而且實(shí)踐已經(jīng)證明它可以非常有效地移除CPU和GPU產(chǎn)生的熱量。

浸沒(méi)式冷卻方案還有一個(gè)額外的優(yōu)勢(shì),那便是可以提高硬件的壽命和可靠性,因?yàn)橛布挥帽┞对谘鯕饧捌渌g性材料中。阿里巴巴2018年開(kāi)展的一項(xiàng)研究表明,對(duì)于在高海拔地區(qū)運(yùn)行的服務(wù)器和數(shù)據(jù)中心來(lái)說(shuō),浸沒(méi)式冷卻的優(yōu)勢(shì)尤為顯著。因?yàn)楦吆０蔚貐^(qū)空氣密度發(fā)生變化,空氣冷卻的效率往往有所降低。事實(shí)上,相較于所有其他冷卻類型,浸沒(méi)式冷卻在高海拔地區(qū)的成功率最高。

然而,這并非意味著浸沒(méi)式冷卻是最佳解決方案。實(shí)施浸沒(méi)式冷卻的最大挑戰(zhàn)是服務(wù)器和數(shù)據(jù)中心的長(zhǎng)久以來(lái)的設(shè)計(jì):目前的標(biāo)準(zhǔn)數(shù)據(jù)中心都是針對(duì)立式機(jī)柜而非立式儲(chǔ)罐而建造。浸沒(méi)式冷卻儲(chǔ)罐要求安裝懸掛式升降機(jī),以便將服務(wù)器從儲(chǔ)罐中垂直吊取出來(lái),但這樣會(huì)導(dǎo)致成本高昂,一些數(shù)據(jù)中心根本不具備這樣的條件。

此外,由于浸沒(méi)式冷卻儲(chǔ)罐裝滿了非導(dǎo)電液體,因此維修浸沒(méi)其中的服務(wù)器可能會(huì)相對(duì)費(fèi)力。在技術(shù)人員對(duì)服務(wù)器進(jìn)行操作之前,需要先將服務(wù)器從儲(chǔ)罐中吊取出來(lái),并清除掉所有液體。因此,大多數(shù)專家建議聘用浸沒(méi)式冷卻團(tuán)隊(duì),以協(xié)助企業(yè)實(shí)施浸沒(méi)式冷卻方案。雖然這需要一定程度的資金投入,但其結(jié)果可以顯著降低數(shù)據(jù)中心的總體功耗和成本。

后門熱交換器

另外一種靠近熱源散熱的常用方法是安裝后門熱交換器(RDHx),從技術(shù)上來(lái)講它并不屬于液冷系統(tǒng)。RDHx是在現(xiàn)有立式機(jī)柜的背面安裝一些附件,包括一系列有冷卻液體流動(dòng)的管道。有了RDHx冷卻服務(wù)器背后的空氣(廢氣),機(jī)柜本身就可以通過(guò)標(biāo)準(zhǔn)風(fēng)扇冷卻系統(tǒng)獲得更加有效的冷卻。

該方案允許數(shù)據(jù)中心保留其現(xiàn)有的空調(diào)系統(tǒng),同時(shí)以較低強(qiáng)度運(yùn)行。RDHx還可以連接傳統(tǒng)的立式機(jī)柜和服務(wù)器,因此無(wú)需更換設(shè)備或重新設(shè)計(jì)數(shù)據(jù)中心。此外,許多RDHx還配備了濕度檢測(cè)傳感器,以便服務(wù)器在發(fā)生泄漏時(shí)自動(dòng)關(guān)閉,從而更好地保障操作人員的安全。總的來(lái)說(shuō),RDHx方案成本更低,也更容易為許多企業(yè)所接受。

結(jié)論

每個(gè)企業(yè)和數(shù)據(jù)中心都有自己獨(dú)特的需求,因此必須匹配最合適的冷卻方案。總體而言,現(xiàn)有的眾冷卻方案都能夠確保新一代系統(tǒng)以最高性能運(yùn)行,同時(shí)降低數(shù)據(jù)中心的總體能耗,通過(guò)液冷方法提升服務(wù)器的電源使用效率(PUE)可謂極具吸引力。數(shù)據(jù)中心采用各種液冷技術(shù)可以將PUE降低至1.1到1.25,從而優(yōu)化計(jì)算性能并大幅節(jié)省運(yùn)營(yíng)成本。

作者簡(jiǎn)介

Michael McNerney是Supermicro的市場(chǎng)營(yíng)銷與網(wǎng)絡(luò)安全副總裁。他在企業(yè)級(jí)硬件領(lǐng)域積累了20多年的豐富工作經(jīng)驗(yàn),并在產(chǎn)品戰(zhàn)略和軟件設(shè)計(jì)方面創(chuàng)造了優(yōu)秀的業(yè)績(jī)。在加入Supermicro之前,Michael還曾在Sun Microsystems和惠普公司擔(dān)任過(guò)領(lǐng)導(dǎo)職務(wù)。

審核編輯：符乾江