電子發燒友網報道（文/周凱揚）當下服務器市場在內存上面臨的一大挑戰就是成本，截至今日，我們在選擇云服務容器時，內存依然占了很大一部分，往往內存用量擴大一倍后，價格也隨之上漲了一倍。這其實與內存本身的擴展性有關，目前服務器上更大的存儲已經成為常態，但要想實現更大的內存始終存在瓶頸。因此，從2013年開始，每bit內存的價格基本趨于平緩了。

但服務器CPU的核心數增加的速度可沒有因此減緩下來，加上AI等新型工作負載的引入，更大的內存容量、更大的內存帶寬，都成了當下服務器內存面臨的痛點。為此，業界開始考慮從系統層級上來解決這些問題，比如為CPU增加DDR通道，好讓其支持更大的帶寬和容量。

但這就又引入了一系列新問題，為了滿足新增的DDR通道，需要更多的引腳，也提高了成本降低了可靠性，PCB的層數也開始增加。這也造就了整個服務器主板的尺寸變得異常大，甚至難以放進1U標準尺寸的機柜里。

CXL的靈活性和延遲

這時對于內存媒介無限制的CXL，就提供了一個靈活的內存接口，讓設計者可以從持久性、延遲、帶寬等各個參數特性上靈活選擇，讓服務器CPU不止可以使用常用的DDR內存，也能支持LPDDR5和持久內存等等。我們此前已經多次介紹過CXL了，這次就來講下作為內存擴展，CXL有哪些優勢。
比如一個80核的CPU，應用要求每個核心配置2GB的DDR5內存，也就是需要160GB的DDR5內存。如果采用16GB DIMM x8的配置明顯滿足不了，32GB x 8多出了96GB內存，徒增了近乎500美元的成本，使用32GB x 5這樣不跑滿通道的配置雖然容量對了，但是會降低帶寬和性能。

而這時我們反觀CXL，CXL可以在配置了原生DDR通道配置了8個16GB DIMM的情況下，再加入32GB的CXL內存，如此一來不僅滿足了內存容量的需求，還增加了額外的帶寬，況且我們已經提到了CXL并沒有內存媒介的限制，所以可以用上LPDDR5之類的CXL擴展內存進一步降低成本。

作為一個分布式內存，盡管CXL主打的是低延遲，但要說與CPU的內存、緩存和寄存器比起來，延遲還是有一定差距的。今年的Hot Chips上，CXL聯盟就給出了CXL在延遲上的具體數字。獨立于CPU外的CXL內存延遲在170-250ns左右，高過獨立于CPU的NVM、網絡連接的解構內存、SSD和HDD等。

雖然在我們看來這個數字已經很小了，但相較原生的主要內存，還是把延遲擴大了兩倍。來自Meta和AMD的兩位專家提出了一個概念，也就是對內存進行分層，分為用于實時分析等關鍵任務的“熱”內存、訪問不那么頻繁的“暖”內存和用于龐大數據的“冷”內存。“熱”內存頁面放在原生DDR內存里，而“冷”內存頁面則交給CXL內存。

然而在當前的軟件眼里，它們才分不清楚什么是“熱”內存和“冷”內存，原生內存用完后，就開始去占用CXL內存，如此一來原本作為“冷”內存的CXL，也開始變成“熱”內存。所以目前最大的挑戰就是在操作系統和軟件層面，如何檢測到“冷”內存頁面，將其主動轉入CXL內存里，為原生內存留出空間。Meta和AMD的兩位專家表示，他們已經在開發相應的軟硬件技術。

CXL或許不會成為HPC和AI應用的寵兒

固然CXL對于云服務廠商和諸多數據中心擁有不錯的吸引力，然而這種形式的內存可能并不適用于HPC與超算應用。“富岳之父”松岡聰教授表示CXL這種內存解構方案還存在不少技術問題，使其不能在主流的HPC甚至是AI負載中物盡其用。松岡聰教授并沒有給出具體的細節，但他給出了一個例子，那就是多年前SGI的NUMALINK系統也是采用了分布式內存解構的方式，但我們也都知道如今市面上的NUMALINK產品基本已經銷聲匿跡了。

但他并沒有徹底否認內存解構這種思路，就連富岳超算本身也用這一技術，從而將MPI進行put/get運算時的遠程內存訪問延遲降低至亞微秒級。但加入一個單獨的UMA內存池，已經在歷史中證明了這對HPC來說收效甚微。

首先，這需要更高硬件交換機成本，再者，在超算這種大型配置規模的系統上，缺乏對應的編程標準。因此，對于目前的HPC大型系統來說，CXL內存或許會先出現在一小部分節點上，比如一些需要近存或存內計算AI負載，而不會普及到整個系統。

寫在最后

其實對于CXL的擔心也沒必要那么多，對于服務器市場來說，低核心數的CPU依然會繼續使用原生DDR通道來配置DIMM內存。到了高核心數CPU上，再根據系統成本、容量、功耗和帶寬等參數來靈活應用CXL內存，而這才是CXL帶來的最大優勢，靈活性。況且目前CXL內存還沒有大規模量產出來，自然也沒有普及開來，大家對其實際性能表現還沒有個大致了解，也許引入CXL的延遲后，對性能的損失不會那么糟糕。