位置、位置、位置，這并不只是房地產界的核心詞。為了滿足人工智能（AI）和機器學習應用的需求，這個詞被越來越多地應用于數據存儲，如數據存儲的位置以及存放數據的存儲器。

但解決這種位置的挑戰不只是存儲器供應商應做的工作，與AI相關的供應商也扮演著重要角色。盡管存儲距離計算越來越近，但解決方案的很大一部分在于存儲互連。Rambus研究員Steve Woo最近在AI硬件峰會上主持了一次在線圓桌論壇，討論了存儲器互連的挑戰和解決方案，他說：“我們都在為AI的不同方面而工作。”

Marvell的ASIC事業部CTO Igor Arsovski在17年前曾經做過SRAM設計工程師。他說，慕尼黑啤酒節（Oktoberfest）因為新冠肺炎疫情取消了，而把存儲互連比做啤酒很合適。參加啤酒節，可以很容易喝到啤酒。“而SRAM就好像近在身邊的啤酒一樣。它隨手可得，不需要耗費多少能量，而且只要您需要，它就在那兒，就像擁有一個不錯的高性能加速器。”但是，如果沒有足夠的存儲空間，就需要走遠一點，同時也需要花費更多能量來獲取它，就好像必須走更遠才能買到大桶啤酒一樣。

Arsovski 說，對存儲器而言，大桶啤酒就好像高帶寬存儲器（HBM），它正越來越多地被AI所采用。“訪問這種存儲器需要花費約60倍的能量。那里容量雖然大得多，但訪問它的帶寬卻很少。”將啤酒類比擴展到LPDDR之類的技術，這種技術比SRAM更先進。他說：“LPDDR功耗明顯更高，但容量更大。這就像沿著那條路走到您最喜愛的酒吧，在那里有幾桶啤酒等著您。”

Arsovski表示，下一代加速器的發展方向是將那些存儲器放在加速器正上方，讓存儲離計算更近。MLCommons執行董事David Kanter補充說，這個啤酒類比概述了不同的封裝途徑以及在何處安放不同的硅片。MLCommons是一個提供機器學習標準和AI推理基準的組織，其成員涵蓋學術界和工業界。他說道：“這使我們對不同的工作負載有非常全面的了解。MLCommons正在開始采取一些措施，其中重點之一就是建立咨詢委員會，以吸收特定應用領域的一些資深專家。”

Kanter說，對存儲器而言，整個系統環境至關重要。“您必須考慮系統要實現什么，這將決定要考慮的問題。”他說，當涉及到存儲器的位置和連接時，芯片、封裝和電路板都是必須考慮的要素。“在陣列結構、單元類型以及距離方面，有很多地方可以優化。”

Kanter說，明白哪里需要帶寬以及非易失性也是關鍵的考量因素。“希望這將引導做出正確的選擇。”

對于那些傳統上并不屬于存儲系統構建流程的公司而言，這些考量因素至關重要。Google軟件工程師Sameer Kumar花費大量時間在編譯器和可擴展系統上，這些系統的網絡和存儲帶寬對不同的機器學習模型非常重要，包括其大規模批量操作的能力。他說：“人工智能訓練涉及許多存儲方面的優化，”這是在編譯器中獲得極高效率的最關鍵步驟，它意味著存儲也需要更加智能。

Woo認為，數據移動實際上已經開始主宰AI應用的某些階段，所以存儲互連變得越來越重要。“性能和能效成為日益重要的問題”，提高數據速率極具挑戰性，因為所有人都希望將數據移動速度加倍，能效也加倍。“我們以前所依賴的許多技巧和技術都已不再適用，或者正在被慢慢淘汰。我們有極好的機會來思考新的體系架構，并在移動數據的方式上進行創新。”

Woo表示，創新不僅在存儲器件本身上，而且還包括封裝，以及堆疊等新技術。在創新的同時，還要確保數據的安全性，這是Rambus目前越來越關注的。

Rambus感受到業界對3D堆棧的極大興趣，但如果帶寬不隨堆棧容量增加而相應增加的話，其可用性會受到限制。（圖片來源：Rambus）

Arsovski表示，Marvell花費了大量時間為客戶建立AI系統，為客戶提供帶寬相關信息，如每個芯片邊緣有多少帶寬可以用于數據移動，以及有多少帶寬可以用于訪問存儲器。他說：“到目前為止，我們已經可以看到，客戶需要更多的存儲帶寬和更多的I / O帶寬。如果看看封裝級別的互連，可以看到存在很大的不匹配。我們現在已經到達瓶頸，高端芯片-芯片連接的需求壓力持續增大。”

Arsovski表示，從存儲器的角度來看，對于那些無法在裸片上直接構建AI模型的設計師來說，其下一步考慮應該是HBM或GDDR。但是也有很多轉而采用3D堆疊，以嘗試獲得更大的帶寬，因為在芯片邊緣移動數據的容量有限。“客戶希望得到越來越多的I/O帶寬，而我們在邊緣數據移動上遇到了瓶頸。”

Kanter說，即使在機器學習的世界中，也存在著“很大的多樣性”，這對生態系統既有制約，也有促進，記住這一點很重要。對于常規DRAM來說，隨機查找龐大的數據結構不適合單個節點，這意味著如果您想將數據真正保存在存儲器中，則需要構建一個非常大的系統集群。他說：“與傳統的面向視覺的模型相比，其特征和屬性完全不同。在存儲方面要牢記這一多樣性，這一點非常重要。”

Kanter說，當需要將大量存儲和計算整合在一起時，就需要互連了。“要進行大規模訓練，迫切需要既適合客戶又適合要解決問題的互連方案。”他說，對于前沿應用來說，互連將特別重要。“如果您只想為一個小型網絡訓練一個GPU，那么關鍵因素可能就是存儲帶寬。”

Kumar說，更多的存儲帶寬可以實現不同種類的優化，但是如果模型特別受存儲限制，就有必要引入更多的計算。“如果有更多的存儲吞吐量可用，甚至有更多的互連吞吐量可用，將可能會使模型設計更加靈活，而且可以啟用新功能，并一起構建各種類型的模型。”

Woo表示，Rambus感受到大家對3D堆棧興趣濃厚，但隨著堆棧越來越高，增加進出堆棧的帶寬也變得越來越困難。“如果只是增加堆棧容量，但沒有增加相應的帶寬，那方案的實用性就成問題了。”

他說，關鍵點在于尋找合適的方案，既能保持填充頻率，又能利用堆疊能效方面的優勢，從而使帶寬與容量和堆疊之間具有相對恒定的比率。

Kumar和Arsovski都認為需要一個平衡、可擴展的系統，這種系統具有精心設計的軟件堆棧。 Arsovski說，“我們所說的是一種可以良好擴展的類腦結構。”它必須低功耗且具有大量連接，而現在，3D堆疊是我們能做到最接近的結構，但仍然存在功耗、封裝和機械結構方面的挑戰。 “我們需要研究出一個高度并行的系統，其每個層級的功耗都極低，而不必擔心要為冷卻耗費數千瓦的功率。”

他說，是時候開始尋找適合AI系統的下一個基本構建模塊了。“一直以來，我們都采用晶體管作為基本單元，迄今為止，它們都發揮出色。我們通常會依賴我們所知道和喜愛的技術，并且希望它持續發展。但現在我們需要重頭開始設計了。”

(參考原文:AI Drives Memory Interconnect Evolution)
編輯：hfy