IBM 的新型模擬內(nèi)存芯片證明了 AI 操作的性能和能源效率都是可能的。

8 月，由 30 名 IBM 研究科學(xué)家組成的團(tuán)隊(duì)推出了一款全新芯片，旨在大幅提高耗電深度學(xué)習(xí)推理的能源效率，同時(shí)保持運(yùn)算精度。這款名為 Hermes 的模擬內(nèi)存芯片將數(shù)字電路與相變內(nèi)存 (PCM) 相結(jié)合，因此神經(jīng)網(wǎng)絡(luò)計(jì)算可以在內(nèi)存電路內(nèi)進(jìn)行。

這種處理器和內(nèi)存配對(duì)消除了在內(nèi)存和處理單元之間無(wú)休止地洗牌大量數(shù)據(jù)的需要，就像典型的人工智能加速器芯片中發(fā)生的那樣。重要的是，分析表明該芯片與計(jì)算機(jī)視覺(jué)人工智能任務(wù)的數(shù)字芯片一樣擅長(zhǎng)，而且功耗卻低得多。

率先推出該芯片的 IBM 歐洲研究院團(tuán)隊(duì)負(fù)責(zé)人 Abu Sebastian 及其同事 Manuel Le Gallo-Bourdeau 和 Vijay Narayanan 在最近的博客中明確表示，他們現(xiàn)在已經(jīng)展示了實(shí)現(xiàn)快速、低功耗模擬AI芯片的架構(gòu)愿景所需的許多構(gòu)建模塊。正如該團(tuán)隊(duì)的一位 IBM 科學(xué)家所言，“我們的芯片仍處于研究階段，但我們現(xiàn)在將構(gòu)建盡可能多的硬件，以準(zhǔn)確了解它的功能并了解它的性能。”

耗電的人工智能

人工智能功耗問(wèn)題的根源在于馮·諾依曼瓶頸，該瓶頸以現(xiàn)代計(jì)算機(jī)架構(gòu)的先驅(qū)約翰·馮·諾依曼的名字命名。在這里，CPU 和內(nèi)存是獨(dú)立的實(shí)體，因此數(shù)據(jù)和計(jì)算必須不斷地在兩者之間來(lái)回穿梭。此過(guò)程會(huì)產(chǎn)生瓶頸，因?yàn)樘幚硭俣韧ǔ１葯z索數(shù)據(jù)或?qū)?shù)據(jù)寫(xiě)入內(nèi)存的速度更快。

長(zhǎng)期以來(lái)，設(shè)計(jì)人員一直在使用內(nèi)存緩存、流水線和分層內(nèi)存方案等解決方法來(lái)應(yīng)對(duì)瓶頸。最近，芯片巨頭專(zhuān)門(mén)開(kāi)發(fā)了加速器芯片來(lái)承擔(dān)新興的人工智能處理任務(wù)。例如，英偉達(dá)已經(jīng)從其 GPU 技術(shù)中取得了長(zhǎng)足的進(jìn)步。谷歌開(kāi)發(fā)了張量處理單元；英特爾提供多種解決方案，包括可針對(duì)人工智能計(jì)算進(jìn)行編程的 FPGA；高通則為移動(dòng)設(shè)備設(shè)計(jì)了人工智能加速器芯片。

盡管如此，人工智能的高能耗需求及其不斷增加的操作數(shù)量，需要一種更節(jié)能的方法，而這正是模擬內(nèi)存計(jì)算似乎將發(fā)揮關(guān)鍵作用的地方。

模擬內(nèi)存芯片可以通過(guò)直接在內(nèi)存內(nèi)執(zhí)行計(jì)算來(lái)規(guī)避馮·諾依曼瓶頸。模擬計(jì)算方案只需要幾個(gè)電阻或電容器，因此可以將它們重新定位到存儲(chǔ)器中，消除了存儲(chǔ)器和處理器之間的分離，從而提高了能源效率，遠(yuǎn)遠(yuǎn)超過(guò)了數(shù)字芯片。

IBM 在其最新的模擬人工智能芯片中采用了這種方法。該芯片采用 14 nm CMOS 設(shè)計(jì)和制造，包含 64 個(gè)計(jì)算核心，每個(gè)核心都有自己的 PCM 陣列以及用于額外神經(jīng)網(wǎng)絡(luò)操作（例如激活和累加）的輕型數(shù)字處理器。片上通信網(wǎng)絡(luò)將核心連接在一起，芯片中心的進(jìn)一步數(shù)字處理單元可以處理更苛刻的神經(jīng)網(wǎng)絡(luò)計(jì)算。

盡管使用 PCM 技術(shù)使其與眾不同，但 IBM 并不是唯一一家致力于模擬 AI 芯片的公司。例如，英特爾實(shí)驗(yàn)室的研究人員一直在研究靜態(tài)隨機(jī)存取存儲(chǔ)器和其他技術(shù)；美國(guó)初創(chuàng)公司Mythic專(zhuān)注于多級(jí)閃存；來(lái)自斯坦福大學(xué)、圣母大學(xué)、加州大學(xué)圣地亞哥分校和清華大學(xué)的研究人員開(kāi)發(fā)了一種神經(jīng)形態(tài)芯片，稱(chēng)為 NeuRRAM，它使用電阻式隨機(jī)存取存儲(chǔ)器。

PCM 是 IBM 的合理選擇，因?yàn)樵摴局辽倩耸陼r(shí)間開(kāi)發(fā)這些用于存儲(chǔ)應(yīng)用的材料，包括多級(jí) PCM 芯片。PCM 本身是一種非易失性隨機(jī)存取存儲(chǔ)器，加熱時(shí)會(huì)在低導(dǎo)電非晶相和高導(dǎo)電晶相之間切換。基于這些材料的設(shè)備可以利用相變，將電導(dǎo)的變化編碼為突觸權(quán)重，然后用于計(jì)算操作。

正如 IBM 的最新結(jié)果所示，這種連續(xù)的值（而不僅僅是數(shù)字設(shè)備中的 1 或 0）非常適合深度神經(jīng)網(wǎng)絡(luò)操作。

當(dāng)與基于類(lèi)似技術(shù)的其他芯片（包括 NeuRRAM 以及 Mythic 和 TSMC 開(kāi)發(fā)的芯片）進(jìn)行基準(zhǔn)測(cè)試時(shí)，IBM 的技術(shù)可以執(zhí)行矩陣向量乘法（這是人工智能運(yùn)算的基礎(chǔ)），速度至少提高 15 倍，并且能效相當(dāng)。值得注意的是，在使用人工智能訓(xùn)練彩色圖像數(shù)據(jù)庫(kù) CIFAR-10 進(jìn)行測(cè)試時(shí)，該芯片還被證明在圖像識(shí)別方面比其他芯片更準(zhǔn)確，挑戰(zhàn)了模擬內(nèi)存計(jì)算雖然節(jié)能但容易出現(xiàn)計(jì)算錯(cuò)誤的觀念。

“相變存儲(chǔ)器的優(yōu)勢(shì)在于它足夠穩(wěn)定，可以進(jìn)行一些相對(duì)準(zhǔn)確的計(jì)算，”IBM 科學(xué)家說(shuō)。“我們開(kāi)發(fā)了精確編程的技術(shù)，并且還詳細(xì)描述了錯(cuò)誤的特征。我們的精度對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)已經(jīng)足夠了。”

英特爾實(shí)驗(yàn)室研究科學(xué)家 Hechen Wang 也多年來(lái)一直致力于模擬內(nèi)存計(jì)算，他同意該方法可以實(shí)現(xiàn)卓越的能源效率。“研究人員大約五年前開(kāi)始研究模擬內(nèi)存，現(xiàn)在 IBM、imec、GlobalFoundries、臺(tái)積電、三星和其他公司和學(xué)術(shù)團(tuán)體開(kāi)始研究這項(xiàng)技術(shù)，”他說(shuō)。“如果我們想要進(jìn)行非常高效的AI計(jì)算，我們需要將處理單元放入內(nèi)存陣列，甚至內(nèi)存單元中。”

Hechen Wang說(shuō)，英特爾實(shí)驗(yàn)室正在尋求內(nèi)存計(jì)算的多種途徑，并探索一系列內(nèi)存技術(shù)。“對(duì)于哪種記憶才是正確的方向，我們還沒(méi)有得出結(jié)論。”

盡管如此， Hechen Wang相信 IBM 和其他公司的最新模擬內(nèi)存開(kāi)發(fā)正在對(duì)這個(gè)“熱門(mén)”領(lǐng)域產(chǎn)生積極影響。“IBM 的研究成果已經(jīng)發(fā)表在 Nature 論文上，說(shuō)實(shí)話，我從來(lái)沒(méi)想過(guò)會(huì)發(fā)生這種事，”他說(shuō)。“很多人閱讀了這些出版物，我希望這些結(jié)果能夠開(kāi)闊他們的視野，并吸引更多人對(duì)該領(lǐng)域的關(guān)注。”

下一步

自從在《自然電子》雜志上發(fā)表研究結(jié)果以來(lái)，IBM 歐洲研究人員明確表示，他們的工作證明模擬 AI 可以提供與傳統(tǒng)數(shù)字加速器相媲美的必要計(jì)算精度，而且能效更高。隨著基于人工智能的技術(shù)的興起，節(jié)能且準(zhǔn)確的推理硬件變得至關(guān)重要，研究人員的目標(biāo)是創(chuàng)建能夠執(zhí)行端到端推理操作的模擬內(nèi)存芯片。

與此同時(shí)，IBM 歐洲研究院表示，它打算利用 PCM 設(shè)備可達(dá)到的高突觸密度，構(gòu)建更大的芯片，能夠比競(jìng)爭(zhēng)對(duì)手的數(shù)字加速器運(yùn)行整個(gè)網(wǎng)絡(luò)操作。

IBM 科學(xué)家表示：“一旦我們真正展示了這項(xiàng)技術(shù)的前景，并且更多的人想要投資（該領(lǐng)域），那么我們就可以組建由數(shù)百名研究人員組成的團(tuán)隊(duì)來(lái)從事這項(xiàng)工作，這樣我們就可以將芯片投入生產(chǎn)模式。”

審核編輯：劉清