IBM 近日提出的全新芯片設(shè)計(jì)可以通過在數(shù)據(jù)存儲(chǔ)的位置執(zhí)行計(jì)算來加速全連接神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。研究人員稱，這種「芯片」可以達(dá)到 GPU 280 倍的能源效率，并在同樣面積上實(shí)現(xiàn) 100 倍的算力。該研究的論文已經(jīng)發(fā)表在上周出版的 Nature 期刊上。

在最近發(fā)表在Nature上的一篇論文中，IBM Research AI團(tuán)隊(duì)用大規(guī)模的模擬存儲(chǔ)器陣列訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)（DNN），達(dá)到了與GPU相當(dāng)?shù)木取Ｑ芯咳藛T相信，這是在下一次AI突破所需要的硬件加速器發(fā)展道路上邁出的重要一步。

未來人工智能將需要大規(guī)模可擴(kuò)展的計(jì)算單元，無論是在云端還是在邊緣，DNN都會(huì)變得更大、更快，這意味著能效必須顯著提高。雖然更好的GPU或其他數(shù)字加速器能在某種程度上起到幫助，但這些系統(tǒng)都不可避免地在數(shù)據(jù)的傳輸，也就是將數(shù)據(jù)從內(nèi)存?zhèn)鞯接?jì)算處理單元然后回傳上花費(fèi)大量的時(shí)間和能量。

模擬技術(shù)涉及連續(xù)可變的信號(hào)，而不是二進(jìn)制的0和1，對(duì)精度具有內(nèi)在的限制，這也是為什么現(xiàn)代計(jì)算機(jī)一般是數(shù)字型的。但是，AI研究人員已經(jīng)開始意識(shí)到，即使大幅降低運(yùn)算的精度，DNN模型也能運(yùn)行良好。因此，對(duì)于DNN來說，模擬計(jì)算有可能是可行的。

但是，此前還沒有人給出確鑿的證據(jù)，證明使用模擬的方法可以得到與在傳統(tǒng)的數(shù)字硬件上運(yùn)行的軟件相同的結(jié)果。也就是說，人們還不清楚DNN是不是真的能夠通過模擬技術(shù)進(jìn)行高精度訓(xùn)練。如果精度很低，訓(xùn)練速度再快、再節(jié)能，也沒有意義。

在IBM最新發(fā)表的那篇Nature論文中，研究人員通過實(shí)驗(yàn)，展示了模擬非易失性存儲(chǔ)器（NVM）能夠有效地加速反向傳播（BP）算法，后者是許多最新AI進(jìn)展的核心。這些NVM存儲(chǔ)器能讓BP算法中的“乘-加”運(yùn)算在模擬域中并行。

研究人員將一個(gè)小電流通過一個(gè)電阻器傳遞到一根導(dǎo)線中，然后將許多這樣的導(dǎo)線連接在一起，使電流聚集起來，就實(shí)現(xiàn)了大量計(jì)算的并行。而且，所有這些都在模擬存儲(chǔ)芯片內(nèi)完成，不需要數(shù)字芯片里數(shù)據(jù)在存儲(chǔ)單元和和處理單元之間傳輸?shù)倪^程。

IBM的大規(guī)模模擬存儲(chǔ)器陣列，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)達(dá)到了GPU的精度

（圖片來源：IBM Research）

由于當(dāng)前NVM存儲(chǔ)器的固有缺陷，以前的相關(guān)實(shí)驗(yàn)都沒有在DNN圖像分類任務(wù)上得到很好的精度。但這一次，IBM的研究人員使用創(chuàng)新的技術(shù)，改善了很多不完善的地方，將性能大幅提升，在各種不同的網(wǎng)絡(luò)上，都實(shí)現(xiàn)了與軟件級(jí)的DNN精度。

單獨(dú)看這個(gè)大規(guī)模模擬存儲(chǔ)器陣列里的一個(gè)單元，由相變存儲(chǔ)器（PCM）和CMOS電容組成，PCM放長期記憶（權(quán)重），短期的更新放在CMOS電容器里，之后再通過特殊的技術(shù)，消除器件與器件之間的不同。研究人員表示，這種方法是受了神經(jīng)科學(xué)的啟發(fā)，使用了兩種類型的“突觸”：短期計(jì)算和長期記憶。

這些基于NVM的芯片在訓(xùn)練全連接層方面展現(xiàn)出了極強(qiáng)的潛力，在計(jì)算能效 （28,065 GOP/sec/W） 和通量（3.6 TOP/sec/mm^2）上，超過了當(dāng)前GPU的兩個(gè)數(shù)量級(jí)。

這項(xiàng)研究表明了，基于模擬存儲(chǔ)器的方法，能夠?qū)崿F(xiàn)與軟件等效的訓(xùn)練精度，并且在加速和能效上有數(shù)量級(jí)的提高，為未來設(shè)計(jì)全新的AI芯片奠定了基礎(chǔ)。研究人員表示，他們接下來將繼續(xù)優(yōu)化，處理全連接層和其他類型的計(jì)算。