多年來(lái)，電氣工程師和計(jì)算機(jī)科學(xué)家一直在努力尋找如何更快，更有效地執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的方法。實(shí)際上，設(shè)計(jì)適合神經(jīng)網(wǎng)絡(luò)計(jì)算的加速器最近已經(jīng)成為活躍的溫床，最常見的解決方案是GPU，它與各種特定于應(yīng)用的IC（例如Google的 Tensor Processing Unit ）和現(xiàn)場(chǎng)可編程門陣列展開競(jìng)爭(zhēng)。

現(xiàn)在，另一位競(jìng)爭(zhēng)者剛剛進(jìn)入了這個(gè)競(jìng)技場(chǎng)，它基于一種完全不同的范例：光計(jì)算。麻省理工學(xué)院的一個(gè)名為 Lightmatter的分支機(jī)構(gòu)在近日的Hot Chips線上會(huì)議上描述了其“ Mars ”設(shè)備。Lightmatter不是唯一采用這種新穎策略的公司，但它似乎領(lǐng)先于競(jìng)爭(zhēng)對(duì)手。

不過(guò)，我（作者）把這種方法稱為“新穎”可能會(huì)有點(diǎn)誤導(dǎo)大家。事實(shí)上，光學(xué)計(jì)算有著悠久的歷史。早在20世紀(jì)50年代末，它就被用于處理第一批合成孔徑雷達(dá)（synthetic-aperture radar，SAR）圖像，這些圖像是在數(shù)字計(jì)算機(jī)無(wú)法完成必要的數(shù)學(xué)計(jì)算任務(wù)的時(shí)候建造的。這解釋了為什么工程師要制造各種各樣的模擬計(jì)算機(jī)，這些模擬計(jì)算機(jī)基于spinning disks，sloshing fluids，continuous amounts of electric charge甚至光線。

在過(guò)去的幾十年中，研究人員不時(shí)地重新提出了用光來(lái)計(jì)算事物的想法，但這一概念并沒有被證明對(duì)任何事物都有廣泛的實(shí)用性。當(dāng)涉及到神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)，Lightmatter正在嘗試改變這一現(xiàn)狀。Mars裝置的核心是一個(gè)芯片，該芯片中包括一個(gè)模擬光學(xué)處理器，專門設(shè)計(jì)用于執(zhí)行神經(jīng)網(wǎng)絡(luò)基本的數(shù)學(xué)運(yùn)算。

這里的關(guān)鍵操作是矩陣乘法，該乘法包括將數(shù)字對(duì)相乘并相加結(jié)果。可以構(gòu)成光的加法并不奇怪，因?yàn)楫?dāng)兩束光束結(jié)合時(shí)，構(gòu)成光的電磁波會(huì)疊加在一起。

更棘手的問題是如何用光來(lái)做乘法運(yùn)算。讓我在這里概述一下，當(dāng)然，如果想了解更全面的描述，我建議閱讀Lightmatter在其博客上提供的關(guān)于其技術(shù)的相關(guān)文章。

Lightmatter光學(xué)處理器的基本單位是所謂的 Mach-Zehnder干涉儀的裝置 。Ludwig Mach和Ludwig Zehnder在19世紀(jì)90年代發(fā)明了這種設(shè)備，所以我們這里所說(shuō)的并不是完全現(xiàn)代的東西。新的想法是將許多Mach-Zehnder干涉儀縮小到納米級(jí)尺寸，并將它們集成到一個(gè)芯片上，以加快神經(jīng)網(wǎng)絡(luò)計(jì)算的速度。

這種干涉儀將入射光分成兩束，然后經(jīng)過(guò)兩條不同的路徑，將產(chǎn)生的兩個(gè)光束重新組合。如果兩條路徑相同，那么輸出看起來(lái)就像輸入。但是，如果兩個(gè)光束中的一個(gè)必須比另一個(gè)光束傳播得更遠(yuǎn)或速度減慢，則它會(huì)與另一個(gè)光束異相。在極端情況下，它可能是完全180度（半波長(zhǎng)）的相位不一致，在這種情況下，當(dāng)重新組合時(shí)，兩束光束會(huì)產(chǎn)生破壞性的干涉，并且輸出完全為零。

一般來(lái)說(shuō)，光在輸出端的場(chǎng)振幅將是輸入端的光振幅乘以在其兩臂行進(jìn)的光之間相位差的一半的余弦。如果你能用一些方便的方法控制相位差，你就有了一個(gè)可以進(jìn)行乘法運(yùn)算的裝置。

Lightmatter的Mach-Zehnder干涉儀是通過(guò)在納米光子芯片中為光形成適當(dāng)?shù)男〔▽?dǎo)而構(gòu)建的。通過(guò)使用折射率取決于其所受電場(chǎng)的材料，可以簡(jiǎn)單地通過(guò)施加電壓來(lái)產(chǎn)生電場(chǎng)來(lái)控制分裂光束的相對(duì)相位，就像給電容器充電一樣。在光物質(zhì)的芯片中，這是通過(guò)在干涉儀的一個(gè)臂上施加一個(gè)極性的電場(chǎng)，在另一個(gè)臂上施加相反極性的電場(chǎng)來(lái)實(shí)現(xiàn)的。

就像電容器一樣，電流僅在電荷積累時(shí)流動(dòng)。一旦有足夠的電荷來(lái)提供所需強(qiáng)度的電場(chǎng)，就不再有電流流動(dòng)，因此就不再需要能量。這很重要，因?yàn)檫@意味著一旦你設(shè)置了要應(yīng)用的乘數(shù)的值，并且隨后該值（神經(jīng)網(wǎng)絡(luò)計(jì)算中的“權(quán)重”）沒有變化，則不再需要能量。通過(guò)芯片的光流同樣不消耗能量。所以這里有一個(gè)非常有效的乘法系統(tǒng)，一個(gè)以光速運(yùn)行的系統(tǒng)。

各種模擬計(jì)算機(jī)的缺點(diǎn)之一是它們可以執(zhí)行的計(jì)算精度有限。這也是Lightmatter芯片的一個(gè)缺點(diǎn)——你不能像使用數(shù)字電路那樣精確地指定數(shù)字。幸運(yùn)的是，神經(jīng)網(wǎng)絡(luò)一旦經(jīng)過(guò)訓(xùn)練就可以進(jìn)行“推理”計(jì)算，不需要太多的分辨率。然而，神經(jīng)網(wǎng)絡(luò)是可以訓(xùn)練的。“訓(xùn)練需要更高的動(dòng)態(tài)范圍；因此，我們專注于推理。”Lightmatter首席執(zhí)行官兼公司創(chuàng)始人之一 Nicholas Harris表示。“我們有一個(gè)8位等效系統(tǒng)。”

你或許會(huì)想，Lightmatter革命性的用于用光執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的新設(shè)備在現(xiàn)階段只是一個(gè)實(shí)驗(yàn)室原型，但這是錯(cuò)誤的想法。該公司在生產(chǎn)一種實(shí)用的產(chǎn)品方面已經(jīng)走了相當(dāng)長(zhǎng)的路，它可以被添加到任何一個(gè)帶有PCI-Express插槽的服務(wù)器主板上，并立即編程開始進(jìn)行神經(jīng)網(wǎng)絡(luò)推理計(jì)算。Harris說(shuō)：“我們非常專注于使它看起來(lái)不像外星人的技術(shù)。” 他解釋說(shuō)，“Lightmatter不僅內(nèi)置了這種硬件，還創(chuàng)建了必要的軟件工具鏈，以支持將其與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)框架（TensorFlow和PyTorch）一起使用。

Lightmatter預(yù)計(jì)將于2021年底投入生產(chǎn)，該公司的Mars設(shè)備也將投入商業(yè)生產(chǎn)。Harris說(shuō)，該公司的芯片雖然很精密復(fù)雜，但產(chǎn)量很高，這在很大程度上是因?yàn)樗婕暗募{米光子組件與切割中所發(fā)現(xiàn)的相比并沒有那么小邊緣的電子設(shè)備。因此，保持高收益率和低價(jià)格的Mars設(shè)備應(yīng)該不難與GPU競(jìng)爭(zhēng)。

誰(shuí)知道呢，也許其他公司，例如 Lightintelligence ， LightOn ， Optalysis 或 Fathom Computing ，屆時(shí)將推出他們自己的基于光的神經(jīng)網(wǎng)絡(luò)加速器卡。不過(guò)，Harris并不為此擔(dān)心 -- 我們遙遙領(lǐng)先。

原文標(biāo)題：Lightmatter研發(fā)Mars芯片 能以光速執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算

文章出處：【微信公眾號(hào)：IEEE電氣電子工程師學(xué)會(huì)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。