維也納大學(xué)的工程師團(tuán)隊(duì)帶來(lái)了AI芯片的新玩法。他們利用傳感器人工神經(jīng)網(wǎng)絡(luò)大大提高了處理圖片的效率，可在納秒內(nèi)完成圖像識(shí)別任務(wù)。他們的設(shè)計(jì)思路是將一些計(jì)算任務(wù)轉(zhuǎn)移到計(jì)算機(jī)系統(tǒng)外部邊緣的感知設(shè)備上，這樣可以減少不必要的數(shù)據(jù)移動(dòng)，進(jìn)而產(chǎn)生了這種機(jī)器視覺(jué)的傳感器內(nèi)計(jì)算研究成果。

近日，維也納大學(xué)研發(fā)出了一種新型的圖像傳感器設(shè)備，它自帶人工神經(jīng)網(wǎng)絡(luò)，可以同時(shí)捕獲和識(shí)別光學(xué)圖像，無(wú)需再將信息轉(zhuǎn)換成數(shù)字格式即可快速處理信息。

視覺(jué)是我們最重要的感官之一。在過(guò)去的十年中，受生物學(xué)啟發(fā)的機(jī)器視覺(jué)得到了迅速的發(fā)展，人工系統(tǒng)可以通過(guò)傳感機(jī)器從圖像和視頻中獲得有價(jià)值的信息，進(jìn)而有了“看到”的能力，雖然這種能力比人類(lèi)的視覺(jué)能力還是差了很遠(yuǎn)。Mennel等人在《自然》雜志上刊登了一種新的視覺(jué)系統(tǒng)研究成果，該系統(tǒng)設(shè)計(jì)模仿了人腦對(duì)信息的處理方式，只用納秒級(jí)的時(shí)間就能對(duì)簡(jiǎn)單圖像進(jìn)行分類(lèi)。

現(xiàn)代圖像傳感器，如數(shù)碼相機(jī)中的圖像傳感器，是基于半導(dǎo)體(固態(tài))技術(shù)，于上世紀(jì)70年代初發(fā)明的；它們主要分為兩種類(lèi)型，即電荷耦合器件和有源像素傳感器。這些傳感器可以從環(huán)境中準(zhǔn)確地捕獲視覺(jué)信息，但同時(shí)也會(huì)產(chǎn)生大量冗余數(shù)據(jù)。這些海量的光學(xué)信息通常被轉(zhuǎn)換成數(shù)字電子格式，然后再傳遞給計(jì)算單元進(jìn)行圖像處理。

傳感器和處理單元之間大量數(shù)據(jù)的移動(dòng)往往會(huì)導(dǎo)致延遲和高功耗問(wèn)題。隨著成像速率和像素?cái)?shù)量的增長(zhǎng)，再加上帶寬限制，把所有數(shù)據(jù)都發(fā)送到云端，讓云計(jì)算機(jī)集中處理又不能滿(mǎn)足實(shí)時(shí)快速處理和決策的需要。這恰恰也是現(xiàn)在無(wú)人駕駛汽車(chē)、機(jī)器人、工業(yè)制造等對(duì)延遲敏感的領(lǐng)域所不能接受的。

優(yōu)化之后的解決方案是將一些計(jì)算任務(wù)轉(zhuǎn)移到計(jì)算機(jī)系統(tǒng)外部邊緣的感知設(shè)備上，這樣可以減少不必要的數(shù)據(jù)移動(dòng)。由于傳感器通常產(chǎn)生的都是模擬輸出，而模擬到數(shù)字的轉(zhuǎn)換既耗時(shí)又耗能，因此模擬處理比數(shù)字處理更可取。

圖1輸入信息在視覺(jué)傳感器內(nèi)進(jìn)行計(jì)算，實(shí)現(xiàn)智能、高效的預(yù)處理

傳統(tǒng)的人工智能(AI)視覺(jué)傳感器如圖（a）所示，信號(hào)在光響應(yīng)傳感器上進(jìn)行收集，通過(guò)模數(shù)轉(zhuǎn)換器（ADC）將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，放大后作為輸入提供給外部的人工神經(jīng)網(wǎng)絡(luò)(ANN)，再經(jīng)過(guò)參數(shù)調(diào)優(yōu)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以用來(lái)執(zhí)行諸如圖像分類(lèi)等任務(wù)。

神經(jīng)網(wǎng)絡(luò)的輸入層接收編碼簡(jiǎn)單物理元素的信號(hào)(這里用點(diǎn)和線(xiàn)表示)，在隨后的層中，這些信號(hào)被優(yōu)化為中級(jí)特征(簡(jiǎn)單的形狀)，最后在輸出層(3D形狀)形成精細(xì)的圖像。整體的響應(yīng)可能是比較緩慢和耗能的。

Mennel等人研發(fā)的視覺(jué)系統(tǒng)如圖（b）所示，在這個(gè)系統(tǒng)中，芯片上的相互連接的傳感器(正方形)不僅可以收集信號(hào)，而且還可以作為一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別簡(jiǎn)單的特征，從而減少傳感器和外部電路之間冗余數(shù)據(jù)的移動(dòng)。

Mennel和同事們?cè)谒麄兊膱D像傳感器中直接實(shí)現(xiàn)了一個(gè)人工神經(jīng)網(wǎng)絡(luò)。在芯片上，他們構(gòu)建了一個(gè)光二極管網(wǎng)絡(luò)，這些光二極管是微小的光敏元件，每一個(gè)都由幾層二硒化鎢原子組成。二硒化鎢對(duì)光的響應(yīng)可以通過(guò)改變施加的電壓來(lái)增加或減少，因此每個(gè)二極管的靈敏度可以單獨(dú)調(diào)整。這就將光敏傳感器網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榱艘粋€(gè)神經(jīng)網(wǎng)絡(luò)(圖1b)，并使其能夠執(zhí)行簡(jiǎn)單的計(jì)算任務(wù)。改變光電二極管的光響應(yīng)度，也就會(huì)改變網(wǎng)絡(luò)中的連接權(quán)重。因此，該裝置其實(shí)是結(jié)合了光學(xué)傳感和神經(jīng)形態(tài)計(jì)算。

作者將光電二極管排列成一個(gè)9像素的正方形陣列，每個(gè)像素有3個(gè)二極管。當(dāng)一個(gè)圖像被投射到芯片上時(shí)，各種二極管電流被產(chǎn)生、合并和讀取。硬件陣列提供了一種模擬計(jì)算形式：每個(gè)光電二極管都會(huì)產(chǎn)生與入射光強(qiáng)度成比例的輸出電流，并且根據(jù)基爾霍夫定律(電路中電流的基本規(guī)則)，將沿行或列得出的電流相加。

然后就可以訓(xùn)練該陣列來(lái)執(zhí)行相應(yīng)任務(wù)了。陣列產(chǎn)生的電流和預(yù)測(cè)的電流之間的差異(如果陣列對(duì)給定任務(wù)的圖像做出正確的響應(yīng)，就會(huì)產(chǎn)生電流)將在芯片外進(jìn)行分析，并用于調(diào)整下一個(gè)訓(xùn)練周期的權(quán)重。這個(gè)學(xué)習(xí)階段會(huì)消耗時(shí)間和計(jì)算資源，但是一旦經(jīng)過(guò)訓(xùn)練，芯片就能快速完成設(shè)定的任務(wù)。

利用不同的神經(jīng)網(wǎng)絡(luò)算法，作者演示了兩種神經(jīng)形態(tài)功能。第一個(gè)是分類(lèi)：他們用3×3像素陣列，將一幅圖像分成三個(gè)類(lèi)中的一個(gè)，這三個(gè)類(lèi)對(duì)應(yīng)于三個(gè)簡(jiǎn)化的字母，從而在納秒內(nèi)識(shí)別出它是哪個(gè)字母。這個(gè)相對(duì)簡(jiǎn)單的任務(wù)只是一個(gè)概念的證明，如果按比例增加陣列的大小，它可以擴(kuò)展到識(shí)別更復(fù)雜的圖像。

第二個(gè)例子是自動(dòng)編碼：即使在存在信號(hào)噪聲的情況下，傳感器內(nèi)的計(jì)算陣列也可以通過(guò)學(xué)習(xí)圖像的關(guān)鍵特征，來(lái)生成經(jīng)過(guò)處理的圖像的簡(jiǎn)化表示。編碼后的版本只包含最基本的信息，但可以通過(guò)解碼來(lái)重建接近原始的圖像。

但在這項(xiàng)技術(shù)實(shí)際落地應(yīng)用之前，還有很多工作要做。首先，用于自動(dòng)駕駛汽車(chē)和機(jī)器人的神經(jīng)形態(tài)視覺(jué)系統(tǒng)，需要在三維空間和廣闊的視野中捕捉動(dòng)態(tài)圖像和視頻。而目前使用的圖像捕獲技術(shù)通常是將三維現(xiàn)實(shí)世界轉(zhuǎn)換為二維信息，丟失掉運(yùn)動(dòng)信息和深度?，F(xiàn)有圖像傳感器陣列的平面形狀也制約著廣角相機(jī)的發(fā)展。

其次，該系統(tǒng)的傳感器設(shè)備很難在昏暗的光線(xiàn)下成像，需要重新設(shè)計(jì)，以改善半導(dǎo)體的光吸收能力，并增加可檢測(cè)到的光強(qiáng)范圍。此外，該設(shè)計(jì)要求高電壓，功耗大；相比之下，在生物神經(jīng)網(wǎng)絡(luò)中，每次操作的能量消耗在亞焦耳級(jí)（10 -15至10 -13焦耳）。充分?jǐn)U大對(duì)紫外線(xiàn)和紅外光的響應(yīng)范圍，捕捉可見(jiàn)光光譜中得不到的信息，對(duì)后續(xù)技術(shù)優(yōu)化也會(huì)很有幫助。

還有一點(diǎn)，研究使用的薄半導(dǎo)體很難在大范圍內(nèi)均勻生產(chǎn)，而且很難加工處理，因此它們很難與硅電子器件集成，比如用于讀出或反饋控制的外部電路。使用這些傳感器的設(shè)備的速度和能源效率將不是由圖像捕獲過(guò)程決定的，而是由傳感器和外部電路之間的數(shù)據(jù)移動(dòng)決定的。此外，雖然傳感器內(nèi)的計(jì)算單元在模擬域收集和計(jì)算數(shù)據(jù)，減少了模擬到數(shù)字的轉(zhuǎn)換，但外圍電路仍然受到其他固有延遲的影響。傳感器和外部電路將需要協(xié)同開(kāi)發(fā)，以減少整個(gè)系統(tǒng)的延遲。

Mennel及其同事的“傳感器內(nèi)計(jì)算系統(tǒng)”應(yīng)該會(huì)激發(fā)業(yè)內(nèi)對(duì)人工智能(AI)硬件的進(jìn)一步研究。一些公司已經(jīng)開(kāi)發(fā)了基于硅電子的人工智能視覺(jué)芯片，但這些芯片固有的數(shù)字體系架構(gòu)往往帶有延遲和電力效率問(wèn)題。

從更廣泛意義來(lái)講，該研究團(tuán)隊(duì)的策略并不局限于視覺(jué)系統(tǒng)。它可以擴(kuò)展到其他物理輸入，如聽(tīng)覺(jué)、觸覺(jué)、熱感或嗅覺(jué)感知等。這種智能系統(tǒng)的發(fā)展，加上5G高速無(wú)線(xiàn)網(wǎng)絡(luò)的到來(lái)，應(yīng)該會(huì)讓未來(lái)的實(shí)時(shí)(低延遲)邊緣計(jì)算成為可能。