維也納大學(xué)的工程師團(tuán)隊(duì)帶來了AI芯片的新玩法。他們利用傳感器人工神經(jīng)網(wǎng)絡(luò)大大提高了處理圖片的效率，可在納秒內(nèi)完成圖像識別任務(wù)。他們的設(shè)計(jì)思路是將一些計(jì)算任務(wù)轉(zhuǎn)移到計(jì)算機(jī)系統(tǒng)外部邊緣的感知設(shè)備上，這樣可以減少不必要的數(shù)據(jù)移動，進(jìn)而產(chǎn)生了這種機(jī)器視覺的傳感器內(nèi)計(jì)算研究成果。

近日，維也納大學(xué)研發(fā)出了一種新型的圖像傳感器設(shè)備，它自帶人工神經(jīng)網(wǎng)絡(luò)，可以同時(shí)捕獲和識別光學(xué)圖像，無需再將信息轉(zhuǎn)換成數(shù)字格式即可快速處理信息。

視覺是我們最重要的感官之一。在過去的十年中，受生物學(xué)啟發(fā)的機(jī)器視覺得到了迅速的發(fā)展，人工系統(tǒng)可以通過傳感機(jī)器從圖像和視頻中獲得有價(jià)值的信息，進(jìn)而有了“看到”的能力，雖然這種能力比人類的視覺能力還是差了很遠(yuǎn)。Mennel等人在《自然》雜志上刊登了一種新的視覺系統(tǒng)研究成果，該系統(tǒng)設(shè)計(jì)模仿了人腦對信息的處理方式，只用納秒級的時(shí)間就能對簡單圖像進(jìn)行分類。

現(xiàn)代圖像傳感器，如數(shù)碼相機(jī)中的圖像傳感器，是基于半導(dǎo)體(固態(tài))技術(shù)，于上世紀(jì)70年代初發(fā)明的；它們主要分為兩種類型，即電荷耦合器件和有源像素傳感器。這些傳感器可以從環(huán)境中準(zhǔn)確地捕獲視覺信息，但同時(shí)也會產(chǎn)生大量冗余數(shù)據(jù)。這些海量的光學(xué)信息通常被轉(zhuǎn)換成數(shù)字電子格式，然后再傳遞給計(jì)算單元進(jìn)行圖像處理。

傳感器和處理單元之間大量數(shù)據(jù)的移動往往會導(dǎo)致延遲和高功耗問題。隨著成像速率和像素?cái)?shù)量的增長，再加上帶寬限制，把所有數(shù)據(jù)都發(fā)送到云端，讓云計(jì)算機(jī)集中處理又不能滿足實(shí)時(shí)快速處理和決策的需要。這恰恰也是現(xiàn)在無人駕駛汽車、機(jī)器人、工業(yè)制造等對延遲敏感的領(lǐng)域所不能接受的。

優(yōu)化之后的解決方案是將一些計(jì)算任務(wù)轉(zhuǎn)移到計(jì)算機(jī)系統(tǒng)外部邊緣的感知設(shè)備上，這樣可以減少不必要的數(shù)據(jù)移動。由于傳感器通常產(chǎn)生的都是模擬輸出，而模擬到數(shù)字的轉(zhuǎn)換既耗時(shí)又耗能，因此模擬處理比數(shù)字處理更可取。

圖1輸入信息在視覺傳感器內(nèi)進(jìn)行計(jì)算，實(shí)現(xiàn)智能、高效的預(yù)處理

傳統(tǒng)的人工智能(AI)視覺傳感器如圖（a）所示，信號在光響應(yīng)傳感器上進(jìn)行收集，通過模數(shù)轉(zhuǎn)換器（ADC）將模擬信號轉(zhuǎn)換為數(shù)字信號，放大后作為輸入提供給外部的人工神經(jīng)網(wǎng)絡(luò)(ANN)，再經(jīng)過參數(shù)調(diào)優(yōu)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以用來執(zhí)行諸如圖像分類等任務(wù)。

神經(jīng)網(wǎng)絡(luò)的輸入層接收編碼簡單物理元素的信號(這里用點(diǎn)和線表示)，在隨后的層中，這些信號被優(yōu)化為中級特征(簡單的形狀)，最后在輸出層(3D形狀)形成精細(xì)的圖像。整體的響應(yīng)可能是比較緩慢和耗能的。

Mennel等人研發(fā)的視覺系統(tǒng)如圖（b）所示，在這個(gè)系統(tǒng)中，芯片上的相互連接的傳感器(正方形)不僅可以收集信號，而且還可以作為一個(gè)神經(jīng)網(wǎng)絡(luò)來識別簡單的特征，從而減少傳感器和外部電路之間冗余數(shù)據(jù)的移動。

Mennel和同事們在他們的圖像傳感器中直接實(shí)現(xiàn)了一個(gè)人工神經(jīng)網(wǎng)絡(luò)。在芯片上，他們構(gòu)建了一個(gè)光二極管網(wǎng)絡(luò)，這些光二極管是微小的光敏元件，每一個(gè)都由幾層二硒化鎢原子組成。二硒化鎢對光的響應(yīng)可以通過改變施加的電壓來增加或減少，因此每個(gè)二極管的靈敏度可以單獨(dú)調(diào)整。這就將光敏傳感器網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榱艘粋€(gè)神經(jīng)網(wǎng)絡(luò)(圖1b)，并使其能夠執(zhí)行簡單的計(jì)算任務(wù)。改變光電二極管的光響應(yīng)度，也就會改變網(wǎng)絡(luò)中的連接權(quán)重。因此，該裝置其實(shí)是結(jié)合了光學(xué)傳感和神經(jīng)形態(tài)計(jì)算。

作者將光電二極管排列成一個(gè)9像素的正方形陣列，每個(gè)像素有3個(gè)二極管。當(dāng)一個(gè)圖像被投射到芯片上時(shí)，各種二極管電流被產(chǎn)生、合并和讀取。硬件陣列提供了一種模擬計(jì)算形式：每個(gè)光電二極管都會產(chǎn)生與入射光強(qiáng)度成比例的輸出電流，并且根據(jù)基爾霍夫定律(電路中電流的基本規(guī)則)，將沿行或列得出的電流相加。

然后就可以訓(xùn)練該陣列來執(zhí)行相應(yīng)任務(wù)了。陣列產(chǎn)生的電流和預(yù)測的電流之間的差異(如果陣列對給定任務(wù)的圖像做出正確的響應(yīng)，就會產(chǎn)生電流)將在芯片外進(jìn)行分析，并用于調(diào)整下一個(gè)訓(xùn)練周期的權(quán)重。這個(gè)學(xué)習(xí)階段會消耗時(shí)間和計(jì)算資源，但是一旦經(jīng)過訓(xùn)練，芯片就能快速完成設(shè)定的任務(wù)。

利用不同的神經(jīng)網(wǎng)絡(luò)算法，作者演示了兩種神經(jīng)形態(tài)功能。第一個(gè)是分類：他們用3×3像素陣列，將一幅圖像分成三個(gè)類中的一個(gè)，這三個(gè)類對應(yīng)于三個(gè)簡化的字母，從而在納秒內(nèi)識別出它是哪個(gè)字母。這個(gè)相對簡單的任務(wù)只是一個(gè)概念的證明，如果按比例增加陣列的大小，它可以擴(kuò)展到識別更復(fù)雜的圖像。

第二個(gè)例子是自動編碼：即使在存在信號噪聲的情況下，傳感器內(nèi)的計(jì)算陣列也可以通過學(xué)習(xí)圖像的關(guān)鍵特征，來生成經(jīng)過處理的圖像的簡化表示。編碼后的版本只包含最基本的信息，但可以通過解碼來重建接近原始的圖像。

但在這項(xiàng)技術(shù)實(shí)際落地應(yīng)用之前，還有很多工作要做。首先，用于自動駕駛汽車和機(jī)器人的神經(jīng)形態(tài)視覺系統(tǒng)，需要在三維空間和廣闊的視野中捕捉動態(tài)圖像和視頻。而目前使用的圖像捕獲技術(shù)通常是將三維現(xiàn)實(shí)世界轉(zhuǎn)換為二維信息，丟失掉運(yùn)動信息和深度。現(xiàn)有圖像傳感器陣列的平面形狀也制約著廣角相機(jī)的發(fā)展。

其次，該系統(tǒng)的傳感器設(shè)備很難在昏暗的光線下成像，需要重新設(shè)計(jì)，以改善半導(dǎo)體的光吸收能力，并增加可檢測到的光強(qiáng)范圍。此外，該設(shè)計(jì)要求高電壓，功耗大；相比之下，在生物神經(jīng)網(wǎng)絡(luò)中，每次操作的能量消耗在亞焦耳級（10 -15至10 -13焦耳）。充分?jǐn)U大對紫外線和紅外光的響應(yīng)范圍，捕捉可見光光譜中得不到的信息，對后續(xù)技術(shù)優(yōu)化也會很有幫助。

還有一點(diǎn)，研究使用的薄半導(dǎo)體很難在大范圍內(nèi)均勻生產(chǎn)，而且很難加工處理，因此它們很難與硅電子器件集成，比如用于讀出或反饋控制的外部電路。使用這些傳感器的設(shè)備的速度和能源效率將不是由圖像捕獲過程決定的，而是由傳感器和外部電路之間的數(shù)據(jù)移動決定的。此外，雖然傳感器內(nèi)的計(jì)算單元在模擬域收集和計(jì)算數(shù)據(jù)，減少了模擬到數(shù)字的轉(zhuǎn)換，但外圍電路仍然受到其他固有延遲的影響。傳感器和外部電路將需要協(xié)同開發(fā)，以減少整個(gè)系統(tǒng)的延遲。

Mennel及其同事的“傳感器內(nèi)計(jì)算系統(tǒng)”應(yīng)該會激發(fā)業(yè)內(nèi)對人工智能(AI)硬件的進(jìn)一步研究。一些公司已經(jīng)開發(fā)了基于硅電子的人工智能視覺芯片，但這些芯片固有的數(shù)字體系架構(gòu)往往帶有延遲和電力效率問題。

從更廣泛意義來講，該研究團(tuán)隊(duì)的策略并不局限于視覺系統(tǒng)。它可以擴(kuò)展到其他物理輸入，如聽覺、觸覺、熱感或嗅覺感知等。這種智能系統(tǒng)的發(fā)展，加上5G高速無線網(wǎng)絡(luò)的到來，應(yīng)該會讓未來的實(shí)時(shí)(低延遲)邊緣計(jì)算成為可能。