隨著人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的持續(xù)深化，機(jī)器視覺(jué)算法復(fù)雜度劇增，亟需高算力支持。然而，受制于摩爾定律放緩，現(xiàn)有電子計(jì)算性能趨于飽和，難以滿足大規(guī)模智能算法對(duì)算力和能效日益增長(zhǎng)的需求。用光子替代電子作為智能計(jì)算載體有望對(duì)當(dāng)前視覺(jué)計(jì)算帶來(lái)革命性的突破。然而，現(xiàn)有智能光計(jì)算架構(gòu)往往依賴電子處理器作為計(jì)算中繼，嚴(yán)重削弱了光計(jì)算高速高并行的計(jì)算優(yōu)勢(shì)，難以賦能超快機(jī)器視覺(jué)應(yīng)用。

近日，清華大學(xué)電子系方璐副教授課題組建立了空時(shí)域超快智能光計(jì)算架構(gòu)，提出了跨維度空時(shí)域匹配方法和聯(lián)合空時(shí)域矩陣向量光計(jì)算模型，首次實(shí)現(xiàn)了三維空時(shí)域智能光計(jì)算系統(tǒng)，突破了數(shù)字內(nèi)存讀寫的掣肘，將動(dòng)態(tài)機(jī)器視覺(jué)處理速度提升三個(gè)數(shù)量級(jí)（達(dá)到納秒量級(jí)）。

圖1 空時(shí)域光計(jì)算模型

該課題組通過(guò)刻畫多維光場(chǎng)傳播模型，首次建立空時(shí)域計(jì)算表征，同時(shí)在空間和時(shí)序維度完成連續(xù)光計(jì)算。針對(duì)空間光場(chǎng)和時(shí)序光場(chǎng)內(nèi)在維度失配問(wèn)題，提出空間復(fù)用和光譜復(fù)用計(jì)算模型，匹配空時(shí)域光計(jì)算維度。進(jìn)一步建立時(shí)序矩陣乘加計(jì)算模型，擴(kuò)展空時(shí)域光計(jì)算維度。

所有空間和時(shí)序計(jì)算操作均在光學(xué)模擬域完成，因此空時(shí)域光計(jì)算的速度不受制于電子內(nèi)存的傳輸和讀寫。該論文進(jìn)一步提出了多變量全光非線性函數(shù)，成功構(gòu)建多層非線性神經(jīng)網(wǎng)絡(luò)，支撐復(fù)雜視覺(jué)智能任務(wù)的高速推理。在多個(gè)視頻數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，空時(shí)域光計(jì)算能夠?qū)⒁曨l智能處理速度提升至數(shù)百兆赫茲量級(jí)，有望為后摩爾時(shí)代高性能智能計(jì)算以及瞬態(tài)科學(xué)現(xiàn)象的實(shí)時(shí)分析和控制等帶來(lái)新的契機(jī)。

圖2 高速目標(biāo)追蹤

圖3 納秒超快計(jì)算

該研究工作以“面向超快機(jī)器視覺(jué)的空時(shí)域光計(jì)算”（Ultrafast dynamic machine vision with spatiotemporal photonic computing）為題發(fā)表在國(guó)際期刊《科學(xué)-進(jìn)展》（Science Advances）上，并入選期刊首頁(yè)專題文章（feature article）。課題組博士生周天貺和吳蔚是本文共同第一作者，通訊作者為方璐。

審核編輯：劉清