據(jù)麥姆斯咨詢報(bào)道，近期，卡拉布里亞大學(xué)（University of Calabria）和比薩大學(xué)（University of Pisa）面向低分辨率圖像分類，聯(lián)合開發(fā)了一種基于兩層人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）的全集成模擬CMOS認(rèn)知圖像傳感器。研究人員主要設(shè)計(jì)了執(zhí)行認(rèn)知感測(cè)任務(wù)（從圖像感測(cè)到輸出分類決策）所需的所有模擬子電路。作為一個(gè)案例研究，使用低分辨率版本的手寫數(shù)字MNIST數(shù)據(jù)集測(cè)試分類性能。該電路的分類精度為87.8%，平均每次推理能耗為6nJ，延遲為22.5μs，吞吐量每秒高達(dá)13.33萬次推理。

物聯(lián)網(wǎng)（IoT）的終端設(shè)備或邊緣設(shè)備，以及嵌入式智能視覺傳感器系統(tǒng)，是網(wǎng)絡(luò)物理系統(tǒng)的關(guān)鍵組成部分，其中延遲、可擴(kuò)展性和隱私是重要的挑戰(zhàn)。在傳統(tǒng)的機(jī)器視覺系統(tǒng)中，信息由圖像傳感器捕獲，進(jìn)而轉(zhuǎn)換為數(shù)字格式，然后存儲(chǔ)在本地存儲(chǔ)器中或傳輸?shù)酵獠坑?jì)算單元以執(zhí)行所需的處理任務(wù)。由于其主要目標(biāo)是減少如模擬-數(shù)字轉(zhuǎn)換和數(shù)據(jù)傳輸?shù)鹊托什僮鞯挠绊?，因此，具有嵌入式分類功能的認(rèn)知圖像傳感器的概念將成為未來應(yīng)用（如可穿戴和移動(dòng)醫(yī)療電子設(shè)備、電池供電系統(tǒng)）的一個(gè)極具吸引力的解決方案。

智能視覺傳感器通過實(shí)施ANN為圖像傳感器提供認(rèn)知能力，ANN是執(zhí)行類似人類任務(wù)的強(qiáng)大建模方法，例如對(duì)象分類和檢測(cè)。ANN中的基本計(jì)算是乘積累加（multiply-accumulate，MAC）運(yùn)算，即向量-矩陣乘法的基本運(yùn)算，其中輸入數(shù)據(jù)向量乘以固定權(quán)重的矩陣。為了降低每次推理的功耗，進(jìn)而使電池供電系統(tǒng)能夠配備ANN，目前許多研究工作都致力于模擬ANN集成電路的設(shè)計(jì)，這種集成電路利用CMOS器件和電路的基本特性，使得MAC運(yùn)算和內(nèi)存計(jì)算具有高度并行性。

基于此，研究人員提出了一種模擬CMOS圖像傳感器分類器的設(shè)計(jì)，該分類器基于在低分辨率環(huán)境下運(yùn)行的兩層ANN，如下圖所示。與以往研究工作（通常只有部分片上設(shè)計(jì)）的主要區(qū)別在于，這是首次全模擬設(shè)計(jì)，包括執(zhí)行從圖像感測(cè)到圖像分類的整個(gè)處理任務(wù)所需的所有構(gòu)建塊。

低分辨率全模擬CMOS圖像傳感器分類器的概念

研究人員所開發(fā)的系統(tǒng)使用單層多晶硅180nm商用CMOS工藝設(shè)計(jì)，該工藝具有附加工藝選項(xiàng)，包括用于構(gòu)建光電二極管的特定模塊和現(xiàn)代CMOS圖像傳感器的補(bǔ)充構(gòu)建塊。所有其他構(gòu)建塊，如像素陣列、采樣保持（sample and hold，S&H）陣列、電壓-時(shí)間轉(zhuǎn)換器和激活函數(shù)都是在模擬域中精心設(shè)計(jì)的。此外，權(quán)重是可編程的，因此開發(fā)的分類器本質(zhì)上是可重新配置的，并且可以訓(xùn)練其基于低分辨率圖像執(zhí)行一系列分類任務(wù)。

5x5像素CMOS圖像傳感器架構(gòu)及其傳感方案

作為案例研究，使用低分辨率的手寫數(shù)字MNIST數(shù)據(jù)集驗(yàn)證了該分類器的推理能力。在室溫（27℃）下，其推理精度為87.8%，這與在數(shù)字域中以浮點(diǎn)數(shù)據(jù)精度運(yùn)行的相同ANN架構(gòu)的軟件實(shí)現(xiàn)的結(jié)果相當(dāng)。在較寬的溫度范圍內(nèi)（-10℃-70℃），精度保持在80%以上。研究人員所設(shè)計(jì)的分類器每次推理只消耗6nJ（其中大約一半的能量由像素感測(cè)矩陣消耗），同時(shí)具有每秒13.3萬次的吞吐量（延遲時(shí)間為22.5μs）。對(duì)于10μm的像素間距，其占位面積也非常小，僅為4000μm2。

500張圖像作為基準(zhǔn)的軟件神經(jīng)網(wǎng)絡(luò)（a）和硬件神經(jīng)網(wǎng)絡(luò)（b）混淆矩陣

簡(jiǎn)而言之，研究人員提出了一種全模擬認(rèn)知CMOS圖像傳感器的設(shè)計(jì)，包括模擬域人工神經(jīng)網(wǎng)絡(luò)的硬件配置，并作為與5×5圖像傳感器集成的低分辨率圖像分類器工作。所開發(fā)的CMOS認(rèn)知圖像傳感器在商用180nm CMOS工藝中進(jìn)行了完全設(shè)計(jì)和模擬，獲得了87.8%的精度，與浮點(diǎn)軟件實(shí)現(xiàn)的精度（90.6%）相當(dāng)。

審核編輯：郭婷