據麥姆斯咨詢報道，近期，卡拉布里亞大學（University of Calabria）和比薩大學（University of Pisa）面向低分辨率圖像分類，聯合開發了一種基于兩層人工神經網絡（artificial neural network，ANN）的全集成模擬CMOS認知圖像傳感器。研究人員主要設計了執行認知感測任務（從圖像感測到輸出分類決策）所需的所有模擬子電路。作為一個案例研究，使用低分辨率版本的手寫數字MNIST數據集測試分類性能。該電路的分類精度為87.8%，平均每次推理能耗為6nJ，延遲為22.5μs，吞吐量每秒高達13.33萬次推理。

物聯網（IoT）的終端設備或邊緣設備，以及嵌入式智能視覺傳感器系統，是網絡物理系統的關鍵組成部分，其中延遲、可擴展性和隱私是重要的挑戰。在傳統的機器視覺系統中，信息由圖像傳感器捕獲，進而轉換為數字格式，然后存儲在本地存儲器中或傳輸到外部計算單元以執行所需的處理任務。由于其主要目標是減少如模擬-數字轉換和數據傳輸等低效率操作的影響，因此，具有嵌入式分類功能的認知圖像傳感器的概念將成為未來應用（如可穿戴和移動醫療電子設備、電池供電系統）的一個極具吸引力的解決方案。

智能視覺傳感器通過實施ANN為圖像傳感器提供認知能力，ANN是執行類似人類任務的強大建模方法，例如對象分類和檢測。ANN中的基本計算是乘積累加（multiply-accumulate，MAC）運算，即向量-矩陣乘法的基本運算，其中輸入數據向量乘以固定權重的矩陣。為了降低每次推理的功耗，進而使電池供電系統能夠配備ANN，目前許多研究工作都致力于模擬ANN集成電路的設計，這種集成電路利用CMOS器件和電路的基本特性，使得MAC運算和內存計算具有高度并行性。

基于此，研究人員提出了一種模擬CMOS圖像傳感器分類器的設計，該分類器基于在低分辨率環境下運行的兩層ANN，如下圖所示。與以往研究工作（通常只有部分片上設計）的主要區別在于，這是首次全模擬設計，包括執行從圖像感測到圖像分類的整個處理任務所需的所有構建塊。

低分辨率全模擬CMOS圖像傳感器分類器的概念

研究人員所開發的系統使用單層多晶硅180nm商用CMOS工藝設計，該工藝具有附加工藝選項，包括用于構建光電二極管的特定模塊和現代CMOS圖像傳感器的補充構建塊。所有其他構建塊，如像素陣列、采樣保持（sample and hold，S&H）陣列、電壓-時間轉換器和激活函數都是在模擬域中精心設計的。此外，權重是可編程的，因此開發的分類器本質上是可重新配置的，并且可以訓練其基于低分辨率圖像執行一系列分類任務。

5x5像素CMOS圖像傳感器架構及其傳感方案

作為案例研究，使用低分辨率的手寫數字MNIST數據集驗證了該分類器的推理能力。在室溫（27℃）下，其推理精度為87.8%，這與在數字域中以浮點數據精度運行的相同ANN架構的軟件實現的結果相當。在較寬的溫度范圍內（-10℃-70℃），精度保持在80%以上。研究人員所設計的分類器每次推理只消耗6nJ（其中大約一半的能量由像素感測矩陣消耗），同時具有每秒13.3萬次的吞吐量（延遲時間為22.5μs）。對于10μm的像素間距，其占位面積也非常小，僅為4000μm2。

500張圖像作為基準的軟件神經網絡（a）和硬件神經網絡（b）混淆矩陣

簡而言之，研究人員提出了一種全模擬認知CMOS圖像傳感器的設計，包括模擬域人工神經網絡的硬件配置，并作為與5×5圖像傳感器集成的低分辨率圖像分類器工作。所開發的CMOS認知圖像傳感器在商用180nm CMOS工藝中進行了完全設計和模擬，獲得了87.8%的精度，與浮點軟件實現的精度（90.6%）相當。

審核編輯：郭婷