隨著我們朝著更加無(wú)處不在、始終在線的傳感和計(jì)算邁進(jìn)，電源變得越來(lái)越重要。或許沒(méi)有比我們辦公桌上、口袋里和家中分布的聲控設(shè)備更能說(shuō)明這一點(diǎn)的重要例子了。正如我們?nèi)ツ晁吹降模P(guān)鍵詞識(shí)別目前是各種神經(jīng)形態(tài)技術(shù)的目標(biāo)。

硅耳蝸

2020 年 Misha Mahowald 神經(jīng)形態(tài)工程獎(jiǎng)的獲得者是劉世琦教授和她的團(tuán)隊(duì)，他們一直致力于研究用于檢測(cè)語(yǔ)音的低延遲、低功耗傳感器。神經(jīng)信息學(xué)研究所 (INI) 的 Shih-Chii Liu 和她的團(tuán)隊(duì)一直在開(kāi)發(fā)的動(dòng)態(tài)音頻傳感器最終可能會(huì)解決這個(gè)市場(chǎng)。它們的核心是一個(gè)硅耳蝸，旨在模仿生物學(xué)。首先，使用一組模擬帶通濾波器將傳入的聲音過(guò)濾到頻率通道中，其輸出經(jīng)過(guò)半波整流。總之，這模擬了耳朵中毛細(xì)胞的功能。

在傳統(tǒng)的音頻系統(tǒng)中，首先使用模數(shù)轉(zhuǎn)換器對(duì)聲音進(jìn)行轉(zhuǎn)換，然后使用數(shù)字快速傅里葉變換 (FFT) 和帶通濾波 (BPF) 提取特征。這些由運(yùn)行語(yǔ)音活動(dòng)檢測(cè) (VAD) 或自動(dòng)語(yǔ)音識(shí)別算法的數(shù)字信號(hào)處理器 (DSP) 處理。B. 在 INI-Zurich 動(dòng)態(tài)音頻傳感器中，信號(hào)作為模擬音頻帶從具有特征和變化被接收，并行編碼成異步尖峰（事件）序列，然后對(duì)其進(jìn)行處理。

正如生物學(xué)中發(fā)生的那樣，不同的通道隨后準(zhǔn)備好在大腦中進(jìn)行處理。在耳朵中，神經(jīng)節(jié)細(xì)胞將信號(hào)編碼為一股化學(xué)離子：在硅耳蝸中，它們變成電尖峰。這可以使用經(jīng)典的集成和觸發(fā)功能或異步增量調(diào)制器 (ADM) 來(lái)完成，它將信號(hào)與兩個(gè)閾值進(jìn)行比較，并在這些閾值通過(guò)時(shí)發(fā)送適當(dāng)?shù)氖录虼顺洚?dāng)特征提取器。由于忽略了不變的信號(hào)，因此傳遞到下一階段的冗余信息量減少了。

從功率的角度來(lái)看，如果什么都沒(méi)發(fā)生，硅耳蝸幾乎不會(huì)消耗任何能量，但隨著活動(dòng)的增加，尖峰的數(shù)量也會(huì)增加。根據(jù)應(yīng)用程序的不同，這可能是一個(gè)巨大的優(yōu)勢(shì)（如果有很多聆聽(tīng)但很少采取行動(dòng)）或根本沒(méi)有優(yōu)勢(shì)（當(dāng)有相關(guān)的東西一直需要解碼時(shí)）。

然而，作為在低 μW 范圍內(nèi)工作的音頻傳感器，該芯片可以為系統(tǒng)設(shè)計(jì)人員提供一個(gè)提高電源效率的寶貴選擇。它還允許非常高的動(dòng)態(tài)范圍，因?yàn)榧夥逶谶B續(xù)時(shí)間內(nèi)運(yùn)行，幾乎可以無(wú)限遠(yuǎn)地分開(kāi)或靠近。

語(yǔ)音識(shí)別

這項(xiàng)工作的一個(gè)關(guān)鍵部分是證明有用性。具體來(lái)說(shuō)，硅耳蝸產(chǎn)生的事件流可用于實(shí)際應(yīng)用，如語(yǔ)音活動(dòng)檢測(cè)、關(guān)鍵字識(shí)別的第一階段。Liu 和她的團(tuán)隊(duì)通過(guò)使用事件輸出創(chuàng)建 2D 數(shù)據(jù)幀成功地做到了這一點(diǎn)：到達(dá)峰值的直方圖，按頻率排列在幀的 5 毫秒內(nèi)。稱為耳蝸圖，這些可以被讀入神經(jīng)網(wǎng)絡(luò)并從那里解碼它們的含義。

Liu 表示，“在傳感器上使用深度網(wǎng)絡(luò)對(duì) IEEE ISSCC 社區(qū)非常感興趣，并且考慮到當(dāng)前對(duì)音頻邊緣計(jì)算的巨大興趣，這非常及時(shí)。” 她說(shuō)，已經(jīng)有很多關(guān)于低功耗 ASIC 用于關(guān)鍵字定位的論文，但這些論文使用的是傳統(tǒng)的類似頻譜圖的功能。她的目標(biāo)之一是“展示混合解決方案（混合模擬信號(hào)設(shè)計(jì)）可以產(chǎn)生具有更低延遲響應(yīng)的更低功耗設(shè)計(jì)解決方案。”

去年 INI 發(fā)布了一段視頻，展示了系統(tǒng)識(shí)別數(shù)字的過(guò)程（你可以從大約 2:06 看到 Liu）。它遠(yuǎn)非萬(wàn)無(wú)一失，但它在系統(tǒng)開(kāi)發(fā)中仍處于相對(duì)早期的階段。多年來(lái)，包括 Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev 和 Daniel Neil 的團(tuán)隊(duì)也嘗試了傳感器融合：Liu 和她的同事結(jié)合音頻和視覺(jué)信息進(jìn)行分類更可靠[1]。他們一直在發(fā)布初始設(shè)計(jì)規(guī)則，以選擇何時(shí)模擬傳感器具有優(yōu)勢(shì)以及何時(shí)最好堅(jiān)持使用數(shù)字傳感器 [2]。

Misha Mahowald，地址事件表示的發(fā)明者之一，神經(jīng)形態(tài)工程獎(jiǎng)就是以他的名字命名的。

另一項(xiàng)持續(xù)的努力涉及提高 DAS 的電源效率和性能。其中一部分涉及查看各個(gè)功能的實(shí)現(xiàn)，從基于源跟隨器的帶通濾波器到模擬特征提取器的設(shè)計(jì)。

減少模擬電子設(shè)備中可變性的影響是另一個(gè)重要的研究領(lǐng)域。他們說(shuō)，為了解決這個(gè)問(wèn)題，他們構(gòu)建了一個(gè)硬件仿真器，可以比使用 Cadence Virtuoso 等商業(yè)軟件更快地測(cè)試這些問(wèn)題。通過(guò)從軟件而不是硬件訓(xùn)練他們用于分類的二元神經(jīng)網(wǎng)絡(luò)，他們能夠準(zhǔn)確預(yù)測(cè)一系列真實(shí)測(cè)試芯片的分類性能 [3]。他們現(xiàn)在正在考慮將噪聲添加到系統(tǒng)中作為可變性的代理，以使設(shè)計(jì)過(guò)程更加穩(wěn)健。

馬霍瓦爾德獎(jiǎng)

劉是神經(jīng)形態(tài)工程的早期研究人員之一。她不僅在加州理工學(xué)院 Carver Mead 的實(shí)驗(yàn)室工作（Mahowald 曾在那里工作過(guò)），而且當(dāng)該小組中的許多人離開(kāi)加利福尼亞前往蘇黎世時(shí)，她還是神經(jīng)信息學(xué)研究所的創(chuàng)始人之一。

在獲獎(jiǎng)時(shí)，劉說(shuō)：“我們非常榮幸能夠獲得這個(gè)獎(jiǎng)項(xiàng)，尤其是在神經(jīng)形態(tài)工程領(lǐng)域有這么多優(yōu)秀的研究人員。這項(xiàng)工作建立在 Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz 和 Andre van Schaik 的數(shù)十年早期硅耳蝸設(shè)計(jì)的基礎(chǔ)上。”

關(guān)于神經(jīng)形態(tài)工程的重要性，她說(shuō)：“即使在摩爾定律結(jié)束時(shí)，數(shù)字計(jì)算也將落后于生物學(xué)的能源效率至少一千倍。因此，DAS 等混合模擬電子系統(tǒng)的潛在效率變得比以往任何時(shí)候都更加重要。”

參考

[1] D. Neil 和 SC Liu，“Effective sensor fusion with event-based sensors and deep network architectures”，載于Proceedings – IEEE International Symposium on Circuits and Systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 頁(yè)，doi：10.1109/ISCAS.2016.7539039。

[2] SC Liu、B. Rueckauer、E. Ceolini、A. Huber 和 T. Delbruck，“用于高效感知的事件驅(qū)動(dòng)傳感：視覺(jué)和試聽(tīng)算法”，IEEE 信號(hào)處理。麥格。, 卷。36，沒(méi)有。6，第 29-37 頁(yè)，2019 年 11 月，doi：10.1109/MSP.2019.2928127。

[3] M. Yang, S.-C. Liu、M. Seok 和 C. Enz，“使用受耳蝸啟發(fā)的特征提取和 DNN 分類的超低功耗智能聲學(xué)傳感。”

[4] M. Yang、CH Chien、T. Delbruck 和 SC Liu，“用于事件驅(qū)動(dòng)立體聲音頻傳感的 0.5 V 55 μW 64 × 2 通道雙耳硅耳蝸”，IEEE J. 固態(tài)電路，卷. 51，沒(méi)有。11，第 2554-2569 頁(yè)，2016 年 11 月，doi：10.1109/JSSC.2016.2604285。

審核編輯 黃昊宇