AlphaGo與人類圍棋專家的經典對決早已成為往事，但每每提及人工智能發展史，又很難略過此事。

事實上，AlphaGo所依賴的硬件平臺功耗達2.3MW之多，而人腦卻只有20W的功耗。而且，20W功耗里面的大部分是用于維持神經細胞的生命活動，真正用來支持圍棋活動的只是其中一小部分。

研究表明，人腦維持這種低功耗計算的重要原因之一，在于其事件驅動的脈沖信息處理模式，支持該計算模式的重要單元便是脈沖神經元。

而憶阻器作為一種新原理器件，為構建緊湊高效的脈沖神經元提供了新的物理基礎，被認為是后摩爾時代構建類腦計算硬件的理想元器件之一。最近幾年，類腦感知計算更是發展成一個具有蓬勃潛力的前沿型技術。

近日，復旦大學芯片與系統前沿技術研究院劉明院士團隊，為實現多模態的神經形態感知提供了一種新型硬件方案。該方案除能用于壓力-溫度感知以外，還可擴展應用于濕度-溫度、視覺-觸覺、以及視覺-溫度等多模態信息的融合感知。

張續猛是劉明團隊的博士后，也是此次論文的共同通訊作者。他表示，該技術正是當前智能機器人以及人機交互等領域所亟需的。

概括來說，此次工作為類腦感知計算前沿領域，提供了一種硬件實現的新方法，并利用新原理器件解決了如下問題：基于傳統CMOS（互補金屬氧化物半導體，Complementary Metal Oxide Semiconductor）技術的感知端電路的結構復雜難題，以及所產生的模擬感知信號與神經形態處理器所處理的脈沖信號的不兼容難題。

為類腦感知計算提供硬件實現新方法

課題組表示：“對于此次工作的意義，可以較為直接地從論文題目中得到：異質集成多模態感知脈沖神經元陣列。這里有三個關鍵詞：脈沖神經元、多模態感知和異質集成。”

首先是脈沖神經元，為什么要強調脈沖？隨著大數據和人工智能時代的到來，數據量的爆炸式增長，對現有計算系統的算力提出了更高要求。為了延續算力的提升，近存計算、存算一體等新型架構在被提出之后，也展現出了一定效果。

然而，這種數據驅動的人工智能能耗巨大，不具備可持續的發展性。而NbOx基閾值轉變憶阻器，又是構建脈沖神經元電路的典型神經元器件。

因此，該團隊利用憶阻器構建的脈沖感知神經元電路，旨在為實現高效的脈沖計算模式，提供更緊湊的硬件方案，從而突破傳統CMOS神經元電路的集成墻瓶頸問題。

接下來，再看多模態感知這一特點。眾所周知，人體在感知和識別物體的時候，通常涉及多種感知信號的協同作用即多模態感知。例如，當人們相互交流時，嘴型、體態、微表情、以及聲音等多種信息，能讓人們能更清楚地理解彼此的表達以及潛在的意義。 論文中，課題組以裝有水的杯子為例對多模態感知進行了說明：通常對于只有壓力信息的單模態感知來講，我們只能知道杯子的形狀、以及杯中的水量，并不能獲悉杯中的水溫。如果想同時得知杯子形狀、水量以及水溫，那么就得引入另一個溫度模態的信息。 在該研究工作中，利用神經元電路中憶阻器的本征溫度響應感知溫度信息，從而無需引入額外的溫度傳感器。同時，把壓力傳感器的電阻作為神經元電路的突觸電阻，使得該神經元單元更加緊湊，從而促進集成度的提高。

（來源：Advanced Materials）

此外，該神經元電路能直接將模擬的多模態信息輸出為脈沖序列，避免了額外的脈沖轉換電路的引入，可適用于緣端低功耗的智能感知應用，例如智能機器人等。

最后，再來看一下異質集成。異質集成是一種集成技術，廣義上指將多種基于不同材料體系的功能器件集成在一起，以實現更高效、更強大的應用，這在集成芯片領域是一個熱門方向。

常見手段主要有硅基光電異質集成，依托硅材料與不同種類光電材料的異質集成，以充分發揮各種材料的優異特性。

得益于室溫制備工藝，課題組將依托不同材料體系的傳感器和憶阻器集成到一起，并初步驗證了兩者集成在一起的可行性，這為實現憶阻器和傳感器的結合、進而為未來智能機器人與環境的高效交互提供了技術支撐。

近日，相關論文以“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”為題，發表在 Advanced Materials 上。

▲圖 | 相關論文（來源：Advanced Materials）

中科院微電子所博士生朱佳雪為第一作者，復旦大學芯片院劉琦教授和張續猛博士擔任共同通訊作者。

關于該論文，期刊方面一共分配了4位審稿人，有3位審稿人直接給出正面評價。其中一位評價稱：“這樣的多功能設備當然很有趣，并且作者還說明了該設備可能啟發的新型應用程序。”

（來源：Advanced Materials）

“不再是冷冰冰的機器”

據悉，該研究是課題組在傳入神經方面的延續性成果，傳入神經處理的感知信號大多來自其它傳感器，其工作重點在于實現傳感器產生的模擬信號到脈沖信號的轉換。

根據已有報道以及該團隊的探索發現，此次使用的NbOx 基神經元器件還具有溫度響應特性。從另一方面來講，它本身也可作為溫度傳感器，從而在構建溫度感知神經元單元時，無需引入額外的溫度感知模塊。

基于該發現和想法，張續猛與劉琦老師以及朱佳雪博士進行反復討論，最終確定利用上述溫度響應的同時，再引入另一傳感參數，以實現多模態感知系統，以便緩解當前單一模態信息感知方法信息魯棒性差、無法識別多模態物體的問題。

（來源：Advanced Materials）

確立目標以后，課題組經歷了應用案例探討、實施方案確定、陣列的集成優化、案例驗證四個主要階段。在具體應用案例上，他們從實際應用需求出發，旨在讓這種多模態硬件和信息處理方案，更適用于日常場景。

最終，受生物軀體感知系統的啟發，該團隊將應用場景定位于：壓力和溫度這兩種模態信息的感知。然后，以該應用為目標，不斷優化實驗方案，逐步解決了從單路輸出脈沖信號中解耦多模態信息的關鍵問題。

在具體方案確定后，便是神經元陣列的異質集成。張續猛說：“這里還要感謝復旦大學王明老師在傳感器制備、以及陣列集成方案方面，所給予的技術支持和寶貴意見。”

最后一步，便是利用制備的神經元陣列進行應用案例的驗證，這一階段涉及到陣列中多模態信號的獲取以及數據集的采集。期間，他們利用采集的數據集，結合脈沖神經網絡進行訓練和識別，最終在多模態信息感知上，驗證了神經元陣列的合理性和有效性。

（來源：Advanced Materials）

談及應用前景，該小組舉例稱通過將該技術引入到機器人的手臂上，可以使得服務類機器人對于手中的飲品物態（重量、溫度）進行多維度的信息獲取，從而判斷手中的飲品是否可以移交以及當前的物態是否會對人體造成傷害。

另外，該技術也能豐富機器人的交互能力，通過控制手的力道和溫度，來讓人機交互更人性化，而不再是冷冰冰的機器。

（來源：Advanced Materials）

將研發一體化的異質集成芯片

張續猛表示，論文在返修期間剛好遇上2022年上半年的上海疫情，為了補充實驗數據，朱佳雪博士被封閉在校內，工作在實驗室、睡在實驗室，也算是一段特殊的人生經歷。

再就是本工作的順利完成，也得益于王睿博士的加入，王睿和朱佳雪的相互扶持和鼓勵，也促成了研究的順利完成。同時，王睿的研究課題也在臨近時間完結發表，造就了一段學術伉儷的“人間佳話”。

盡管如此，張續猛坦言此次工作只是類腦感知技術向應用推進的浩瀚歷史海洋中的一葉扁舟。由于這篇論文只是概念性的驗證，距離實際應用還有較大差距，同時也涉及到器件、電路以及系統集成等多方面的挑戰。

后面，他們會繼續在上述三方面開展研究，旨在實現集傳感、信息處理、任務決策、以及行為控制于一體的異質集成芯片，并將在機器人上實現功能演示。

同時，他們將繼續以產業應用需求為目標，不斷優化和推進實現方案，以求實現成果轉化。“希望該領域衍生的技術可以在不久的將來回饋社會，提升人們的生活品質。”張續猛最后表示。

論文鏈接： https://doi.org/10.1002/adma.202200481

審核編輯 ：李倩