受生物神經網絡啟發,研制出一種具有豐富動態特性的人工樹突器件,構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡,樹突功能顯著提升了網絡的準確率,同時大幅降低了系統的功耗,增強了網絡處理復雜任務的能力。
包含樹突計算的新型人工神經網絡示意圖
生物神經網絡由突觸和神經元組成,而神經元又包含樹突、胞體等基本結構,其中樹突具有非常復雜的拓撲結構和動態過程。許多生物神經系統的研究表明樹突具有十分重要的非線性時空信息處理功能,它是大腦能夠在處理復雜任務的同時保持低功耗的重要原因之一。當前的人工神經網絡大多將神經元用簡單的點模型表示,將其計算功能簡化成積分-發放(integrate-and-fire),而忽略了樹突的信息處理功能。這樣的簡化使得人工神經網絡在功耗、靈活性上與生物神經網絡相比仍存在很大的差距。
清華大學微電子所、未來芯片技術高精尖創新中心錢鶴、吳華強教授團隊,聯合清華大學醫學院及腦與智能實驗室宋森研究員、美國麻省大學楊建華教授、阿里巴巴達摩院謝源教授、加州大學圣芭芭拉分校鄧磊博士,在Nature Nanotechnology上發表題為“Power-Efficient Neural Network with Artificial Dendrites”的研究論文,報道了基于動態憶阻器的人工樹突器件,成功復現了生物樹突對信號的非線性過濾、積分以及對時間信號的處理方式。
為了驗證人工樹突的計算功能,研究團隊將所開發的人工樹突器件與導電細絲型突觸器件、Mott相變型胞體器件進行系統集成,構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡。實驗結果顯示,由于樹突功能的引入,該網絡在處理具有復雜背景噪聲的街景門牌號(SVHN)數據集時,胞體的動態功耗降低30倍,網絡的準確率提高8%以上,系統評估整體功耗比CPU降低3個數量級。來自清華大學微電子所的吳華強教授是該論文的通訊作者,李辛毅博士、唐建石助理教授和張清天博士是共同第一作者。
近年來,錢鶴、吳華強教授團隊長期致力于基于憶阻器的存算一體芯片技術研究,從器件性能優化、工藝集成、電路設計及架構與算法等多層次實現創新突破,相關研究成果發表于Nature、Nature electronics、Nature Communications、Advanced Materials等頂級期刊和ISSCC、IEDM、VLSI等領域內頂級國際學術會議上。
受生物啟發制備的新原理樹突器件,復現了生物樹突對信號的非線性過濾、積分等功能
集成了突觸、樹突、胞體三種計算單元的新型人工神經網絡,在SVHN數據集上驗證了功耗和準確率上的顯著優勢
該工作的主要創新之處包括:
開發出了與CMOS工藝兼容的樹突器件,其豐富的動態特性復現了生物樹突單元的非線性過濾、積分以及對時間信息處理等功能。
將所制備的人工樹突器件和基于導電細絲的突觸器件、基于Mott相變的胞體器件進行集成,首次在硬件系統上構建了包含突觸、樹突、胞體三種基本計算單元的新型人工神經網絡。
在包含復雜背景噪聲的街景門牌號數據集(SVHN dataset)上,對包含樹突計算的人工神經網絡功能進行了驗證。樹突功能的引入將胞體的動態功耗降低30倍,同時將網絡準確率提高了8%以上,系統評估整體能耗比CPU降低3個數量級。
該研究基于新原理憶阻器的豐富動態過程開發了神經形態樹突器件,并進一步驗證了新型人工神經網絡的功能。未來通過器件、算法、電路、架構的協同創新與優化,有望進一步提高包含樹突計算的人工神經網絡處理復雜時空任務的能力,構建更加智能化的低功耗神經網絡。
該研究工作得到了國家自然科學基金委、國家重點研發計劃、北京市科委、北京信息科學與技術國家研究中心等支持。
責任編輯:pj
-
CMOS
+關注
關注
58文章
5752瀏覽量
236374 -
人工神經網絡
+關注
關注
1文章
120瀏覽量
14704
發布評論請先 登錄
相關推薦
奇瑞汽車攜手清華大學發布“分體式飛行汽車”專利
清華大學鯤鵬昇騰科教創新卓越中心專項合作啟動,引領高校科研和人才培養新模式
清華大學與華為啟動“卓越中心”專項合作
清華大學DeepSeek指南:從入門到精通

清華大學師生到訪智行者科技交流學習
博世與清華大學續簽人工智能研究合作協議
京微齊力受邀參加2024年清華大學工程博士論壇
英諾達與清華大學攜手,共促國產EDA進步
深圳云芯晨半導體科技有限公司榮幸地宣布與深圳清華大學研究院攜手合作
熱烈歡迎清華大學電子工程系學子來武漢六博光電交流實踐!

清華大學研發新型仿生三維電子皮膚系統
清華大學創新領軍工程博士團訪問摩爾線程
清華大學創新領軍工程博士代表團到訪摩爾線程,深化產學合作

評論