人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)活動的高能耗是廣泛使用人工智能(AI)的最大障礙之一,特別是在移動應(yīng)用中。可以從有關(guān)人腦的知識中找到解決該問題的一種方法。
盡管它具有超級計算機的計算能力,但僅需20瓦,僅相當(dāng)于超級計算機的能量的百萬分之一。
原因之一是大腦神經(jīng)元之間的信息有效傳遞。神經(jīng)元向其他神經(jīng)元發(fā)送短的電脈沖(尖峰),但為了節(jié)省能量,僅在絕對必要的時候才會發(fā)生。
基于事件的信息處理
由TU Graz的兩位計算機科學(xué)家Wolfgang Maass和Robert Legenstein領(lǐng)導(dǎo)的工作組在開發(fā)新的機器學(xué)習(xí)算法e-prop(e-propagation)時采用了這一原理。
也是歐洲燈塔計劃“人腦計劃”的一部分的理論計算機科學(xué)研究所的研究人員使用其模型中的峰值來實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的通信。
尖峰僅在網(wǎng)絡(luò)中的信息處理需要它們時才變?yōu)榛顒訝顟B(tài)。對于這種不太活躍的網(wǎng)絡(luò),學(xué)習(xí)是一個特殊的挑戰(zhàn),因為需要更長的觀察時間才能確定哪些神經(jīng)元連接可以改善網(wǎng)絡(luò)性能。
先前的方法學(xué)習(xí)成功率太低或需要巨大的存儲空間。現(xiàn)在,E-prop通過從大腦復(fù)制的分散方法解決了這個問題,其中每個神經(jīng)元在所謂的e-trace(合格跟蹤)中記錄何時使用其連接。該方法與最佳和最詳盡的其他已知學(xué)習(xí)方法一樣強大。詳細信息現(xiàn)已發(fā)表在科學(xué)雜志《自然通訊》上。
在線而不是離線
使用當(dāng)前使用的許多機器學(xué)習(xí)技術(shù),所有網(wǎng)絡(luò)活動都集中存儲和脫機存儲,以便跟蹤每幾個步驟在計算過程中如何使用連接。
但是,這需要在內(nèi)存和處理器之間進行恒定的數(shù)據(jù)傳輸,這是當(dāng)前AI實現(xiàn)過多能耗的主要原因之一。另一方面,e-prop可以完全在線運行,即使在實際操作中也不需要單獨的內(nèi)存,從而使學(xué)習(xí)更加節(jié)能。
神經(jīng)形態(tài)硬件的驅(qū)動力
Maass和Legenstein希望e-prop將推動新一代移動學(xué)習(xí)計算系統(tǒng)的開發(fā),該系統(tǒng)不再需要進行編程,而是根據(jù)人腦模型進行學(xué)習(xí),從而適應(yīng)不斷變化的需求。
目標(biāo)是不再讓這些計算系統(tǒng)專門通過云來進行能源密集型學(xué)習(xí),而是將大部分學(xué)習(xí)能力有效地集成到移動硬件組件中,從而節(jié)省能源
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4804瀏覽量
102620 -
超級計算機
+關(guān)注
關(guān)注
2文章
467瀏覽量
42299 -
人工智能
+關(guān)注
關(guān)注
1804文章
48595瀏覽量
245889
發(fā)布評論請先 登錄
【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗】+ 入門篇學(xué)習(xí)
**【技術(shù)干貨】Nordic nRF54系列芯片:傳感器數(shù)據(jù)采集與AI機器學(xué)習(xí)的完美結(jié)合**
AI算法托管平臺是什么
《AI Agent 應(yīng)用與項目實戰(zhàn)》----- 學(xué)習(xí)如何開發(fā)視頻應(yīng)用
當(dāng)我問DeepSeek AI爆發(fā)時代的FPGA是否重要?答案是......
測試時擴展技術(shù)如何實現(xiàn)AI推理
華為云 Flexus X 實例部署安裝 Jupyter Notebook,學(xué)習(xí) AI,機器學(xué)習(xí)算法

NPU與機器學(xué)習(xí)算法的關(guān)系
AI大模型與深度學(xué)習(xí)的關(guān)系
《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得
RISC-V如何支持不同的AI和機器學(xué)習(xí)框架和庫?
平衡創(chuàng)新與倫理:AI時代的隱私保護和算法公平
ai大模型和算法有什么區(qū)別
機器學(xué)習(xí)算法原理詳解
機器學(xué)習(xí)的經(jīng)典算法與應(yīng)用

評論