學(xué)習(xí)是人工智能領(lǐng)域的核心問題,對(duì)于SNN來說,基于脈沖時(shí)間層次的學(xué)習(xí)方法研究,對(duì)于通過理論模型來驗(yàn)證生物神經(jīng)系統(tǒng)的信息處理和學(xué)習(xí)機(jī)制是必須的。通過生物可解釋的方式建立人工神經(jīng)系統(tǒng),科學(xué)家希望可以通過神經(jīng)科學(xué)和行為實(shí)驗(yàn)來達(dá)到預(yù)期目的。
脈沖神經(jīng)網(wǎng)絡(luò)將脈沖神經(jīng)元作為計(jì)算單元,能夠模仿人類大腦的信息編碼和處理過程。不同于CNN使用具體的值進(jìn)行信息傳遞,SNN通過脈沖序列中每個(gè)脈沖發(fā)射時(shí)間進(jìn)行信息的傳遞,能夠提供稀疏但強(qiáng)大的計(jì)算能力。脈沖神經(jīng)元將輸入累積到膜電壓,當(dāng)達(dá)到具體閾值時(shí)進(jìn)行脈沖發(fā)射,能夠進(jìn)行事件驅(qū)動(dòng)式計(jì)算。由于脈沖事件的稀疏性以及事件驅(qū)動(dòng)的計(jì)算形式,SNN能提供卓越的能源利用效率,是神經(jīng)形態(tài)結(jié)構(gòu)的首選神經(jīng)網(wǎng)絡(luò)。
脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式主要包括無監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等。無監(jiān)督學(xué)習(xí)算法在人類和動(dòng)物的學(xué)習(xí)中占據(jù)主導(dǎo)地位,人們通過觀察能夠發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu),而不是被告知每一個(gè)客觀事物的名稱。人工神經(jīng)網(wǎng)絡(luò)無監(jiān)督學(xué)習(xí)算法的設(shè)計(jì)主要是針對(duì)無標(biāo)簽數(shù)據(jù)集的訓(xùn)練,要求應(yīng)用無監(jiān)督學(xué)習(xí)規(guī)則對(duì)神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值或結(jié)構(gòu)進(jìn)行自適應(yīng)的調(diào)整。
脈沖神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)是指對(duì)于給定的多個(gè)輸入脈沖序列和多個(gè)目標(biāo)脈沖序列,尋找脈沖神經(jīng)網(wǎng)絡(luò)合適的突觸權(quán)值矩陣,使神經(jīng)元的輸出脈沖序列與對(duì)應(yīng)的目標(biāo)脈沖序列盡可能接近,即兩者的誤差評(píng)價(jià)函數(shù)最小。強(qiáng)化學(xué)習(xí)是從環(huán)境狀態(tài)到行為映射的學(xué)習(xí),以使智能體行為從環(huán)境中獲得的累積獎(jiǎng)賞值最大。基于生物啟發(fā)的學(xué)習(xí)機(jī)制,人工神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的研究重點(diǎn)在于探索智能體的自適應(yīng)優(yōu)化策略,是近年來神經(jīng)網(wǎng)絡(luò)和智能控制領(lǐng)域的主要方法之一。
但我們亟待解決的問題是,在標(biāo)準(zhǔn)的硬件上模擬脈沖神經(jīng)網(wǎng)絡(luò)是計(jì)算密集型的,因?yàn)檫@需要模擬微分方程。然而,像IBM的TrueNorth等仿神經(jīng)硬件解決了這個(gè)問題,它旨在是通過使用特定硬件模擬神經(jīng)元,該硬件可以利用神經(jīng)元脈沖行為的離散和稀疏特性優(yōu)勢(shì)來模擬神經(jīng)元。
脈沖神經(jīng)網(wǎng)絡(luò)的未來尚不明確,一方面,它是循環(huán)神經(jīng)網(wǎng)絡(luò)的天然繼任者;另一方面,對(duì)于大多數(shù)任務(wù)來說,這還不是較為實(shí)用的工具。脈沖神經(jīng)網(wǎng)絡(luò)在實(shí)時(shí)圖像和音頻處理領(lǐng)域得到一些實(shí)際應(yīng)用,但文獻(xiàn)仍然較少。但是,現(xiàn)在有很多團(tuán)隊(duì)正在從事脈沖神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)規(guī)則的工作,因此我對(duì)其未來發(fā)展保持較為樂觀的態(tài)度。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4797瀏覽量
102377 -
脈沖
+關(guān)注
關(guān)注
20文章
900瀏覽量
96562 -
人工智能
+關(guān)注
關(guān)注
1804文章
48449瀏覽量
245096
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
基于機(jī)器學(xué)習(xí)的第三代神經(jīng)網(wǎng)絡(luò)--脈沖神經(jīng)網(wǎng)絡(luò)的解析
labview BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)
FPGA 超越 GPU,問鼎下一代深度學(xué)習(xí)主引擎
神經(jīng)網(wǎng)絡(luò)解決方案讓自動(dòng)駕駛成為現(xiàn)實(shí)
【PYNQ-Z2試用體驗(yàn)】神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)
機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)參數(shù)的代價(jià)函數(shù)
【AI學(xué)習(xí)】第3篇--人工神經(jīng)網(wǎng)絡(luò)
如何用卷積神經(jīng)網(wǎng)絡(luò)方法去解決機(jī)器監(jiān)督學(xué)習(xí)下面的分類問題?
有關(guān)脈沖神經(jīng)網(wǎng)絡(luò)的基本知識(shí)
脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有哪幾種?
卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用
卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介:什么是機(jī)器學(xué)習(xí)?
為什么使用機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)以及需要了解的八種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

評(píng)論