4月14日,非營(yíng)利人工智能研究組織Open AI推出神經(jīng)元可視化庫(kù)Microscope,有助于提升AI研究者對(duì)神經(jīng)網(wǎng)絡(luò)的理解。
現(xiàn)代神經(jīng)網(wǎng)絡(luò)由成千上萬(wàn)的神經(jīng)元組成,神經(jīng)活動(dòng)就是神經(jīng)元間的相互協(xié)作過程。解釋神經(jīng)元間的相互作用一直是AI研究者的一大目標(biāo)。
Microscope神經(jīng)元可視化庫(kù)基于8個(gè)常用或重要的視覺神經(jīng)網(wǎng)絡(luò),收集了其中每一個(gè)重要的層級(jí)和神經(jīng)元,使分析神經(jīng)網(wǎng)絡(luò)的內(nèi)部特征更加容易。
如同在實(shí)驗(yàn)室中用顯微鏡能更清晰地觀察到細(xì)節(jié),它也能使AI研究者更好地理解有成千上萬(wàn)個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。
一、連接8大神經(jīng)網(wǎng)絡(luò),可視化呈現(xiàn)神經(jīng)元
8個(gè)神經(jīng)網(wǎng)絡(luò)分別是:AlexNet(2012年ImageNet挑戰(zhàn)賽冠軍),AlexNet(Places),Inception v1(又稱GoogleNet,2014年ImageNet挑戰(zhàn)賽冠軍),Inception v1(Places),VGG 19,Inception v3,Inception v4,ResNet v2 50。每個(gè)神經(jīng)網(wǎng)絡(luò)中都有許多圖像,在創(chuàng)作共用授權(quán)條款下,可以在OpenAI lucid程序庫(kù)中重復(fù)使用。
Microscope模型把神經(jīng)網(wǎng)絡(luò)層當(dāng)作“節(jié)點(diǎn)(node)”,“節(jié)點(diǎn)”通過“邊(edge)”相互連接。每個(gè)op包含數(shù)百個(gè)“單元(unit)”,大致類似于神經(jīng)元。通過特征可視化、深度夢(mèng)境、數(shù)據(jù)集示例、合成調(diào)整曲線等技術(shù)實(shí)現(xiàn)可視化效果。
研究人員稱隨著時(shí)間發(fā)展,圖像可能會(huì)更多。但他們也指出,使用的大多數(shù)技術(shù)只有在特定情況下才有用。比如,特征可視化只能指向“單元”,但不能指向其“父節(jié)點(diǎn)”。
▲神經(jīng)元視覺化呈現(xiàn)
二、快速反饋,易于理解,能倒推出神經(jīng)活動(dòng)
研究人員基于已有的神經(jīng)網(wǎng)絡(luò),連接所有的神經(jīng)網(wǎng)絡(luò)層和神經(jīng)元,搭建出了Microscope。
這種方法有幾大優(yōu)勢(shì):
首先,Microscope將探索神經(jīng)元的反饋時(shí)間從分鐘級(jí)縮短為秒級(jí)。在發(fā)現(xiàn)一些未知特性時(shí),這種快速反饋回路必不可少,比如可以幫助研究人員發(fā)現(xiàn)神經(jīng)活動(dòng)中的高-低頻探測(cè)器。
其次,建立可連接的模型和神經(jīng)元使研究人員既可以立即進(jìn)行查閱,也可以進(jìn)行更長(zhǎng)遠(yuǎn)的研究。當(dāng)研究人員在不同機(jī)構(gòu)工作時(shí),也不會(huì)對(duì)模型和神經(jīng)元產(chǎn)生混淆。
另外,Microscope具有可訪問性。相比于其他模型,它需要的訪問計(jì)算量更少。但是,Microscope仍然需要幾百個(gè)GPU小時(shí),研究人員稱希望能保持它的高度可理解性。
根據(jù)OpenAI 14日發(fā)表的博文,Microscope可以通過理解神經(jīng)元間的聯(lián)系,倒推實(shí)現(xiàn)神經(jīng)元間的協(xié)作。
OpenAI認(rèn)為,Microscope可以為那些有興趣探索神經(jīng)網(wǎng)絡(luò)如何工作的人提供便利,但其更重要的價(jià)值在于提供長(zhǎng)期的、共享的神經(jīng)元可視化庫(kù)來(lái)促進(jìn)對(duì)這些模型的長(zhǎng)期研究。
“我們也希望神經(jīng)科學(xué)等相近學(xué)科的研究人員能夠從中獲益,可以更容易地理解這些視覺模型的內(nèi)部工作。”研究人員表示。
結(jié)語(yǔ):神經(jīng)網(wǎng)絡(luò)可視化是熱點(diǎn),未來(lái)或有更多進(jìn)步
除了Microscope以外,近年來(lái)也有其他致力于使機(jī)器學(xué)習(xí)模型的活動(dòng)可視化的研究。
比如,去年秋天臉書推出了Captum,可以用可視化手段理解機(jī)器學(xué)習(xí)模型所作的決策。2019年3月,OpenAI和谷歌發(fā)布了一項(xiàng)使機(jī)器學(xué)習(xí)算法決策可視化的開源技術(shù)。后來(lái),谷歌又在2019年10月份發(fā)布了TensorBoard.dev,可以使機(jī)器學(xué)習(xí)模型的訓(xùn)練過程可視化。
通過各家公司的不斷鉆研,神經(jīng)網(wǎng)絡(luò)可視化技術(shù)將在未來(lái)繼續(xù)進(jìn)步,讓我們拭目以待。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4808瀏覽量
102797 -
可視化
+關(guān)注
關(guān)注
1文章
1246瀏覽量
21643 -
神經(jīng)元
+關(guān)注
關(guān)注
1文章
368瀏覽量
18755 -
OpenAI
+關(guān)注
關(guān)注
9文章
1202瀏覽量
8644
發(fā)布評(píng)論請(qǐng)先 登錄
神經(jīng)元芯片的主要特點(diǎn)和優(yōu)勢(shì)
神經(jīng)元是什么?神經(jīng)元在神經(jīng)系統(tǒng)中的作用

評(píng)論