4月14日，非營(yíng)利人工智能研究組織Open AI推出神經(jīng)元可視化庫(kù)Microscope，有助于提升AI研究者對(duì)神經(jīng)網(wǎng)絡(luò)的理解。

現(xiàn)代神經(jīng)網(wǎng)絡(luò)由成千上萬(wàn)的神經(jīng)元組成，神經(jīng)活動(dòng)就是神經(jīng)元間的相互協(xié)作過程。解釋神經(jīng)元間的相互作用一直是AI研究者的一大目標(biāo)。

Microscope神經(jīng)元可視化庫(kù)基于8個(gè)常用或重要的視覺神經(jīng)網(wǎng)絡(luò)，收集了其中每一個(gè)重要的層級(jí)和神經(jīng)元，使分析神經(jīng)網(wǎng)絡(luò)的內(nèi)部特征更加容易。

如同在實(shí)驗(yàn)室中用顯微鏡能更清晰地觀察到細(xì)節(jié)，它也能使AI研究者更好地理解有成千上萬(wàn)個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。

一、連接8大神經(jīng)網(wǎng)絡(luò)，可視化呈現(xiàn)神經(jīng)元

8個(gè)神經(jīng)網(wǎng)絡(luò)分別是：AlexNet（2012年ImageNet挑戰(zhàn)賽冠軍），AlexNet（Places），Inception v1（又稱GoogleNet，2014年ImageNet挑戰(zhàn)賽冠軍），Inception v1（Places），VGG 19，Inception v3，Inception v4，ResNet v2 50。每個(gè)神經(jīng)網(wǎng)絡(luò)中都有許多圖像，在創(chuàng)作共用授權(quán)條款下，可以在OpenAI lucid程序庫(kù)中重復(fù)使用。

Microscope模型把神經(jīng)網(wǎng)絡(luò)層當(dāng)作“節(jié)點(diǎn)（node）”，“節(jié)點(diǎn)”通過“邊（edge）”相互連接。每個(gè)op包含數(shù)百個(gè)“單元（unit）”，大致類似于神經(jīng)元。通過特征可視化、深度夢(mèng)境、數(shù)據(jù)集示例、合成調(diào)整曲線等技術(shù)實(shí)現(xiàn)可視化效果。

研究人員稱隨著時(shí)間發(fā)展，圖像可能會(huì)更多。但他們也指出，使用的大多數(shù)技術(shù)只有在特定情況下才有用。比如，特征可視化只能指向“單元”，但不能指向其“父節(jié)點(diǎn)”。

▲神經(jīng)元視覺化呈現(xiàn)

二、快速反饋，易于理解，能倒推出神經(jīng)活動(dòng)

研究人員基于已有的神經(jīng)網(wǎng)絡(luò)，連接所有的神經(jīng)網(wǎng)絡(luò)層和神經(jīng)元，搭建出了Microscope。

這種方法有幾大優(yōu)勢(shì)：

首先，Microscope將探索神經(jīng)元的反饋時(shí)間從分鐘級(jí)縮短為秒級(jí)。在發(fā)現(xiàn)一些未知特性時(shí)，這種快速反饋回路必不可少，比如可以幫助研究人員發(fā)現(xiàn)神經(jīng)活動(dòng)中的高-低頻探測(cè)器。

其次，建立可連接的模型和神經(jīng)元使研究人員既可以立即進(jìn)行查閱，也可以進(jìn)行更長(zhǎng)遠(yuǎn)的研究。當(dāng)研究人員在不同機(jī)構(gòu)工作時(shí)，也不會(huì)對(duì)模型和神經(jīng)元產(chǎn)生混淆。

另外，Microscope具有可訪問性。相比于其他模型，它需要的訪問計(jì)算量更少。但是，Microscope仍然需要幾百個(gè)GPU小時(shí)，研究人員稱希望能保持它的高度可理解性。

根據(jù)OpenAI 14日發(fā)表的博文，Microscope可以通過理解神經(jīng)元間的聯(lián)系，倒推實(shí)現(xiàn)神經(jīng)元間的協(xié)作。

OpenAI認(rèn)為，Microscope可以為那些有興趣探索神經(jīng)網(wǎng)絡(luò)如何工作的人提供便利，但其更重要的價(jià)值在于提供長(zhǎng)期的、共享的神經(jīng)元可視化庫(kù)來(lái)促進(jìn)對(duì)這些模型的長(zhǎng)期研究。

“我們也希望神經(jīng)科學(xué)等相近學(xué)科的研究人員能夠從中獲益，可以更容易地理解這些視覺模型的內(nèi)部工作。”研究人員表示。

結(jié)語(yǔ)：神經(jīng)網(wǎng)絡(luò)可視化是熱點(diǎn)，未來(lái)或有更多進(jìn)步

除了Microscope以外，近年來(lái)也有其他致力于使機(jī)器學(xué)習(xí)模型的活動(dòng)可視化的研究。

比如，去年秋天臉書推出了Captum，可以用可視化手段理解機(jī)器學(xué)習(xí)模型所作的決策。2019年3月，OpenAI和谷歌發(fā)布了一項(xiàng)使機(jī)器學(xué)習(xí)算法決策可視化的開源技術(shù)。后來(lái)，谷歌又在2019年10月份發(fā)布了TensorBoard.dev，可以使機(jī)器學(xué)習(xí)模型的訓(xùn)練過程可視化。

通過各家公司的不斷鉆研，神經(jīng)網(wǎng)絡(luò)可視化技術(shù)將在未來(lái)繼續(xù)進(jìn)步，讓我們拭目以待。