FAIR何愷明團隊近日發(fā)表神經(jīng)結(jié)構(gòu)搜索NAS方面的最新力作，通過隨機連接的神經(jīng)網(wǎng)絡，探索了更多樣化的連接模式，所提出的RandWire網(wǎng)絡ImageNet基準測試中獲得了有競爭力的準確度。

用于圖像識別的神經(jīng)網(wǎng)絡經(jīng)過大量的人工設計，已經(jīng)從簡單的鏈狀模型發(fā)展到具有多個連接路徑的結(jié)構(gòu)。ResNets和DenseNets的成功在很大程度上歸功于它們創(chuàng)新的連接規(guī)劃。

目前，神經(jīng)結(jié)構(gòu)搜索(NAS)的研究正在探索連接(wiring)與操作類型(operation types)的聯(lián)合優(yōu)化，然而，由于可能的連接空間受到限制，盡管采用了神經(jīng)結(jié)構(gòu)搜索，優(yōu)化仍然是由人工設計驅(qū)動的。

近日，F(xiàn)AIR何愷明等人發(fā)表最新論文，探討了在圖像識別中NAS方法的優(yōu)化。研究人員通過隨機連接的神經(jīng)網(wǎng)絡，探索了更多樣化的連接模式。

論文地址：

https://arxiv.org/pdf/1904.01569.pdf

作者首先定義了一個隨機網(wǎng)絡生成器(network generator)的概念，該生成器封裝了整個網(wǎng)絡生成過程，從而提供了NAS和隨機連接網(wǎng)絡的統(tǒng)一視圖。

然后，研究人員采用三種經(jīng)典的隨機圖模型來生成網(wǎng)絡的隨機連接圖。

實驗結(jié)果令人驚訝：這些隨機生成器生成的網(wǎng)絡實例在ImageNet基準測試中獲得了有競爭力的準確度。

研究人員表示，這些結(jié)果表明，專注于設計更好的網(wǎng)絡生成器的研究可以通過探索更少約束的搜索空間，為新設計提供更多空間，從而帶來新的突破。

不過，該研究被指其思想早已在2013年P(guān)CA-Net論文中提出過，在算法設計思想方面沒有本質(zhì)的創(chuàng)新。

何愷明等人的這一新研究到底意義如何？本文對這篇論文進行了譯介：

研究概述：網(wǎng)絡生成器的設計很重要

今天我們所稱的深度學習是從連接主義方法發(fā)展起來的，這一范式反映了這樣一種假設，即計算網(wǎng)絡的連接方式對構(gòu)建智能機器至關(guān)重要。

與這一觀點相呼應的是，計算機視覺領(lǐng)域的最新進展是由使用鏈狀連接的模型向更精細的連接模式(如ResNet和DenseNet)的轉(zhuǎn)變所驅(qū)動的，這些連接模式之所以有效，在很大程度上是因為它們的連接方式。

在這一趨勢的推進中，神經(jīng)結(jié)構(gòu)搜索(neural architecture search, NAS)已經(jīng)成為聯(lián)合搜索連接模式和執(zhí)行操作方式的一個有前景的方向。NAS方法專注于搜索，同時隱式地依賴于一個重要但常常被忽視的組件——網(wǎng)絡生成器(network generator)。

NAS網(wǎng)絡生成器定義了一系列可能的連接模式，并根據(jù)可學習的概率分布對網(wǎng)絡進行采樣。然而，就像ResNet和DenseNet中的連接模式一樣，NAS網(wǎng)絡生成器是手工設計的，允許的連接模式的空間被限制在所有可能的圖的一個小的子集中。從這個角度來看，我們會問：如果我們放開這種約束，并設計新的網(wǎng)絡生成器，會發(fā)生什么?

我們通過隨機網(wǎng)絡生成器采樣的隨機連接神經(jīng)網(wǎng)絡來探討這個問題，其中人工設計的隨機過程定義了生成。

圖1：隨機連接網(wǎng)絡的計算圖

我們使用了三個經(jīng)典的隨機圖模型：Erdos-R?enyi (ER)，Barabasi-Albert (BA)，以及Watts-Strogatz (WS)模型。

如圖1所示，隨機連接網(wǎng)絡的三個實例在ImageNet基準測試中分別達到79.1%、79.1%和79.0%的精度，超過了ResNet-50的77.1%。

為了定義完整的網(wǎng)絡，我們將一個隨機圖轉(zhuǎn)換成一個有向無環(huán)圖(DAG)，并應用從節(jié)點到其函數(shù)角色(例如，到相同類型的卷積)的一個簡單映射。

結(jié)果令人驚訝：這些隨機生成器的幾個變體在ImageNet上產(chǎn)生了準確率上具有競爭力的網(wǎng)絡。

使用WS模型的最佳生成器生成的多個網(wǎng)絡性能優(yōu)于或可與完全手工設計的同類網(wǎng)絡和通過各種神經(jīng)結(jié)構(gòu)搜索方法找到的網(wǎng)絡相媲美。

我們還觀察到，對于同一生成器生成的不同隨機網(wǎng)絡，精度的方差較低，但不同生成器之間存在明顯的精度差距。這些觀察結(jié)果表明，網(wǎng)絡生成器的設計很重要。

最后，我們的工作表明，從設計單個網(wǎng)絡到設計網(wǎng)絡生成器的新過渡是可能的，類似于如何從設計特征過渡到設計學習特征的網(wǎng)絡。

我們建議設計新的網(wǎng)絡生成器來生成用于搜索的新模型家族，而不是主要關(guān)注使用固定生成器進行搜索。設計的網(wǎng)絡生成器的重要性還意味著機器學習尚未實現(xiàn)自動化——底層的人工設計只是從網(wǎng)絡工程轉(zhuǎn)變到網(wǎng)絡生成器工程(network generator engineering)。

研究方法

接下來介紹網(wǎng)絡生成器的概念，這是隨機連接神經(jīng)網(wǎng)絡的基礎(chǔ)。

網(wǎng)絡生成器(network generator)

我們定義一個網(wǎng)絡生成器為從參數(shù)空間Θ到神經(jīng)網(wǎng)絡結(jié)構(gòu)空間N的一個映射g，表示為g:Θ→N。對于一個給定的θ∈Θ，g(θ)返回一個神經(jīng)網(wǎng)絡實例n∈N。N通常是一組相關(guān)網(wǎng)絡，例如VGG nets、ResNets或DenseNets。

生成器g決定了計算圖的連接方式。

隨機連接神經(jīng)網(wǎng)絡(Randomly Wired Neural Networks)

對NAS的分析表明，網(wǎng)絡生成器是人工設計的，并且是人類知識的先驗編碼。網(wǎng)絡生成器的設計很可能起了相當大的作用，如果是這樣的話，目前的方法還沒有實現(xiàn)“AutoML”，仍然需要大量的人工。

為了研究生成器設計的重要性，僅比較相同NAS生成器的不同優(yōu)化器是不夠的；有必要研究新的網(wǎng)絡生成器，它們與NAS生成器有本質(zhì)的不同。

這就引出了我們對隨機連接神經(jīng)網(wǎng)絡的探索。也就是說，我們將定義網(wǎng)絡生成器，這些生成器生成具有隨機圖的網(wǎng)絡，受不同的人類特定先驗影響。

我們在研究中使用了三個經(jīng)典的隨機圖模型(如上文所述)。生成隨機連接網(wǎng)絡的方法涉及以下概念:

生成通用的圖(general graphs)。

網(wǎng)絡生成器首先生成一個general graph，包含一組節(jié)點和連接節(jié)點的邊，而不受限于圖和神經(jīng)網(wǎng)絡的對應關(guān)系。這允許我們自由地使用圖理論中的任意通用圖生成器(ER/BA/WS)。一旦生成一個圖，它就被映射到一個可計算的神經(jīng)網(wǎng)絡。

邊操作(Edge operations)。

假設生成的圖是有方向的，我們定義邊是數(shù)據(jù)流，即有向邊將數(shù)據(jù)(張量)從一個節(jié)點發(fā)送到另一個節(jié)點。

節(jié)點操作(Node operations)。

有向圖中的節(jié)點可以具有一些輸入邊和一些輸出邊。如圖2所示。

圖2：節(jié)點操作

輸入和輸出節(jié)點。

到目前為止，即使給定邊/節(jié)點操作，通用圖也不是一個有效的神經(jīng)網(wǎng)絡，因為它可能有多個輸入節(jié)點和多個輸出節(jié)點。對于典型的神經(jīng)網(wǎng)絡，如圖像分類，最好有一個單一的輸入和輸出。我們應用了一個簡單的后處理步驟。

階段(Stages)。

由于具有唯一的輸入和輸出節(jié)點，一個圖就足以表示一個有效的神經(jīng)網(wǎng)絡。然而，特別是在圖像分類中，始終保持完整輸入分辨率的網(wǎng)絡是不可取的。通常的方法是將網(wǎng)絡劃分為逐步向下采樣特征映射的階段。

表1：RandWire架構(gòu)

表1總結(jié)了我們實驗中使用的隨機連接神經(jīng)網(wǎng)絡，稱為RandWire。網(wǎng)絡以一個分類器輸出結(jié)束(表1，最后一行)。

圖1顯示了三個隨機連接網(wǎng)絡樣本的完整計算圖。

實驗和結(jié)果

我們對ImageNet 1000類分類任務進行了實驗。訓練在～1.28M圖像的訓練集上進行，并在50K驗證圖像上進行測試。

實驗結(jié)果如下：

隨機生成器

圖3

圖3比較了小型計算環(huán)境中不同生成器的結(jié)果：每個RandWire網(wǎng)絡有～580M FLOPs。

圖4

圖4顯示了每個生成器的一個示例圖。圖生成器由隨機圖模型(ER/BA/WS)及其參數(shù)集指定，如ER(0.2)。我們觀察到：

所有隨機生成器在所有5個隨機網(wǎng)絡實例上都提供良好的準確度，而且它們沒有一個不收斂。

此外，隨機網(wǎng)絡實例之間的差異很小。圖3中的幾乎所有隨機生成器的標準偏差(std)都為0.2 ~ 0.4%。

Graph damage.

我們通過隨機移除一個節(jié)點或邊來探索Graph damage。

圖5

當刪除邊時，我們評估了精度損失與該邊的目標節(jié)點的輸入程度(圖5，底部)。

節(jié)點操作

圖6

圖6顯示了圖3中列出的每個生成器的平均精度。

結(jié)果比較

小型計算設置

表2

表2比較了在較小計算條件下的結(jié)果，這是現(xiàn)有NAS論文中研究的一種常見設置

表3

表3比較了RandWire與ResNet和ResNeXt在與ResNet-50/101類似的FLOPs的情況下的性能。RandWire的平均準確率分別比ResNet50和ResNet-101高1.9%和1.3%，比ResNeXt高0.6%。

更大的計算條件

表4

表4比較了在更大計算條件下的結(jié)果

COCO對象檢測

最后，我們報告了通過微調(diào)網(wǎng)絡進行COCO對象檢測的結(jié)果。我們使用Faster R-CNN和FPN作為目標探測器。

表5

表5比較了對象檢測結(jié)果。觀察到的趨勢與表3中的ImageNet實驗相似。這些結(jié)果表明，我們的隨機連接網(wǎng)絡學習到的特征也可以遷移。