本周的論文既有周志華有關(guān)深度森林的新論文和Jeffery Dean機器學(xué)習(xí)進展研究綜述，也有華為和DeepMind的學(xué)術(shù)之爭。

目錄：

Multi-label Learning with Deep Forest

Unifying machine learning and quantum chemistry with a deep neural network for molecular wavefunctions

The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design

CenterMask : Real-Time Anchor-Free Instance Segmentation

Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

EfficientDet: Scalable and Efficient Object Detection

α^α-Rank: Practically Scaling α-Rank through Stochastic Optimisation

論文 1：Multi-label Learning with Deep Forest

作者：Liang Yang、Xi-Zhu Wu、Yuan Jiang、Zhi-Hua Zhou

論文鏈接：https://arxiv.org/pdf/1911.06557.pdf

摘要：在多標(biāo)簽學(xué)習(xí)領(lǐng)域，每個勢力都和多個表現(xiàn)相關(guān)聯(lián)，因此最重要的任務(wù)是如何讓構(gòu)建的模型學(xué)到標(biāo)簽關(guān)系。深度神經(jīng)網(wǎng)絡(luò)通常會聯(lián)合嵌入特征和標(biāo)簽信息到一個隱式空間，用于發(fā)掘表現(xiàn)關(guān)系。然而，這一方法能夠成功是因為對模型深度的準(zhǔn)確選擇。深度森林是近來基于集成樹模型的深度學(xué)習(xí)框架，不依賴反向傳播。研究者采用了深度森林算法用于解決多標(biāo)簽問題。因此，他們設(shè)計了 MLDF 方法，包括兩個機制：重復(fù)利用度量感知特征和度量感知層增長。度量感知特征重復(fù)利用機制能夠根據(jù)置信度重新使用之前層使用過的好的特征。而度量感知層增長機制則保證 MLDF 會根據(jù)性能瓶頸逐漸提升模型的復(fù)雜度。MLDF 同時解決了兩個問題：一個是控制模型復(fù)雜度以減少過擬合問題，另一個是根據(jù)用戶需求優(yōu)化性能評價，因為在多標(biāo)簽學(xué)習(xí)評價中有很多不同的度量標(biāo)準(zhǔn)。實驗說明，研究者提出的方法不僅在基準(zhǔn)測試的 6 個評價標(biāo)準(zhǔn)上勝過了其他方法，還具有多標(biāo)簽學(xué)習(xí)中標(biāo)簽關(guān)系發(fā)掘和其他不錯的特性。

圖 1：多標(biāo)簽深度森林算法（NLDF）。每個層集成兩個不同的森林（上部的黑色和下部的藍色）。

度量感知特性重復(fù)利用的算法圖示。

度量感知層增長的圖示。

推薦：近日，南大周志華等人首次提出使用深度森林方法解決多標(biāo)簽學(xué)習(xí)任務(wù)。該方法在 9 個基準(zhǔn)數(shù)據(jù)集、6 個多標(biāo)簽度量指標(biāo)上實現(xiàn)了最優(yōu)性能。

論文 2：Unifying machine learning and quantum chemistry with a deep neural network for molecular wavefunctions

作者：K. T. Schütt、M. Gastegger、A. Tkatchenko、K.-R. Müller、R. J. Maurer

論文鏈接：https://www.nature.com/articles/s41467-019-12875-2

摘要：通過對基于量子化學(xué)計算的化學(xué)空間進行大規(guī)模探索，機器學(xué)習(xí)可以促進化學(xué)和材料科學(xué)的發(fā)展。雖然這些機器學(xué)習(xí)模型可以對原子化學(xué)屬性進行快速和準(zhǔn)確的預(yù)測，但卻無法顯式地捕獲到分子的電子自由度，由此限制了它們對反應(yīng)化學(xué)和化學(xué)分子的適用性。在本文中，研究者提出了一種深度學(xué)習(xí)框架，用于在原子軌道局部基中預(yù)測量子力學(xué)波函數(shù)，進而可以推導(dǎo)出其他基態(tài)性質(zhì)。通過類力場效率下的波函數(shù)，這種方法可以繼續(xù)完全訪問電子結(jié)構(gòu)，并以一種分析上可微的表征捕獲到了量子力學(xué)。在列舉的幾個例子中，研究者證明這將為針對電子性能優(yōu)化的分子結(jié)構(gòu)逆向設(shè)計提供有前途的方法，并為增強機器學(xué)習(xí)和量子化學(xué)之間的協(xié)同提供清晰的發(fā)展道路。

量子化學(xué)與機器學(xué)習(xí)的協(xié)同。a 表示前向模型，機器學(xué)習(xí)基于參考計算預(yù)測化學(xué)性能；b 表示混合模型，機器學(xué)習(xí)預(yù)測波函數(shù)。

推薦：本文作者通過一個新穎的深度學(xué)習(xí)框架，進一步探索了機器學(xué)習(xí)在量子化學(xué)領(lǐng)域的作用，刊登在了《Nature Communications》上。

論文 3：The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design

作者：Jeffery Dean

論文鏈接：https://arxiv.org/abs/1911.05289

摘要：過去十年我們見證了機器學(xué)習(xí)的顯著進步，特別是基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。機器學(xué)習(xí)社區(qū)也一直在嘗試構(gòu)建新模型，用于完成具有挑戰(zhàn)性的工作，包括使用強化學(xué)習(xí)，通過和環(huán)境進行交互的方式完成難度較大的任務(wù)，如下圍棋、玩電子游戲等。機器學(xué)習(xí)對算力的需求無疑是龐大的，從計算機視覺到自然語言處理，更大的模型和更多的數(shù)據(jù)往往能夠取得更好的性能。在摩爾定律時代，硬件進步帶來的算力增長尚且能夠滿足機器學(xué)習(xí)的需求，但當(dāng)摩爾定律被榨干后，怎樣讓硬件中的算力資源被機器學(xué)習(xí)模型充分利用成了下一個需要探討的問題。

摩爾定律和后摩爾定律時代的計算需求增長態(tài)勢，其中自 1985 年至 2003 年，通用 CPU 性能每 1.5 年提升一倍；自 2003 年至 2010 年，通用 CPU 性能每 2 年提升一倍；而 2010 年以后，通用 CPU 性能預(yù)計每 20 年才能提升一倍。

AlexNet、GoogleNet、AlphaZero 等重要的機器學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)以及它們的計算需求增長態(tài)勢。

自 2009 年以來，機器學(xué)習(xí)相關(guān) Arxiv 論文發(fā)表數(shù)量的增長態(tài)勢（藍）和摩爾定律增長率（紅）。

推薦：深度學(xué)習(xí)和硬件怎樣結(jié)合？Jeff Dean 長文介紹了后摩爾定律時代的機器學(xué)習(xí)研究進展，以及他對未來發(fā)展趨勢的預(yù)測判斷。

論文 4：CenterMask : Real-Time Anchor-Free Instance Segmentation

作者：Youngwan Lee、Jongyoul Park

論文鏈接：https://arxiv.org/abs/1911.06667

摘要：在本文中，來自韓國電子通訊研究院（ETRI）的兩位研究者提出了一種簡單卻高效的無錨點實例分割方法，被稱為 CenterMask，該方法將一個新穎的空間注意力導(dǎo)向 mask（SAG-Mask）添加進 anchor-free 單級目標(biāo)檢測器中（FCOS），后者與 Mask R-CNN 相同。通 SAG-Mask 分支嵌入到 FCOS 目標(biāo)檢測器中，它可以利用空間注意力地圖來每個框上預(yù)測分割掩碼，從而有助于分割掩碼。此外，研究者還展示了一種性能提升的 VoVNetV2，它有以下兩種有效策略：添加殘差連減弱接以緩解更大 VoVNet 的飽和問題；利用有效的擠壓-激勵（effective Squeeze-Excitation，eSE）處理原始 SE 的信息損失問題。借助于 SAG-Mask 和 VoVNetV2，研究者設(shè)計了分別針對大模型和小模型的 CenterMask 和 CenterMask-Lite。其中 CenterMask 的性能優(yōu)于當(dāng)前所有的 SOTA 模型，并且速度較這些模型更快；CenterMask-Lite 也實現(xiàn)了 33.4% 的 mask AP 和 38.0% 的 box AP 結(jié)果，并在 Titan Xp 顯卡上以 35fps 的速度分別超出了當(dāng)前 SOTA 模型 2.6% 和 7.0% 的 AP gain。研究者希望 CenterMask 和 VoVNetV2 可以分別作為各種視覺任務(wù)上實時實例分割和骨干網(wǎng)絡(luò)的可靠基線。

CenterMask 架構(gòu)。

CenterMask 與其他方法在 COCO tes-dev2017 數(shù)據(jù)集上的實例分割和檢測性能對比。

推薦：論文作者稱「CenterMask 的性能優(yōu)于當(dāng)前所有的 SOTA 模型，并且速度較這些模型更快」，分割精度也打敗了先前所有的 State-of-the-art！

論文 5：Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

作者：Julian Schrittwieser、Ioannis Antonoglou、Thomas Hubert 等

論文鏈接：https://arxiv.org/pdf/1911.08265.pdf

摘要：基于前向搜索的規(guī)劃算法已經(jīng)在 AI 領(lǐng)域取得了很大的成功。在圍棋、國際象棋、西洋跳棋、撲克等游戲中，人類世界冠軍一次次被算法打敗。此外，規(guī)劃算法也已經(jīng)在物流、化學(xué)合成等諸多現(xiàn)實世界領(lǐng)域中產(chǎn)生影響。然而，這些規(guī)劃算法都依賴于環(huán)境的動態(tài)變化，如游戲規(guī)則或精確的模擬器，導(dǎo)致它們在機器人學(xué)、工業(yè)控制、智能助理等領(lǐng)域中的應(yīng)用受到限制。最受歡迎的方法是基于無模型強化學(xué)習(xí)的方法，即直接從智能體與環(huán)境的交互中估計優(yōu)化策略和/或價值函數(shù)。但在那些需要精確和復(fù)雜前向搜索的領(lǐng)域（如圍棋、國際象棋），這種無模型的算法要遠遠落后于 SOTA。在新的研究中，DeepMind 聯(lián)合倫敦大學(xué)學(xué)院的研究者提出了 MuZero，這是一種基于模型的強化學(xué)習(xí)新方法。研究者在 57 個不同的雅達利游戲中評估了 MuZero，發(fā)現(xiàn)該模型在雅達利 2600 游戲中達到了 SOTA 表現(xiàn)。此外，他們還在不給出游戲規(guī)則的情況下，在國際象棋、日本將棋和圍棋中對 MuZero 模型進行了評估，發(fā)現(xiàn)該模型可以匹敵 AlphaZero 超越人類的表現(xiàn)，而且，在該實驗中，AlphaZero 提前獲知了規(guī)則。

圖 1：用一個訓(xùn)練好的模型進行規(guī)劃、行動和訓(xùn)練。（A）MuZero 利用其模型進行規(guī)劃的方式；（B）MuZero 在環(huán)境中發(fā)生作用的方式；（C）MuZero 訓(xùn)練其模型的方式。

表 1：雅達利游戲中 MuZero 與先前智能體的對比。研究者分別展示了大規(guī)模（表上部分）和小規(guī)模（表下部分）數(shù)據(jù)設(shè)置下 MuZero 與其他智能體的對比結(jié)果，表明 MuZero 在平均分、得分中位數(shù)、Env. Frames、訓(xùn)練時間和訓(xùn)練步驟五項評估指標(biāo)（紅框）取得了新的 SOTA 結(jié)果。

推薦：DeepMind 近期的一項研究提出了 MuZero 算法，該算法在不具備任何底層動態(tài)知識的情況下，通過結(jié)合基于樹的搜索和學(xué)得模型，在雅達利 2600 游戲中達到了 SOTA 表現(xiàn)，在國際象棋、日本將棋和圍棋的精確規(guī)劃任務(wù)中可以匹敵 AlphaZero，甚至超過了提前得知規(guī)則的圍棋版 AlphaZero。

論文 6：EfficientDet: Scalable and Efficient Object Detection

作者：Mingxing Tan、Ruoming Pang、Quoc V. Le

論文鏈接：https://arxiv.org/abs/1911.09070

摘要：在計算機視覺領(lǐng)域，模型效率已經(jīng)變得越來越重要。在本文中，研究者系統(tǒng)地研究了用于目標(biāo)檢測的各種神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計選擇，并提出了一些關(guān)鍵的優(yōu)化措施來提升效率。首先，他們提出了一種加權(quán)雙向特征金字塔網(wǎng)絡(luò)（weighted bi-directional feature pyramid network，BiFPN），該網(wǎng)絡(luò)可以輕松快速地進行多尺度特征融合；其次，他們提出了一種復(fù)合縮放方法，該方法可以同時對所有骨干、特征網(wǎng)絡(luò)和框/類預(yù)測網(wǎng)絡(luò)的分辨率、深度和寬度進行統(tǒng)一縮放。基于這些優(yōu)化，研究者開發(fā)了一類新的目標(biāo)檢測器，他們稱之為 EfficientDet。在廣泛的資源限制條件下，該檢測器始終比現(xiàn)有技術(shù)獲得更高數(shù)量級的效率。具體而言，在沒有附屬條件的情況下，EfficientDet-D7 在 52M 參數(shù)和 326B FLOPS1 的 COCO 數(shù)據(jù)集上實現(xiàn)了 51.0 mAP 的 SOTA 水平，體積縮小了 4 倍，使用的 FLOPS 減少了 9.3 倍，但仍比先前最佳的檢測器還要準(zhǔn)確（+0.3% mAP）。

推薦：本文探討了計算機視覺領(lǐng)域的模型效率問題，分別提出了加權(quán)雙向特征金字塔網(wǎng)絡(luò)和復(fù)合縮放方法，進而開發(fā)了一種新的 EfficientDet 目標(biāo)檢測器，實現(xiàn)了新的 SOTA 水平。

論文 7：α^α-Rank: Practically Scalingα-Rank through Stochastic Optimisation

作者：Yaodong Yang、Rasul Tutunov、Phu Sakulwongtana、Haitham Bou Ammar

論文鏈接：https://arxiv.org/abs/1909.11628

摘要：作為 DeepMind「阿爾法」家族的一名新成員，α-Rank 有關(guān)強化學(xué)習(xí)，并于今年 7 月登上了《Nature Scientific Reports》。研究人員稱，α-Rank 是一種全新的動態(tài)博弈論解決方法，這種方法已在 AlphaGo、AlphaZero、MuJoCo Soccer 和 Poker 等場景上進行了驗證，并獲得了很好的結(jié)果。但是，華為的這篇論文指出，DeepMind 的這項研究存在多個問題。研究者認(rèn)為，如果要復(fù)現(xiàn)這篇論文，需要動用高達一萬億美元的算力，這是全球所有算力加起來都不可能實現(xiàn)的。

計算α-Rank 時構(gòu)造轉(zhuǎn)換矩陣 T 的花銷成本。這里請注意，當(dāng)前全球計算機的總算力約為 1 萬億美元（紅色平面）。投影輪廓線表明，由于α-Rank「輸入」的算力需求呈指數(shù)級增長，用十個以上的智能體進行多智能體評估是根本不可能的。

其他的算法也都不可行——在華為研究人員估算下，即使將收益矩陣加入α-Rank 跑 DeepMind 幾個著名算法需要用到的資金花費和時間都是天文數(shù)字。注意：在這里預(yù)設(shè)使用全球所有的算力。

推薦：近日，DeepMind 之前時間發(fā)表在 Nature 子刊的論文被嚴(yán)重質(zhì)疑。來自華為英國研發(fā)中心的研究者嘗試實驗了 DeepMind 的方法，并表示該論文需要的算力無法實現(xiàn)。