DeepMind今天在Science發(fā)表論文，提出生成查詢網(wǎng)絡(luò)（Generative Query Network，GQN），能夠在無監(jiān)督的情況下，抽象地描述場景元素，并通過“想象”渲染出場景中沒有見到的部分。這項工作展示了沒有人類標(biāo)簽或領(lǐng)域知識的表示學(xué)習(xí)，為機(jī)器自動學(xué)習(xí)并理解周圍世界鋪平了道路。

DeepMind又有大動作，早上起來便看到Hassabis的推文：

一直以來，我對大腦是如何在腦海中構(gòu)建圖像的過程深感著迷。我們最新發(fā)表在Science的論文提出了生成查詢網(wǎng)絡(luò)（GQN）：這個模型能從一個場景的少量2D照片中重新生成3D表示，并且能從新的攝像頭視角將它渲染出來。

Hassabis在接受《金融時報》采訪時表示，GQN能夠從任何角度想象和呈現(xiàn)場景，是一個通用的系統(tǒng)，具有廣泛的應(yīng)用潛力。

如果說新智元昨天介紹的DeepMind那篇有關(guān)圖網(wǎng)絡(luò)的論文重磅，那么這篇最新的Science更顯分量。

“此前我們不知道神經(jīng)網(wǎng)絡(luò)能否能學(xué)會以如此精確和可控的方式來創(chuàng)建圖像，”DeepMind的研究員、論文的第一作者Ali Eslami表示：“但是，這次我們發(fā)現(xiàn)具有足夠深度的網(wǎng)絡(luò)，可以在沒有任何人類工程干預(yù)的情況下，學(xué)習(xí)透視和光線。這是一個非常驚人的發(fā)現(xiàn)?！?/p>

DeepMind最新發(fā)表在Science上的論文《神經(jīng)場景表示和渲染》。包括老板Demis Hassabis在內(nèi)，一共22名作者。本著開源共享的精神，文章以公開獲取的形式在Science發(fā)表。

這篇文章的意義在于，提出了一種無監(jiān)督的方法，不依賴帶標(biāo)記的數(shù)據(jù)，而且能夠推廣到各種不同的場景中。過去的計算機(jī)視覺識別任務(wù)，通常是建立在大量有標(biāo)記的數(shù)據(jù)基礎(chǔ)上，不僅標(biāo)記這些數(shù)據(jù)麻煩，標(biāo)記好的數(shù)據(jù)還可能帶有偏見，最重要的是，已經(jīng)有越來越多的研究者意識到，由于測試集過擬合的問題，很多分類器的魯棒性亟待提高。

DeepMind的這套視覺系統(tǒng)，也即生成查詢網(wǎng)絡(luò)（GQN），使用從不同視角收集到的某個場景的圖像，然后生成關(guān)于這個場景的抽象描述，通過一個無監(jiān)督的表示學(xué)習(xí)過程，學(xué)習(xí)到了場景的本質(zhì)。之后，在學(xué)到的這種表示的基礎(chǔ)上，網(wǎng)絡(luò)會預(yù)測從其他新的視角看這個場景將會是什么樣子。這一過程非常類似人腦中對某個場景的想象。而理解一個場景中的視覺元素是典型的智能行為。

雖然還有諸多局限，但DeepMind的這項工作，在此前許許多多相關(guān)研究的基礎(chǔ)上更進(jìn)一步，展示了我們在讓機(jī)器“理解世界”的道路上，邁出了堅實一步。

下面是DeepMind今天發(fā)表的官方博文，論文的聯(lián)合第一作者S. M. Ali Eslami和Danilo Jimenez Rezende對這項工作進(jìn)行了解讀。

《神經(jīng)場景表示和渲染》的研究背景

當(dāng)談到我們?nèi)祟惾绾卫斫庖粋€視覺場景時，涉及的不僅僅是視覺：我們的大腦利用先驗知識進(jìn)行推理，并做出遠(yuǎn)遠(yuǎn)超出光線的模式的推斷。例如，當(dāng)你第一次進(jìn)入一個房間時，你能夠立即識別出房間里的物品以及它們的位置。如果你看到一張桌子的三條腿，你會推斷，可能存在第四條桌子腿從你的視線中隱藏了，它的顏色和形狀應(yīng)該與其他三條腿相同。即使你看不到房間里的所有東西，你也很可能勾畫出它的布局，或者從另一個角度想象它的樣子。

這些視覺和認(rèn)知任務(wù)對人類來說似乎毫不費力，但它們對我們的AI系統(tǒng)來說是一個重大挑戰(zhàn)。今天，最先進(jìn)的視覺識別系統(tǒng)都是用人類產(chǎn)生的帶注釋圖像的大型數(shù)據(jù)集訓(xùn)練的。獲取這些數(shù)據(jù)是一個昂貴而且耗時的過程，需要有人對數(shù)據(jù)集中每個場景的每個對象進(jìn)行標(biāo)記。因此，通常只能捕獲整體場景的一小部分內(nèi)容，這限制了用這些數(shù)據(jù)進(jìn)行訓(xùn)練的人工視覺系統(tǒng)。

當(dāng)我們開發(fā)出在現(xiàn)實世界運行的更復(fù)雜的機(jī)器時，我們希望機(jī)器能充分了解它們所處的環(huán)境：可以坐的最近的表面在哪里？沙發(fā)是什么料子的？所有的陰影都是哪些光源產(chǎn)生的？電燈的開關(guān)可能在哪里？

論文一作S. M. Ali Eslami解讀

在這篇發(fā)表于《科學(xué)》（Science）的最新論文中，我們提出生成查詢網(wǎng)絡(luò)（Generative Query Network，GQN）。在這個框架中，機(jī)器學(xué)習(xí)只使用它們在場景中移動時所獲得的數(shù)據(jù)進(jìn)行訓(xùn)練，從而感知周圍的環(huán)境。

就像嬰兒和動物一樣，GQN通過嘗試?yán)斫馑鼘χ車澜绲挠^察來學(xué)習(xí)。在這樣做的過程中，GQN了解了似乎合理的場景及其幾何屬性，而沒有任何人類來對場景內(nèi)容進(jìn)行標(biāo)注。

GQN：僅使用從場景中感知到的數(shù)據(jù)做訓(xùn)練

GQN模型由兩個部分組成：表示網(wǎng)絡(luò)（representation network）和生成網(wǎng)絡(luò)（generation network）。表示網(wǎng)絡(luò)將agent的觀察結(jié)果作為輸入，并生成一個描述基礎(chǔ)場景的表示（向量）。然后，生成網(wǎng)絡(luò)從先前未觀察到的角度來預(yù)測（“想象”）場景。

Agent從不同視角觀察訓(xùn)練場景

表示網(wǎng)絡(luò)不知道生成網(wǎng)絡(luò)被要求預(yù)測哪些視點，所以它必須找到一種有效的方式來盡可能準(zhǔn)確地描述場景的真實布局。為了實現(xiàn)這個目的，表示網(wǎng)絡(luò)以一種簡潔的分布式表示來捕獲最重要的元素（如對象位置、顏色和房間布局）。

在訓(xùn)練過程中，生成器學(xué)習(xí)環(huán)境中的典型對象、特征、關(guān)系和規(guī)則。這種共享的“概念”集合使表示網(wǎng)絡(luò)能夠以高度壓縮、抽象的方式描述場景，讓生成網(wǎng)絡(luò)在必要時填充細(xì)節(jié)。

例如，表示網(wǎng)絡(luò)會簡潔地將“藍(lán)色立方體”表示為一組數(shù)字，而生成網(wǎng)絡(luò)將會知道如何以特定的視點將其顯示為像素。

四大重要特性：能夠“想象出”沒有觀察過的場景

我們在模擬的3D世界的一系列程序生成環(huán)境中，對GQN進(jìn)行了受控實驗。這些環(huán)境包含多個物體，它們的位置、顏色、形狀和紋理都是隨機(jī)的，光源也是隨機(jī)的，而且會被嚴(yán)重遮擋。

在這些環(huán)境中進(jìn)行訓(xùn)練后，我們使用GQN的表示網(wǎng)絡(luò)來形成新的、以前未觀察到的場景的表示。我們的實驗表明，GQN具有以下幾個重要特性:

GQN的生成網(wǎng)絡(luò)能夠以非常精確的方式從新的視角“想象”先前未觀察到的場景。當(dāng)給定一個場景表示和新的攝像機(jī)視點時，它會生成清晰的圖像，而不需要事先說明透視、遮擋或燈光的規(guī)范。因此，生成網(wǎng)絡(luò)是一種從數(shù)據(jù)中學(xué)習(xí)的近似渲染器（approximate renderer）:

GQN的表示網(wǎng)絡(luò)可以學(xué)會對對象進(jìn)行計數(shù)、定位和分類，無需任何對象級標(biāo)簽。盡管GQN的表示可能非常小，但是它在查詢視點（query viewpoints）上的預(yù)測是高度準(zhǔn)確的，與ground-truth幾乎無法區(qū)分。這意味著表示網(wǎng)絡(luò)能夠準(zhǔn)確地感知，例如識別構(gòu)成以下場景的塊的精確配置:

GQN可以表示、測量和減少不確定性。即使內(nèi)容不完全可見，它也能對場景的不確定性進(jìn)行解釋，并且可以將場景的多個局部視圖組合成一個連貫的整體視圖。如下圖所示，這是由其第一人稱（first-person）和自上而下的預(yù)測（top-down predictions）顯示的。模型通過其預(yù)測的可變性來表示不確定性，不確定性隨著其在迷宮中移動而逐漸減?。ɑ疑淖刁w指示觀察位置，黃色椎體指示查詢位置）：

GQN的表示允許穩(wěn)健的、數(shù)據(jù)有效（data-efficient）的強(qiáng)化學(xué)習(xí)。當(dāng)給定GQN的緊湊表示時，與無模型基線agent相比， state-of-the-art的深度強(qiáng)化學(xué)習(xí)agent能夠以更高的數(shù)據(jù)效率方式完成任務(wù)，如下圖所示。對于這些agent，生成網(wǎng)絡(luò)中編碼的信息可以被看作是對環(huán)境的“先天”知識：

圖：使用GQN，我們觀察到數(shù)據(jù)效率更高的策略學(xué)習(xí)（policy learning），與使用原始像素的標(biāo)準(zhǔn)方法相比，其獲得收斂級性能的交互減少了約4倍。

未來方向

GQN建立在此前大量相關(guān)工作的基礎(chǔ)上，包括多視圖幾何、生成建模、無監(jiān)督學(xué)習(xí)和預(yù)測學(xué)習(xí)，我們在論文中有詳細(xì)討論。

GQN演示了一種學(xué)習(xí)緊湊的、基礎(chǔ)的物理場景表示的新方法。關(guān)鍵的是，我們提出的方法不需要專用領(lǐng)域工程（domain-specific engineering）或耗時的場景內(nèi)容標(biāo)記，從而允許將相同的模型應(yīng)用于各種不同的環(huán)境。GQN還學(xué)會了一個強(qiáng)大的神經(jīng)渲染器，能夠從新的視角生成精確的場景圖像。

與更傳統(tǒng)的計算機(jī)視覺技術(shù)相比，我們的方法仍然有許多限制，目前只有接受過合成場景的訓(xùn)練。然而，隨著獲得更多新的數(shù)據(jù)源，以及硬件功能的進(jìn)展，我們期望能夠探索GQN框架在更高分辨率的真實場景圖像中的應(yīng)用。在未來的工作中，我們將探索GQN在場景理解的更廣泛方面的應(yīng)用，例如通過查詢跨空間和時間學(xué)習(xí)物理和運動的常識概念，以及虛擬和增強(qiáng)現(xiàn)實中的應(yīng)用。

盡管在我們的方法在投入實用前還有很多研究需要完成，但我們相信這項工作是邁向完全自主場景理解的一大步。