如果您看過NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在GPU技術(shù)大會(huì)的主題演講，一定會(huì)被其中提到的成果震撼，這背后離不開NVIDIA研究人員的努力。

黃仁勛在GTC 2018上披露了兩項(xiàng)深度學(xué)習(xí)發(fā)現(xiàn)，有可能顛覆傳統(tǒng)計(jì)算機(jī)圖形技術(shù)。兩者都可以幫助游戲開發(fā)商以更少的時(shí)間和更低的成本創(chuàng)造更豐富的游戲體驗(yàn)。其中一項(xiàng)可以通過輕松創(chuàng)建數(shù)據(jù)，訓(xùn)練車輛適應(yīng)更廣泛的道路狀況、環(huán)境和地點(diǎn)，加速自動(dòng)駕駛車輛的開發(fā)。

一直以來，NVIDIA致力于將深度學(xué)習(xí)引入計(jì)算機(jī)圖形領(lǐng)域以推動(dòng)行業(yè)發(fā)展。這兩個(gè)研究項(xiàng)目正是我們的最新成果。NVIDIA的研究團(tuán)隊(duì)有200多人，分布在全球11個(gè)地點(diǎn)，致力于推動(dòng)機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自動(dòng)駕駛汽車、機(jī)器人、圖形處理、計(jì)算機(jī)架構(gòu)以及編程系統(tǒng)等領(lǐng)域的前沿技術(shù)發(fā)展。

黃仁勛表示：“這個(gè)團(tuán)隊(duì)的生產(chǎn)力簡(jiǎn)直不可思議。他們橫跨整個(gè)計(jì)算領(lǐng)域進(jìn)行基礎(chǔ)研究。”

這兩幅圖是同一噪聲圖像的清晰版本。左邊的去噪圖像由神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練從對(duì)應(yīng)的清晰圖像和噪聲圖像生成。右邊的去噪圖像由研究人員使用單純?cè)肼晥D像訓(xùn)練模型生成。

噪聲圖像清晰化

你可能不知道噪聲圖像是什么，但你可能已經(jīng)見過它了。當(dāng)用攝像頭對(duì)焦光線昏暗的場(chǎng)景時(shí)，圖像會(huì)呈現(xiàn)顆粒、異常的彩色斑點(diǎn)、或像螢火蟲一樣的白色斑點(diǎn)。

去除圖像噪聲是很困難的，因?yàn)檫@個(gè)過程本身可能會(huì)受人為因素影響或使圖像更模糊。深度學(xué)習(xí)實(shí)驗(yàn)可以提供解決方案，但也存在一個(gè)重要缺點(diǎn)：實(shí)驗(yàn)需要配對(duì)的清晰圖像和噪聲圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

普通的AI去噪需要配對(duì)的清晰圖像和噪聲圖像。但是，對(duì)于MRI和其他醫(yī)學(xué)圖像，通常無法獲得清晰圖像。有了“噪聲到噪聲”技術(shù)，將不再需要清晰圖像。

只要有好的照片就可以去噪，但要達(dá)到理想效果也可能很難，甚至不可能達(dá)到。NVIDIA在芬蘭和瑞典的研究人員開發(fā)了一種稱為“噪聲到噪聲”(Noise2Noise) 的解決方案，解決了這個(gè)問題。

基于噪聲圖像生成清晰圖像成為可能

如何生成清晰的圖像是醫(yī)學(xué)成像檢測(cè)（如MRI）和遠(yuǎn)程恒星或行星天文圖像中的共同問題，因?yàn)檫@些場(chǎng)景根本沒有足夠的時(shí)間和光線來拍攝清晰圖像。

時(shí)間在計(jì)算機(jī)圖形技術(shù)中也是一個(gè)問題。生成清晰的圖像數(shù)據(jù)來訓(xùn)練降噪器的任務(wù)可能需要幾天或幾周的時(shí)間。

“噪聲到噪聲”看起來似乎不太可能。因?yàn)樗皇腔谂鋵?duì)的清晰圖像和噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，而是基于配對(duì)的噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，并且只需要噪聲圖像。然而，“噪聲到噪聲”產(chǎn)生的結(jié)果卻等同于或幾乎等同于老方法可實(shí)現(xiàn)的網(wǎng)絡(luò)訓(xùn)練結(jié)果。

NVIDIA研究部門副總裁David Luebke表示：“我們發(fā)現(xiàn)，通過正確建立網(wǎng)絡(luò)，可以做到一些看似不可能的事情。搞清楚整個(gè)過程后，會(huì)發(fā)現(xiàn)這是一個(gè)非常令人驚喜的事情。”

通過語義操作輕松改變圖像

黃仁勛演示的第二個(gè)項(xiàng)目代表了構(gòu)建虛擬世界的全新方法。它利用深度學(xué)習(xí)，從繁重且高代價(jià)的游戲3D建模任務(wù)中抽離出來，并為自動(dòng)駕駛汽車捕獲訓(xùn)練數(shù)據(jù)。

這種被稱為“語義操作”的技術(shù)就好像樂高積木，孩子們可以搭建出任何想要的東西。

在語義操作中，用戶可以從一張帶標(biāo)簽的地圖開始操作。每一個(gè)場(chǎng)景中的像素都相當(dāng)于一張帶有標(biāo)簽的藍(lán)圖，切換圖上的某些標(biāo)簽就能改變圖像。還可以編輯對(duì)象的樣式，例如選擇不同類型的汽車、樹木或道路。

NVIDIA研究人員的深度學(xué)習(xí)圖像合成技術(shù)可以通過改變語義標(biāo)簽輕松改變道路的外觀。

加速游戲開發(fā)

研究團(tuán)隊(duì)所采用的方法依靠生成式對(duì)抗網(wǎng)絡(luò)(GAN)技術(shù)。這是一種深度學(xué)習(xí)技術(shù)，通常用于在數(shù)據(jù)匱乏時(shí)創(chuàng)建訓(xùn)練數(shù)據(jù)。

雖然GAN通常難以生成逼真的高分辨率圖像，但NVIDIA研究員能夠通過改變GAN架構(gòu)使之成為可能。

目前，為了創(chuàng)建計(jì)算機(jī)游戲的虛擬環(huán)境，美術(shù)師需要數(shù)千小時(shí)的時(shí)間來創(chuàng)建和更改模型，每個(gè)游戲的花費(fèi)可能高達(dá)上億美元。這些模型經(jīng)過渲染，轉(zhuǎn)換為我們?cè)谄聊簧纤吹降挠螒颉?/p>

如果能減少所需要的工作量，游戲美術(shù)師和工作室就可以創(chuàng)建更多角色、更多故事情節(jié)和更復(fù)雜的游戲。

優(yōu)化自動(dòng)駕駛汽車訓(xùn)練

獲取數(shù)據(jù)訓(xùn)練自動(dòng)駕駛汽車同樣很麻煩。通常需要在道路上投放配備傳感器和攝像頭的車隊(duì)。汽車采集的數(shù)據(jù)必須手動(dòng)標(biāo)注，用于訓(xùn)練自動(dòng)駕駛汽車。

采用NVIDIA的方法，可以在舊金山收集數(shù)據(jù)，然后應(yīng)用于另一個(gè)山地城市，例如巴塞羅那。甚至可以把一條鵝卵石街道變成一條石砌路，或者把一條林蔭大道變成停滿汽車的道路。

這樣可以更有效地訓(xùn)練汽車處理不同情況。還可以開發(fā)圖形渲染引擎，用現(xiàn)實(shí)世界的數(shù)據(jù)進(jìn)行訓(xùn)練，并用生成模型渲染。

黃仁勛表示：“我為NVIDIA研究團(tuán)隊(duì)感到驕傲。歡迎與我們一起探討，共同取得更大進(jìn)步。“