編者按：如果說GAN的發展史上有什么戲劇性事件，那“LSTM之父”Jürgen Schmidhuber（發音：You_again Shmidhoobuh）和“GAN之父”Ian Goodfellow之間的恩怨絕對是其中最精彩的一幕。在2016的NIPS大會上，Schmidhuber和Goodfellow就GAN是否借鑒了前者在九十年代發表的一篇論文展開了激烈爭論，引得滿座震驚。雖然事后學界認可了GAN的原創性，但Schmidhuber似乎對此仍然耿耿于懷。近日，他發表了一篇小短文，文章的主角還是幾十年前的那個模型——PM。

1990s，無監督神經網絡在最小值上的博弈 每個網絡最小化由另一個網絡最大化的值函數 或生成實驗，產生對好奇心的內在獎勵

在對人工神經網絡（NN）的研究中，研究人員最重要的目標之一是創建能從給定數據中學習統計數據的算法。為了實現這一目標，我在20世紀90年代曾引入一種新型無監督學習機制，它基于極大極小博弈中的梯度下降/上升原理，其中一個NN負責最小化由另一個NN最大化的目標函數。我把發生在這兩個無監督神經網絡之間的對抗稱為“可預測性最小化”（Predictability Minimization）。

首先，PM需要一個自帶初始隨機權重的編碼器網絡，它通過其輸入節點（下圖中的白色圓圈）接收數據樣本（例如圖像），并在其輸出節點（下圖中的灰色圓圈，也稱編碼節點）生成對應編碼。每個編碼節點都可以在區間[0,1]內被激活。

圖中的黑色圓圈表示一個獨立的預測網絡，經過訓練后，給定一部分編碼節點，它能學習每個編碼節點的條件期望，從而預測所有未提供的編碼節點。雖然圖中沒有標出，編碼網絡和預測網絡都有隱藏節點。

但是，每個編碼節點都希望自己能變得更不可預測。因此它需要經過訓練，最大限度地提高由預測網絡最小化的目標函數（如均方誤差）。預測器和編碼器相互對抗，以激勵編碼器實現無監督學習的“圣杯”——關于輸入數據的理想的、展開的、二元的階乘編碼，其中每個編碼節點在統計上彼此互相獨立。

理想情況下，NN在經過學習后，給定數據模式的概率就應該等于其編碼節點概率的乘積，這個概率也是預測網絡的輸出。

無獨有偶，生成對抗網絡（GAN）也使用無監督的極小極大原理來模擬給定數據的統計數據。相信讀者都熟悉NIPS 2014的那篇GAN論文，雖然那位作者聲稱PM并不是基于值函數的極大極小博弈，不是一個網絡尋求最大化而另一個尋求最小化，相比GAN那種“網絡之間的對抗是唯一訓練標準，并且足以完成訓練”的方法，PM只能算“一個正則，鼓勵神經網絡的隱藏節點在完成其他任務時在統計上獨立，其對抗性不是主要的訓練方法”。

但是，我覺得PM確實也是個純粹的極大極小博弈，尤其是它也對抗訓練，“網絡之間的對抗是唯一訓練標準，并且足以完成訓練”。

將無監督極大極小博弈用于強化學習好奇心

還是20世紀90年代，PM論文發表后，我曾嘗試過把這個想法擴展到強化學習領域，構建具有人工好奇心的智能體。

我構建了一個目標是在環境中生成動作序列的神經網絡C，它的動作生成的由一個追求回報最大化的節點控制。作為參考，我設計了一個名叫世界模型M的獨立神經網絡，它能根據給定的以往輸入和動作預測未來輸入。動作選擇越合理，網絡得到的回報就越高，因此C所獲得的內在回報和M的預測誤差成正比。同時，因為C試圖最大化的正是M試圖最小化的值函數，這意味著C會盡力探索M無法準確預測的新動作。

最近關于好奇心的強化學習論文有很多，我覺得它們都是基于這個簡單的90年代的原理。尤其是在97年的那篇論文中[UARL3-5]，我讓兩個對抗的、追求回報最大化的模塊（左腦和右腦）共同設計一個實驗：一個能定義如何在環境中執行動作序列、如何通過實現由實驗觸發的觀察序列的可計算函數（如二元分類）的指令序列來計算最終實驗結果的（概率）程序。

兩個模塊都能提前預測實驗結果，如果它們的預測或假設不同，那么在動作生成和執行完畢后，失敗一方會向這個零和博弈的優勝一方提供內在回報。這種設計促使無監督的兩個模塊專注于“有趣”的事情，也就是不可預測的空間。同樣的，在沒有外部回報的情況下，每個無監督模塊都在試圖最大化由另一個最小化的值函數。

當時我在論文中提出，如果想把這種方法用于現實世界的某些問題，我們還需要科學家和藝術家的人為介入，設置合理的外部回報。而時至今日，很多人也確實正在用它處理數據分布建模和人工好奇心等任務。

小結

看到這里，相信大家都看出來了，Jürgen Schmidhuber還是放不下對GAN的糾結，或者說，是對“對抗”這種方法的執念。雖然GAN的原創性已無爭議，但比起抬高/貶低Schmidhuber的為人，我們都不能否認他對深度學習作出的杰出貢獻。2年前，他也正是以一種幾乎“鬧劇”的方式警告所有人，在過去幾十年的研究中，可能存放著許多不為人知的珍寶，它們不是不夠優秀，而只是輸給了時代。

正如網友評價的：

作為機器學習的英雄，我們追隨他；作為超越時代的罪人，我們圍攻他。但他都可以接受，因為他不是英雄。他只是一個沉默的守護者，一個警惕的保護者，一個Schmidhuber。