本文是IJCAI 2018的深度生成模型tutorial，作者是斯坦福大學(xué)PH.D Aditya Grover，長達115頁的slides非常詳盡地介紹了主要的生成模型和代表性的應(yīng)用，希望對大家的學(xué)習(xí)有所幫助。

生成模型是圖模型和概率編程語言中概率推理的關(guān)鍵模型。最近，使用神經(jīng)網(wǎng)絡(luò)對這些模型進行參數(shù)化，以及使用基于梯度的技術(shù)進行隨機優(yōu)化的最新進展，使得可以跨多種模態(tài)和應(yīng)用程序?qū)Ω呔S數(shù)據(jù)進行可擴展建模。

本教程的前半部分將提供對深度生成模型的主要家庭成員的整體回顧，包括生成對抗網(wǎng)絡(luò)、變分自編碼器和自回歸模型。對于每個模型，我們都將深入討論概率公式、學(xué)習(xí)算法以及與其他模型的關(guān)系。

本教程的后半部分將演示如何在一組具有代表性的推理任務(wù)中使用深度生成模型：半監(jiān)督學(xué)習(xí)、模仿學(xué)習(xí)、對抗樣本防御，以及壓縮感知。

最后，我們將討論當(dāng)前該領(lǐng)域面臨的挑戰(zhàn)，并展望未來的研究方向。

目錄

第一部分：

生成建模的動機，以及與判別模型的對比

生成模型的定義和特征：估計密度、模擬數(shù)據(jù)、學(xué)習(xí)表示

傳統(tǒng)的生成建模方法，以及深度神經(jīng)網(wǎng)絡(luò)在有效參數(shù)化中的作用

基于學(xué)習(xí)算法的生成模型的分類：likelihood-based的學(xué)習(xí)和likelihood-free的學(xué)習(xí)

Likelihood-based學(xué)習(xí)實例：

自回歸模型（定向，完全觀察）

變分自編碼器（定向，潛變量）

第二部分：

Likelihood-based學(xué)習(xí)實例（續(xù)）：

規(guī)范化流模型

likelihood-free學(xué)習(xí)實例化：

生成對抗網(wǎng)絡(luò)

深度生成模型的應(yīng)用

半監(jiān)督學(xué)習(xí)

模仿學(xué)習(xí)

對抗樣本

壓縮感知

生成模型未來研究的主要挑戰(zhàn)和展望

生成建模概述、與判別模型的對比

生成模型應(yīng)用領(lǐng)域：

計算機視覺

計算語音

自然語言處理

計算機視覺/機器人學(xué)

統(tǒng)計生成模型

判別 vs. 生成

生成模型中的學(xué)習(xí)

給定：來自數(shù)據(jù)分布和模型家族的樣本

目標(biāo)是：盡可能地接近數(shù)據(jù)分布

挑戰(zhàn)：如何評價和優(yōu)化數(shù)據(jù)分布和模型分布之間的接近性（closeness）?

最大似然估計

解決方案1： = KL 散度

統(tǒng)計學(xué)上有效

需要可跟蹤地評估或優(yōu)化似然性

最大似然估計

易處理似然性（Tractable likelihoods）：有向模型，如自回歸模型

難處理似然性：無向模型，如受限玻爾茲曼機（RBM）；有向模型，如變分自編碼器（VAE）

intractable likelihoods的替代選擇：

- 使用MCMC或變分推理進行近似推理

- 利用對抗訓(xùn)練進行 Likelihood-free的推理

基于似然性的生成模型

提供一個對數(shù)似然的解析表達式，即 log N

學(xué)習(xí)涉及（近似）評估模型對數(shù)似然相對于參數(shù)的梯度

關(guān)鍵設(shè)計選擇

有向（Directed）和無向（undirected）

完全觀察 vs. 潛在變量

有向、完全觀察的圖模型

這里的關(guān)鍵想法是：將聯(lián)合分布分解為易處理條件的乘積

學(xué)習(xí)和推理

學(xué)習(xí)最大化數(shù)據(jù)集上的模型對數(shù)似然

易處理條件允許精確的似然評估

訓(xùn)練期間并行的條件評估

有向模型允許ancestral采樣，每次一個變量

基于神經(jīng)網(wǎng)絡(luò)的參數(shù)化

基于MLP的參數(shù)化

基于RNN的參數(shù)化

基于CNN的參數(shù)化

likelihood-free的生成模型

likelihood-free的生成模型

最佳生成模型：最佳樣本和最高的對數(shù)似然

對于不完美的模型，對數(shù)似然和樣本是不相關(guān)的

Likelihood-free的學(xué)習(xí)考慮的目標(biāo)不直接依賴于似然函數(shù)

生成對抗網(wǎng)絡(luò)

這里的關(guān)鍵想法是：generator（生成器）和discriminator（判別器）兩者的博弈

判別器區(qū)分真實數(shù)據(jù)集樣本和來自生成器的假樣本

生成器生成可以欺騙判別器的樣本

對于一個固定的生成器，判別器最大化負(fù)交叉熵

GAN動物園

深度生成模型的應(yīng)用：半監(jiān)督學(xué)習(xí)、模仿學(xué)習(xí)、對抗樣本、壓縮感知

半監(jiān)督學(xué)習(xí)

在這個例子中，我們可以如何利用這些未標(biāo)記的數(shù)據(jù)呢？

步驟1：學(xué)習(xí)標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的潛在變量生成模型

步驟2：使用z作為特征，訓(xùn)練分類器（例如SVM），僅使用有標(biāo)記的部分

半監(jiān)督學(xué)習(xí)的結(jié)果

模仿學(xué)習(xí)

有幾個現(xiàn)有的方法：

行為克隆（Behavioral cloning）

逆向強化學(xué)習(xí)

學(xué)徒學(xué)習(xí)（Apprenticeship learning）

我們的方法是：生成式的潛變量模型

對抗樣本

添加微小的噪聲，最先進的分類器都有可能被欺騙！

檢測對抗樣本

遷移壓縮感知

從源、數(shù)據(jù)豐富的域遷移到目標(biāo)、數(shù)據(jù)饑渴的域

總結(jié)

1. 生成模型的殺手級應(yīng)用是什么？

基于模型的RL？

2. 什么是正確的評估指標(biāo)？

從根本上說，它是無監(jiān)督學(xué)習(xí)。評估指標(biāo)定義不明確。

3. 在推理中是否存在基本的權(quán)衡?

采樣

評估

潛在特征