通過時間的反向傳播是應用于循環(huán)神經(jīng)網(wǎng)絡（RNN）的反向傳播算法，可被看作是應用于 RNN 的標準反向傳播算法，其中的每一個時間步驟（time step）都代表一個計算層，而且它的參數(shù)是跨計算層共享的。

RNN?在所有的時間步驟中都共享了同樣的參數(shù)，一個時間步驟的錯誤必然能「通過時間」反向到之前所有的時間步驟，該算法因此得名。處理長序列（數(shù)百個輸入）時，為降低計算成本常常使用一種刪節(jié)版的 BPTT。刪節(jié)的 BPTT 會在固定數(shù)量的步驟之后停止反向傳播錯誤。

論文：

Backpropagation Through Time: What It Does and How to Do It

十二、分批標準化（BN：Batch Normalization）

分批標準化是一種按小批量的方式標準化層輸入的技術(shù)。它能加速訓練過程，允許使用更高的學習率，還可用作規(guī)范器（regularizer）。分批標準化在卷積和前饋神經(jīng)網(wǎng)絡中應用較多，但尚未應用到循環(huán)神經(jīng)網(wǎng)絡上。

論文：分批標準化：通過減少內(nèi)部協(xié)變量位移（Covariate Shift）加速深度網(wǎng)絡訓練（Batch Normalization: Accelerating Deep Network Training by ReducingInternal Covariate Shift）

論文：使用分批標準化的循環(huán)神經(jīng)網(wǎng)絡（Batch Normalized Recurrent NeuralNetworks）

十三、雙向循環(huán)神經(jīng)網(wǎng)絡（Bidirectional RNN）

雙向循環(huán)神經(jīng)網(wǎng)絡是一類包含兩個方向不同的 RNN 的神經(jīng)網(wǎng)絡。其中的前向 RNN 從起點向終點讀取輸入序列，而反向 RNN 則從終點向起點讀取。這兩個 RNN 互相彼此堆疊，它們的狀態(tài)通常通過附加兩個矢量的方式進行組合。雙向 RNN 常被用在自然語言問題中，因為在自然語言中我們需要同時考慮話語的前后上下文以做出預測。

論文：雙向循環(huán)神經(jīng)網(wǎng)絡（Bidirectional Recurrent Neural Networks）

十四、Caffe

Caffe?是由伯克利大學視覺和學習中心開發(fā)的一種深度學習框架。在視覺任務和卷積神經(jīng)網(wǎng)絡模型中，Caffe應用較多。

十五、分類交叉熵損失（Categorical Cross-Entropy Loss）

分類交叉熵損失也被稱為負對數(shù)似然（negative log likelihood）。這是一種用于解決分類問題的流行的損失函數(shù)，可用于測量兩種概率分布（通常是真實標簽和預測標簽）之間的相似性。它可用 L = -sum(y * log(y_prediction)) 表示，其中 y 是真實標簽的概率分布（通常是一個one-hot vector），y_prediction 是預測標簽的概率分布，通常來自一個 softmax。

十六、信道（Channel）

深度學習模型的輸入數(shù)據(jù)可以有多個信道。圖像就是個典型的例子，它有紅、綠和藍三個顏色信道。一個圖像可以被表示成一個三維的張量（Tensor），其中的維度對應于信道、高度和寬度。自然語言數(shù)據(jù)也可以有多個信道。

十七、卷積神經(jīng)網(wǎng)絡（CNN/ConvNet：ConvolutionalNeural Network）

CNN?使用卷積連接從輸入的局部區(qū)域提取特征。大部分 CNN 都包含了卷積層、池化層和仿射層的組合。CNN 憑借其在視覺識別任務的卓越性能而獲得普及，它已經(jīng)在該領域保持了好幾年的領先地位。

十八、深度信念網(wǎng)絡（DBN：Deep Belief Network）

DBN?是一類以無監(jiān)督的方式學習數(shù)據(jù)的分層表征的概率圖形模型。DBN 由多個隱藏層組成，這些隱藏層每一對連續(xù)層之間的神經(jīng)元相互連接。DBN 通過堆疊多個 RBN（限制波爾茲曼機）并一個接一個地訓練而創(chuàng)建。

論文：深度信念網(wǎng)絡的一種快速學習算法

（A fast learning algorithm for deep belief nets）

十九、Deep Dream

這是谷歌發(fā)明的試圖用來提煉深度卷積神經(jīng)網(wǎng)絡獲取知識的技術(shù)。這種技術(shù)可以生成新的圖像或轉(zhuǎn)換已有的圖片從而給它們一種幻夢般的感覺。

二十、Dropout