一、深度與模塊化

對于一個分類的問題的簡化，我們可以先訓練一個Basic classfier，然后將其共享給following classfier，通過多層的分類器進行特征的提取，用較少的數(shù)據(jù)就可以訓練好網(wǎng)絡。而在deep的模型當中，Basic classfier是由神經(jīng)網(wǎng)絡自己學到的，然后通過更多層的網(wǎng)絡可以使得classfier逐漸學到更加深層次的特征。這就是deep network能夠work的原因。

二、模塊化與語音識別

語音識別的大致步驟：

①將聲音信號的特征轉化為狀態(tài)信息（即對應標簽）。

②將狀態(tài)轉化成音素

③將音素轉化成為文字

④考慮同音異字的問題

傳統(tǒng)方法：

HMM-GMM，每一個音素都有自己獨立的分布，找出所有音素的分布，然后根據(jù)條件概率求出所給的數(shù)據(jù)屬于哪一個音素。

DNN：

所有的狀態(tài)都共用一個DNN。訓練時DNN會根據(jù)訓練數(shù)據(jù)來學習人所發(fā)出的聲音時的舌頭位置，然后根據(jù)不同的舌頭位置將發(fā)出聲音映射到不同的特征空間從而達到分類的目的。

相比于傳統(tǒng)的語音識別方法，DNN可以利用同一組的檢測器來識別不同的語音，做到了模塊化，使得參數(shù)的使用更加有效率。

Universality Theorem指出：對于所有的函數(shù) f ： RN→RM 都可以用只有一個隱藏層的神經(jīng)網(wǎng)絡來實現(xiàn)，只要隱藏單元的個數(shù)足夠。雖然淺層的神經(jīng)網(wǎng)絡可以擬合任何的函數(shù)，但是采用深層的結構可以提高模型的效率，因為深度的網(wǎng)絡可以表征更加復雜的特征空間（保證淺層與深層的網(wǎng)絡具有同樣數(shù)量的參數(shù)），即可以通過相對較少的參數(shù)便可以實現(xiàn)淺層神經(jīng)網(wǎng)絡的功能?？梢灶惐入娐分械亩鄬娱T電路可以利用較少的門來實現(xiàn)一層門電路的功能。也可以類比剪窗花的過程，通過對折我們可以把特征空間進行對折，通過較少的幾剪（數(shù)據(jù)）便可以剪出復雜的形狀。

三、端到端的學習

通過一個較為復雜的function將多個simple function組合在一起，端到端的網(wǎng)絡可以自動地學習到每一個simple function應該完成的任務。

在傳統(tǒng)的語音識別的過程中需要大量的手工提取工作，流程如下圖所示：

圖片中只有GMM是需要通過訓練數(shù)據(jù)進行訓練的，其余均為根據(jù)先驗的經(jīng)驗來進行設計。

而在深度學習中的語音識別的架構如下圖所示：

每個函數(shù)都可以通過數(shù)據(jù)來進行訓練，學習到函數(shù)中的參數(shù)。在圖像識別中，端到端相對于傳統(tǒng)方法的優(yōu)勢與語音識別類似。

四、深度可以完成復雜的任務

①處理相似的輸入，但不同的輸出問題

②處理不同的輸入，但相似的輸出問題

深度學習可以通過多個layer的轉換學習更高維度的特征來解決更加復雜的任務。