1. 深度學習的發展歷史

　　第一階段：從BP神經網絡算法的出現（1970-1980）到2006年這幾十年的時間里；由于ＢＰ神經網絡算法的出現，神經網絡的訓練成為現實［3］。由于這段時間神經網絡模型出現了許多問題，而被學術界和主流的計算機視覺所詬病，只有為數不多的科學家仍不懈地堅持。出現的問題如下所示：

　　1） 數據難以挖掘。由于缺乏大量有必備的數據，有監督訓練深度神經網絡的方法沒有充足的數據樣本以至于擬合不了復雜網絡模型的參數，極易出現擬合過度的現象，對比隨機森林、支持向量機［4］等當時比較流行的淺層學習方法，BP神經網絡不能有效地解決當前的困境，因而沒有被廣泛應用。

　　2） 局部最優缺陷。在進行深度神經網絡訓練時，由于存在各種極值問題，可能會陷入局部最優的陷阱，從而導致梯度下降法不能最大限度的發揮其作用。

　　3） 梯度彌散缺陷。當網絡訓練深度增加時，反向傳播梯度幅度值將驟減，因此更新也會變得非常緩慢，樣本也將不能實現有效學習［5］。我們通常把這種缺陷稱為“梯度彌散”，“梯度彌散”是使深度學習發展緩慢的關鍵因素。

　　4） 硬件難以支持。深度神經網絡的訓練對計算機硬件要求很高，除此之外還有反向傳播過程以及大量樣本數據的學習［6］。他們要求計算機要有足夠大的內存和主頻。而后隨著計算機內存容量的擴大，還有GPU并行計算發展，深度學習越來越貼近現實［7］。

　　5） 淺層學習的作用凸顯。由于多層感知機算法、支持向量機、隨機森林等淺層學習算法地迅速發展［8］，而且在社會生活中發揮著明顯的作用，使深度神經網絡逐漸淡出人們的視野。

　　第二階段：從2006年到2012年，深度學習發展迅猛，這個階段是主要以無監督深度學習的研究階段。2006年，無監督深度置信網絡訓練方法首先由深度學習創始人Hinton提出，并以此拉開了深度學習學習熱潮、以至于人工智能發展熱潮的序幕［9］；

　　第三階段：從2012年至今，深度學習被廣泛應用于社會各個領域，其突出表

　　現在人工智能的推廣。2012年，在Hinton的帶領下，其團隊創建的Alexnet模型在ImageNet大賽中獲得驕人的成績，模型的準確率無與倫比，計算機領域大師們的目光都聚焦在這場大賽上［10］。隨后深度學習的發展浪潮一發不可收。當前各個互聯網公司都蜂擁擠入對深度學習研究的行列之中，其中最具代表性企業如：百度、微軟、谷歌，他們在翻譯、圖像檢索、語音識別等領域都使用了深度學習，并因此收效顯著。2012年6月，谷歌Google Brain計劃被曝光，Google Brain計劃項目由世界計算機系統頂尖專家 Jeff Dean 和來自斯坦福大學機器學習的教授 AndrewNg一起負責，該項目是為了訓練一種被稱作“深度神經網絡”（Deep Neural Networks，DNN）機器學習的模型，他們利用16000個CPU Core并行計算的平臺開展該項目，并因此在圖像識別和語音識別等人工智能領域獲得了輝煌的［11］。2013年1月，百度研究院被高調宣布創立，而百度研究院中居于首位的是深度學習研究所（Idl，Institute Of Deep Learning）［12］。
??
? ? ? ??