在二十世紀(jì)五十年代就存在深度學(xué)習(xí)的概念了。麥肯錫全球研究院發(fā)文簡(jiǎn)要回顧了深度學(xué)習(xí)是如何從概念發(fā)展為現(xiàn)實(shí)的，而使之實(shí)現(xiàn)的關(guān)鍵人物又是誰(shuí)。

文章表示，要書寫深度學(xué)習(xí)的完整歷史還為時(shí)過(guò)早，有些細(xì)節(jié)尚存在爭(zhēng)議，但是我們已經(jīng)能追尋其公認(rèn)的起源概貌，雖然還不完整，也能確定一些先驅(qū)者了。沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茨（Walter Pitts）就名列其中。他們?cè)缭?943年就提出了人工神經(jīng)元，這是大腦中“神經(jīng)網(wǎng)絡(luò)”的計(jì)算模型。還有美國(guó)斯坦福大學(xué)（Stanford University）的伯納德·威德羅（BernardWidrow）和泰德·霍夫(Ted Hoff)，他們?cè)诙兰o(jì)五十年代末期開發(fā)了一種神經(jīng)網(wǎng)絡(luò)應(yīng)用，降低電話線中的噪音。

同一時(shí)期，美國(guó)心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）引入了“感知器”這種設(shè)備的概念，模擬大腦的神經(jīng)結(jié)構(gòu)，并展現(xiàn)出學(xué)習(xí)的能力。后來(lái)，美國(guó)麻省理工學(xué)院（MIT）的馬文·明斯基（Marvin Minsky）和西摩·帕普特（SeymourPapert）在其1969年出版的書《感知器》中，用數(shù)學(xué)的方法展示了感知器只能進(jìn)行很基礎(chǔ)的任務(wù)，所以這項(xiàng)研究暫停。他們的書還討論了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的難點(diǎn)。

1986年，加拿大多倫多大學(xué)（University of Toronto）的杰弗里·辛頓（Geoffrey Hinton）與同事大衛(wèi)·魯姆哈特（DavidRumelhart）和羅納德·威廉姆斯（Ronald Williams）發(fā)表了目前很著名的反向傳播訓(xùn)練算法，解決了這一訓(xùn)練難題，但有些業(yè)內(nèi)人士指出芬蘭數(shù)學(xué)家賽普·林納因馬（SeppoLinnainmaa）早在二十世紀(jì)六十年代就已經(jīng)發(fā)明了反向傳播。美國(guó)紐約大學(xué)（New York University）的楊立昆（Yann LeCun）率先將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識(shí)別任務(wù)，他在1998年發(fā)表的文章中定義了卷積神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)模擬人類的視覺皮層。同期，約翰·霍普菲爾德(JohnHopfield)推廣了“霍普菲爾德”網(wǎng)絡(luò)，這是首個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)。1997年，爾根·施米德休伯(JürgenSchmidhuber)和賽普·霍克賴特（Sepp Hochreiter）進(jìn)一步擴(kuò)展了該網(wǎng)絡(luò)，他們引入了長(zhǎng)短期記憶模型（long-short termmemory, LSTM），極大地提高了循環(huán)神經(jīng)網(wǎng)絡(luò)的效率和實(shí)用性。2012年，辛頓和他的學(xué)生在著名的 ImageNet 競(jìng)賽中取得了突出的結(jié)果，彰顯了深度學(xué)習(xí)的強(qiáng)大。該競(jìng)賽以李飛飛等人整理的數(shù)據(jù)集為基礎(chǔ)。與此同時(shí)，杰弗里·迪恩（JeffDean）和吳恩達(dá)（Andrew Ng）正在谷歌大腦（Google Brain）進(jìn)行大規(guī)模圖像識(shí)別方面的突破性工作。

深度學(xué)習(xí)也增強(qiáng)了強(qiáng)化學(xué)習(xí)這一已存在的領(lǐng)域，理查德·薩頓（Richard Sutton）就是其中一位頂尖的研究人員，他牽頭讓谷歌DeepMind開發(fā)的系統(tǒng)取得了多次棋類比賽的勝利。2014年，伊恩·古德費(fèi)洛（IanGoodfellow）發(fā)表了一篇關(guān)于生成式對(duì)抗網(wǎng)絡(luò)的文章，這種網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)已成為了該領(lǐng)域近期多個(gè)研究的焦點(diǎn)。

人工智能（AI）能力的持續(xù)進(jìn)步讓斯坦福大學(xué)啟動(dòng)了“人工智能百年研究”（One Hundred Year Study on Artificial Intelligence）項(xiàng)目。該項(xiàng)目由微軟研究院院長(zhǎng)埃里克·霍維茨（EricHorvitz）發(fā)起，是基于他和微軟研究院的同事所進(jìn)行的長(zhǎng)期研究。過(guò)去幾年里，眾多研究先驅(qū)的研究結(jié)果和指導(dǎo)讓我們受益良多。