全球人工智能領(lǐng)域的頂級專家學者和產(chǎn)業(yè)界人士,圍繞人機交互、機器學習、模式識別、產(chǎn)業(yè)實戰(zhàn)人工智能前沿話題進行深入交流和探討。
微軟人工智能首席科學家鄧力博士將受邀出席本次大會,并做題為《驅(qū)動大數(shù)據(jù)人工智能多種應(yīng)用的三類深度學習模式》的主題報告。大會前夕,鄧力博士接受CSDN記者的簡短采訪,針對大數(shù)據(jù)、深度學習以及人工智能的其他技術(shù)領(lǐng)域進行解析。
鄧力博士介紹,他的主題報告將會講述深度監(jiān)督學習、深度非監(jiān)督學習和深度強化學習之間的關(guān)系和區(qū)別,以及這三類深度學習模式跟大數(shù)據(jù)的關(guān)系,并通過實踐案例來說明三類學習算法的適用環(huán)境及效果。他認為,目前基于大數(shù)據(jù)的人工智能的應(yīng)用局限之一在于依賴于要求輸入輸出有匹配的大訓練數(shù)據(jù)的深度監(jiān)督學習,而破解目前大數(shù)據(jù)人工智能的缺失的思路包括深度非監(jiān)督學習和深度強化學習,以及新型的基于高維張量的結(jié)構(gòu)表征。
他還解釋了強化學習的適用領(lǐng)域,深度學習與強化學習結(jié)合的優(yōu)勢,并指出深度強化學習對微軟的Bot愿景的作用——深度強化學習不但掌控每一單種Bot的對話輸出的內(nèi)容,更掌控各種Bots之間的協(xié)調(diào)和切換。
微軟人工智能首席科學家 鄧力
世界著名人工智能、機器學習和語音語言信號處理專家,現(xiàn)任微軟人工智能首席科學家和深度學習技術(shù)中心研究經(jīng)理。他在美國威斯康星大學先后獲碩士和博士學位,然后在加拿大滑鐵盧大學任教獲得終身正教授。其間,他還任麻省理工學院研究職位。1999 年加入微軟研究院歷任數(shù)職,并在2014 年初創(chuàng)辦深度學習技術(shù)中心,主持微軟公司和研究院的人工智能和深度學習領(lǐng)域的技術(shù)創(chuàng)新。鄧力博士的研究方向包括自動語音與說話者識別、口語識別與理解、語音–語音翻譯、機器翻譯、語言模式、自然語言處理、統(tǒng)計方法與機器學習、神經(jīng)科學,聽覺和其他生物信息處理、深層結(jié)構(gòu)學習、類腦機器智能、圖像語言多模態(tài)深度學習,商業(yè)大數(shù)據(jù)深度分析預測等。他在上述領(lǐng)域做出了重大貢獻,是ASA(美國聲學學會)會士、IEEE(美國電氣和電子工程師協(xié)會)會士和理事、ISCA(國際語音通信協(xié)會)會士,并憑借在深度學習與自動語音識別方向做出的杰出貢獻榮獲2015年度IEEE 信號處理技術(shù)成就獎和2013年度最佳論文獎。同時,他也曾在頂級雜志和會議上發(fā)表過與上述領(lǐng)域相關(guān)的300 余篇學術(shù)論文,出版過5 部著作,發(fā)明及合作發(fā)明了超過70 多項專利。鄧力博士還擔任過IEEE 信號處理雜志和《音頻、語音與語言處理學報》(IEEE/ACM Transactions on Audio, Speech & Language Processing)的主編。
以下為采訪內(nèi)容實錄
AlphaGo戰(zhàn)勝李世石并不令人驚訝
當前人工智能領(lǐng)域的技術(shù)研究和應(yīng)用進展,有哪些是您意想不到的?AlphaGo?
鄧力:基于我自2009年來對深度神經(jīng)網(wǎng)絡(luò)巨大學習容量的體驗和理解,我對目前深度學習對人工智能領(lǐng)域的技術(shù)研究和各方應(yīng)用的大規(guī)模的成功推動以及成就沒有感覺有意想不到進展。由深度強化學習主導的 AlphaGo 以四比一戰(zhàn)勝李世石并不令人驚訝。
您對強化學習和深度學習的結(jié)合贊賞有加,那么強化學習適合在哪些領(lǐng)域普及?
鄧力:強化學習適用于控制和決策任何有階段性的過程,好比下棋,機械機器人行動,和很多商業(yè)決策。應(yīng)用強化學習時最好回報信號要清楚或容易定義,比如下棋。否則就要用內(nèi)在動機來驅(qū)動強化學習,比如用于聊天機器人。方向之一是整合信息論與動態(tài)規(guī)劃,這還屬于研究階段。大型狀態(tài)空間以前對強化學習是個大難題,但現(xiàn)在引入深度學習之后問題就基本解決了。具有大型行動空間(比如把合成型的自然語言作為對話機器人的“行動”輸出)的強化學習我們團隊正在深入研究。用深度學習來解決大型行動空間要比解決大型狀態(tài)空間麻煩不少。我們團隊在這方面發(fā)了一些論文。
您如何看待深度學習與更多的其他方法(如貝葉斯方法)結(jié)合及前景?
鄧力:目前基于神經(jīng)網(wǎng)絡(luò)的深度學習可以很好地同貝葉斯方法和生成式模型結(jié)合起來。優(yōu)點在于能夠賦予深度學習以解釋性,也可降低深度學習對輸入輸出匹配的訓練數(shù)據(jù)量的要求。如用到深度強化學習, 這種結(jié)合能大大提高學習效率,因為它讓強化學習中的探索步驟更為快速而且探索空間變成更為廣大。
除此之外,您認為哪些與深度學習完全無關(guān)的技術(shù)領(lǐng)域也值得我們關(guān)注?
鄧力:命題邏輯和一階邏輯的推理表面上看似乎與深度學習無關(guān)。近來用深度學習做邏輯推理出了不少很好的工作。我們團隊在2016年ICLR有篇長文章。然而用純符號的命題邏輯和一階邏輯做推理要比用深度神經(jīng)網(wǎng)絡(luò)容易解釋得多,好比計算機的高級語言要比匯編語言容易看懂得多。這種解釋性在實際應(yīng)用上很重要。但是純符號的邏輯方法和模型比起深度神經(jīng)網(wǎng)絡(luò)難學的多。幸好在認知科學中有一套正在發(fā)展的理論,它把任意一個純符號樹狀或圖狀結(jié)構(gòu)(可以高效率且具有強解釋性用在邏輯推理上)跟一個高維度的張量建立起同構(gòu)。因為張量是最自然用于深度學習的數(shù)據(jù)結(jié)構(gòu),這種同構(gòu)就讓我們的人工智能系統(tǒng)能有效地實現(xiàn)結(jié)構(gòu)到結(jié)構(gòu)的符號映射(比如自然語言或計算機程序的輸入輸出),但同時又能直接用深度神經(jīng)網(wǎng)絡(luò)的方法去學習和優(yōu)化這種結(jié)構(gòu)映射(這包括復雜多步的邏輯推理)。
微軟人工智能研發(fā)路線
微軟計劃在人工智能領(lǐng)域成為領(lǐng)軍者,能否介紹您的工作在其中的作用?您最近半年的主要工作進展在哪方面?
鄧力:我目前用50%時間在微軟美國總部的研究院管理和領(lǐng)導深度學習技術(shù)中心,這里有一支很強的技術(shù)和研究團隊。另外50%時間在微軟的商業(yè)部門任首席人工智能科學家,將人工智能和各類深度學習的技術(shù)和研究成果應(yīng)用到人工智能產(chǎn)品和云端服務(wù)。最近半年我們團隊的主要工作包括:
將深度學習技術(shù)成功地應(yīng)用到商業(yè)大數(shù)據(jù)的分析、預測、客戶評分,等等,取得顯著成果;
利用深度強化學習推動多類自然語言對話機器人的研發(fā);
自然語言、視覺和知識庫相結(jié)合的多媒態(tài)研究與應(yīng)用;
新型深度學習架構(gòu)、算法、結(jié)構(gòu)表征基礎(chǔ)研究的進展。
微軟做了不少人工智能的API提供給開發(fā)者,您是否認為人工智能會成為未來app的普遍屬性?當前開發(fā)人員需要學習哪些人工智能相關(guān)的知識?如何上手?
鄧力:微軟的Cognitive Services (微軟認知服務(wù),其開發(fā)文檔和教程可以參考官網(wǎng):https://www.azure.cn/cognitive-services/)會提供越來越多的人工智能工具給開發(fā)者。不少已經(jīng)可以從Microsoft Bot Framework 調(diào)用了。Microsoft Bot Framework 網(wǎng)站https://dev.botframework.com/ 有相當詳細的信息。
關(guān)于微軟Bots的理想,您認為它的實現(xiàn)需要哪些主要的技術(shù)積累?
鄧力:具有強大功能的人工智能是Bots的理想愿景實現(xiàn)的最關(guān)鍵之一。主要的技術(shù)積累是以上講到的深度學習,特別是深度強化學習。深度強化學習不但掌控每一單種Bot 的對話輸出的最佳內(nèi)容,更掌控各種Bots 之間的最佳協(xié)調(diào)和切換。
CCAI分享大數(shù)據(jù)與深度學習
請簡要介紹您在本次大會的報告主題《驅(qū)動大數(shù)據(jù)人工智能多種應(yīng)用的三類深度學習模式》?
鄧力:主要想講三類深度學習模式——深度監(jiān)督學習、深度非監(jiān)督學習和深度強化學習之間的關(guān)系和區(qū)別。在哪種人工智能應(yīng)用中選用哪種模式?為什么?洞見(insights)在哪里?想用我團隊用過的成功(和失敗)的例子來為大家提供一些洞見。
還想講這三類深度學習模式跟大數(shù)據(jù)的關(guān)系。輸入輸出有匹配的大訓練數(shù)據(jù)一般會讓深度監(jiān)督學習成功 (端到端的backpropagation 對有匹配的大數(shù)據(jù)的訓練實在有效),但輸入輸出匹配成本很高。相反,無輸入輸出匹配的大數(shù)據(jù)成本要低得多。要利用比現(xiàn)有輸入輸出有匹配的大訓練數(shù)據(jù)高出幾個數(shù)量級的無輸入輸出匹配的大訓練數(shù)據(jù)來訓練深度學習系統(tǒng),必須開發(fā)全新的深度非監(jiān)督學習算法。如果成功,這會給人工智能帶來一個新的里程碑。
能否再解釋基于大數(shù)據(jù)的人工智能的應(yīng)用局限,以及一些破解高質(zhì)量的大數(shù)據(jù)人工智能的缺失的一些思路?
鄧力:目前基于大數(shù)據(jù)的人工智能的應(yīng)用局限之一在于依賴于深度監(jiān)督學習,就是說要在有輸入輸出匹配的大訓練數(shù)據(jù)之后才能使用端到端的backpropagation。不但成本很高,而且系統(tǒng)很不靈活,很難快速適應(yīng)新環(huán)境。如果需要解決復雜的邏輯推理問題,基于大數(shù)據(jù)和深度學習的人工智能系統(tǒng)往往給不出理想的答案。這種依賴于深度監(jiān)督學習的系統(tǒng)還缺乏常識和直覺。
破解高質(zhì)量大數(shù)據(jù)缺失的思路包括以上講的深度非監(jiān)督學習和深度強化學習,以及新型的基于高維張量的結(jié)構(gòu)表征和知識庫。
哪些人適合聽這個報告?需要什么預備知識?他們會有什么收獲?
鄧力:研究人員,研究生,ICT 公司和政府管理者。對人工智能和深度學習感興趣的人。希望聽完這個報告之后會對人工智能和深度學習有更深一步的理解,尤其在如何把理論用到實踐。
最后一個問題,您如何看待國外與國內(nèi)人工智能技術(shù)和應(yīng)用的差異?在企業(yè)應(yīng)用、人才培養(yǎng)上,國外有哪些好的經(jīng)驗值得國內(nèi)借鑒?
鄧力:國外與國內(nèi)人工智能技術(shù)和應(yīng)用的差異日趨縮小。我很多以前在美國、英國從事人工智能和深度學習的朋友都回國創(chuàng)業(yè)。
國外好的經(jīng)驗是注重創(chuàng)新,鼓勵快速失敗。
評論