機器學習讀博是什么體驗？期間遇到的挫折與挑戰(zhàn)又要如何應對？ 在ML領域小有名氣的青年科學家Maithra Raghu總結了自己在六年讀博經(jīng)歷中所汲取的經(jīng)驗與教訓，希望能夠?qū)φ?將要攻讀機器學習博士學位的學生有所幫助。 Maithra Raghu于2020年從康奈爾大學畢業(yè)，獲得CS博士學位。在Maithra讀博的六年里，機器學習領域的研究參與人員越來越多（2014年NeurIPS的投稿者大約是兩千人，2020年已達到兩萬人），而Maithra本人也在機器學習領域取得了重大進步。 Maithra曾在2019年當選“福布斯30位30歲以下科學精英排行榜”，2018年被評為“MIT EECS Rising Stars”，主要研究領域為深度學習與醫(yī)療的結合。目前，Maithra Raghu在谷歌大腦擔任高級研究科學家。 個人主頁：https://maithraraghu.com/

1

讀博前的期望

對于許多選擇讀博（尤其是本科畢業(yè)后直接讀博）的人來說，博士生涯并不能被稱得上愉快，但Maithra認為，博士學習就像一段“旅行”。一般來說，完成ML博士學習需要5到6年，在這個學習過程中，你不僅可以學習到ML領域的研究技巧與知識，還可以根據(jù)自己的興趣決定你所想要研究的問題，探索ML不同子領域的魅力，更能接收到學術界/產(chǎn)業(yè)界/政策/非營利組織的不同研究成果等。

不斷變化的個人喜好將影響你在讀博期間決定從事的研究工作，甚至影響你之后所選擇的博士后職業(yè)道路。不過，尤其是在博士學習剛開始時，個人研究興趣如何演變是很難預測的。就Maithra個人而言，在剛開始讀博時，她認為自己是要進入工業(yè)界的，讀博期間又考慮從事學術研究，讀博后期卻又堅決地拒絕了學術界的offer，決定留在工業(yè)界做研究。因此，她認為，讀博可以一步一步來，最重要的是充分利用讀博期間的學習/研究/社交經(jīng)驗，而不是實現(xiàn)某項預期目標。目標也許會變，但沒必要糾結，免得給自己帶來不必要的壓力。

2

讀博期間的普遍挑戰(zhàn)

攻讀博士學位（尤其是ML博士）能夠為個人帶來巨大的收獲，使你有機會為基礎科學理解與重大的技術應用做出貢獻。但是，讀博所需的時長，以及讀博期間的各種不確定性，使讀博充滿挑戰(zhàn)。Maithra的讀博生涯也是坎坷不斷，常常感到孤獨、受挫，或因為急于求成而把自己壓垮。這些現(xiàn)象在讀博群體中十分常見。作為過來人，Maithra分享了自己的一些經(jīng)驗與策略：

研究陷入僵局時讀博時的一個普遍挑戰(zhàn)是：某個項目或研究過程受阻，陷入僵局，無法繼續(xù)進行下去。 如果你很努力地推進某個項目，但沒有取得任何進展，那么你可以嘗試：

資料整理：搜集所有實驗結果、數(shù)學方法、隨手記錄研究動機的筆記等等，并花點時間將這些信息匯集起來，嘗試寫一篇文章。這個過程可以幫助你了解目前研究所處的位置，以及當下研究狀態(tài)與研究目標的差距在哪里。

中心點：如果是項目的某個部分無法正常運作，那么是否可以重新確定研究問題（也許是從相關工作中汲取靈感），以使研究更容易進行呢？

建立聯(lián)系：當前項目所關注的領域與其他研究領域之間是否存在聯(lián)系？可以在這個研究項目中探索這種聯(lián)系嗎？這既可以幫助推進研究，也可以使項目與其他領域產(chǎn)生更廣泛的聯(lián)系。

獲得論文反饋：從研究同行、合作者和朋友那里獲得關于項目論文的反饋也可能會有所幫助。他們也許能夠提供新的觀點或改進建議。

參加Workshop：把論文提交到Workshop也有用。這個方法也能幫助整合所有研究結果，并獲得有用的反饋。（Maithra提到，她從機器學習會議上的workshop中獲得了許多收益，因為她可以討論/獲取有關當前方向的反饋，并見到同一領域的其他研究人員。）

及時止損：有時候，一個項目在剛開始時前景很好，但很難正常運行，項目本身對重新建立框架，或與其他領域建立聯(lián)系都具有挑戰(zhàn)性。在這張情況下，最好的方法也許是迅速中止項目，轉到其他研究。如果之前的項目已經(jīng)取得部分成果，可以針對這些成果撰文并進行分享，取得合作者的同意與最終反饋，將論文發(fā)表為arXiv預引文或Workshop論文。

如果你不是被某個特定的項目困擾，而是對研究過程感到不知所措，那么可能是因為你覺得研究成熟度，尤其是自己的研究水平，很難衡量。在讀博中途，Maithra開始從事醫(yī)療應用的研究，但在了解這個領域與撰寫論文上的進展都很慢。為此，她感到很迷茫、沮喪。后來，她重新讀了一遍她在博士初始階段所完成的文章，發(fā)現(xiàn)她對論文結果的深度與背景的了解與之前的情況截然不同。

衡量研究成熟度的幾個關鍵指標，如了解研究結果背后更廣泛的背景，在不同領域之間建立聯(lián)系，迅速定位你所研究的子領域的重要成果等等，并無法迅速轉化為有形的產(chǎn)出（如形成更多論文）。但是，這些指標對成為具有豐富研究視野的獨立研究人員至關重要，這也是博士生涯的主要研究目標。而且，如果你一直閱讀論文，了解你的研究領域并親自決定你的研究方向，包括教學/指導學生等，那么你是很有可能在這些方面取得重要進步的。

與時俱進感到費力時

機器學習是一個充滿活力、節(jié)奏快的領域，很容易被大量新論文、新預印論文、新博客文章、新實現(xiàn)、新框架等等淹沒。 如何掌握機器學習領域的最新動態(tài)呢？Maithra的策略如下：

1、掌握能夠快速查找相關論文的參考鏈接：比如訂閱arXiv上的stat.ML cs.LG郵件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。

2、做一個論文閱讀清單：列出你所發(fā)現(xiàn)的有趣的、但暫時沒有時間閱讀的論文，等有時間再回去閱讀。

3、制定一個論文閱讀策略：如果一篇論文與你正在積極研究的方向非常接近，那就詳細閱讀；如果相關度不大，那就讀一下摘要，截取幾張重要的照片。

4、偶爾讀一下其他領域的論文（可能一年一次），看看其他領域正在研究的內(nèi)容。 還有兩個比較有幫助的點是記住：（1）每個人都會對論文發(fā)表的概率感到著急；（2）許多論文也許都是基于一個相同的基本思想，只要掌握這一個思想，就能跟上整個領域的發(fā)展。

感到孤獨時讀博期間的另一個共同挑戰(zhàn)是與孤獨作斗爭。Maithra談到，在攻讀博士學位的前幾年，有些項目要求她將精力集中在非常狹窄的某些問題上，這些問題也非常耗費精力，并且看起來似乎永遠也完成不了。在這些時期，你會感到與其他研究人員和領域完全割裂。 廣泛而言，這種情況在博士早期比較常見，因為那時你正開始學習如何從頭到尾進行一個研究項目，但與此同時，你與其他研究人員/領域的聯(lián)系卻很少。與研究領域/社交群體保持聯(lián)系，可以確保你不會感到被孤立。

你可以：（1）與高年級的學生/博士后建立合作；（2）從導師/實驗室/其他同僚等方面獲得你所取得的工作進步的反饋；（3）積極參與其他社交圈，無論是參會，指導學生還是組織workshop等。

3

3個有用技能

在討論了讀博期間面臨的一些常見挑戰(zhàn)以及解決這些挑戰(zhàn)的方法后，下文將介紹一些有利于取得研究進展的注意事項。 Maithra發(fā)現(xiàn)，在讀博期間，個人身上的三個技能非常有用：主動性、專注力和毅力。 與本科學習相比，Maithra發(fā)現(xiàn)，讀博期間的一個明顯不同點是博士生需要采取主動行動。所謂主動，可以是閱讀重要的相關論文，對不同方法的可行性進行快速的初步研究，與進行相關研究的同行交談 ，還可以是參加會議，并成為會議的積極活躍分子。由于博士學位的完成時間不確定，所以論文的生產(chǎn)力在很大程度上是取決于你學習和進行研究的主動性。

此外，Maithra認為，在開始新的研究方向時，專注力非常重要，能夠幫助你精讀相關工作，提取關鍵信息，從最初的有限探索中快速學習，并確定項目的主要研究方向。 另一方面，毅力也很重要：一篇論文在提交前、提交后，或者回復同行評審、論文被拒時，通常都需要進行大量的編輯/資料添加。大量的論文編輯工作，尤其是在為二次提交做準備、同時又進行新的研究項目時，你很難有修改與編輯的動力。但同行評審過程的靈活性，又往往意味著論文值得你堅持修改與寫作。

4

記錄文獻閱讀和研究思路

Maithra在整個讀博期間，一直更新著兩個文檔。一個是第一年開始更新，另一個是第三年開始更新。 第一個記錄了她閱讀過的論文，每次Maithra閱讀了新論文后，都會將其添加到文檔中，并簡要寫下自己的收獲，該文檔篇幅已經(jīng)超過50頁。另一個文檔則跟蹤研究思路，每當她有一個新想法時，都會記下來。Maithra認為，這有助于了解研究方向并突出關鍵主題。

5

社區(qū)的重要性

Maithra花了不少時間才意識到社區(qū)的重要性，從根本上說，研究是一項社區(qū)活動。做學術研究通常要解決異常困難的問題，研究的進步取決于你和他人的互相學習，這是探索研究方向時要牢記的關鍵因素。

Maithra認為，我們應該注意以下幾個問題：社區(qū)關注的研究主題是什么，為什么？存在哪些盲區(qū)？有能自然提出的研究課題嗎？花時間與社區(qū)中的同行討論這些問題，對于提出符合趨勢的研究問題至關重要。 而且，如果確定了該領域的新研究方向，則圍繞該方向建立社區(qū)通常會很有用。要實現(xiàn)這一點，可以發(fā)起協(xié)作，發(fā)布關鍵的開放性問題，并組織研討會。 Maithra分享道，博士生涯剛開始，她就對了解現(xiàn)代深度學習系統(tǒng)所展現(xiàn)的關鍵經(jīng)驗現(xiàn)象感興趣。但是，在這個主題上開展工作非常困難。 這個領域正在迅速發(fā)展，使任何類型的研究分析都充滿了不確定性，并且極大地增加了圍繞該主題建立新社區(qū)的挑戰(zhàn)。 因此，Maithra的第一篇深度學習分析論文十分難產(chǎn)，極大考驗了她的毅力。但是在這之后，她感受到的是更加強烈的研究興趣。 6

發(fā)展研究視野

前面提到，在剛開始攻讀博士學位時，最好步步為營，專注于經(jīng)驗，而不是特定的目標。但從研究成熟度的角度來看，攻讀博士學位其實需要一個特定的目標：成為具有豐富的（清晰的）研究視野的獨立研究人員。 在當前的機器學習研究社區(qū)中，隨著大量論文的涌現(xiàn)，人們很容易感到需要不斷發(fā)表新論文的壓力。 但是，盡管論文寫作是一項重要技能，Maithra認為研究成熟度的關鍵標準，是能夠?qū)λ陬I域有淵博的知識和基于知識之上的深刻觀點，這些觀點有助于通過研究視野（與主題相關的總體觀點）來確定關鍵的研究問題。擁有廣闊、完整的研究視野會極大地激發(fā)人們的研究積極性。

那么如何發(fā)展研究視野呢？Maithra認為，首先，如果沒有幾年的研究經(jīng)驗就很難形成完整的研究視野。 在博士的頭幾年里，Maithra埋頭閱讀論文和聽大牛的演講，并為無法提出有趣的研究問題而感到沮喪。之后的幾年里，她閱讀過的論文、從事過的項目、參加過的研討會大大提高了這方面的能力。當然，這是永無止境的過程。 更具體來說，它始于探索，Maithra的前幾個項目為她提供了不同的曝光機會，并幫助她理解了自己感興趣的主題。

之后，她研究一些自然提出的后續(xù)項目，并引發(fā)了有關應用程序/部署的一些相關問題。在研究具體項目的過程中，會不斷提出新的問題，并持續(xù)加深自己對研究主題的理解，同時有可能引出新的研究課題。當然，不要忘記請教導師，導師在你的研究主題上已經(jīng)有了很廣闊的研究視野。 最后，Maithra強調(diào)，多年的經(jīng)驗確實產(chǎn)生了復合效應。之后從事研究項目時，提煉論文中的主要觀點會更加容易，并能啟發(fā)下一個研究課題，這些研究方向最終合并形成一個更廣闊的視野。

總結

總而言之，攻讀博士學位也許是一段非常有意義的經(jīng)歷。不妨將讀博視為一段旅程，有起有落，個人研究發(fā)現(xiàn)和研究觀點在不斷演變。希望這篇文章對旅途中跋涉的其他人有所幫助！

原文鏈接：https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

責任編輯：xj

原文標題：谷歌大腦高級研究科學家：我的六年機器學習博士生涯總結

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。