打破深度學習偏見，這事跟數據量有啥關系？
大小：0.4 MB 人氣： 2017-12-06 需要積分：1
近日，在深度學習領域出現了一場熱烈的爭論。這一切都要從 Jeff Leek 在 Simply Stats 上發表了一篇題為《數據量不夠大，別玩深度學習》（Don’t use deep learning your data isn’t that big）的博文開始。作者 Jeff Leek 在這篇博文中指出，當樣本數據集很小時（這種情況在生物信息領域很常見），即使有一些層和隱藏單元，具有較少參數的線性模型的表現是優于深度網絡的。為了證明自己的論點，Leek 舉了一個基于 MNIST 數據庫進行圖像識別的例子，分辨 0 或者 1。他還表示，當在一個使用僅僅 80 個樣本的 MNIST 數據集中進行 0 和 1 的分類時，一個簡單的線性預測器（邏輯回歸）要比深度神經網絡的預測準確度更高。
這篇博文的發表引起了領域內的爭論，哈佛大學藥學院的生物醫藥信息學專業博士后 Andrew Beam 寫了篇文章來反駁：《就算數據不夠大，也能玩深度學習》（You can probably use deep learning even if your data isn’t that big）。Andrew Beam 指出，即使數據集很小，一個適當訓練的深度網絡也能擊敗簡單的線性模型。
如今，越來越多的生物信息學研究人員正在使用深度學習來解決各種各樣的問題，這樣的爭論愈演愈烈。這種炒作是真的嗎？還是說線性模型就足夠滿足我們的所有需求呢？結論一如既往——要視情況而定。在這篇文章中，作者探索了一些機器學習的使用實例，在這些實例中使用深度學習并不明智。并且解釋了一些對深度學習的誤解，作者認為正是這些錯誤的認識導致深度學習沒有得到有效地使用，這種情況對于新手來說尤其容易出現。
打破深度學習偏見
首先，我們來看看許多外行者容易產生的偏見，其實是一些半真半假的片面認識。主要有兩點，其中的一點更具技術性，我將詳細解釋。
深度學習在小樣本集上也可以取得很好的效果
深度學習是在大數據的背景下火起來的（第一個谷歌大腦項目向深度神經網絡提供了大量的 Youtube 視頻），自從那以后，絕大部分的深度學習內容都是基于大數據量中的復雜算法。
然而，這種大數據 + 深度學習的配對不知為何被人誤解為：深度學習不能應用于小樣本。如果只有幾個樣例，將其輸入具有高參數樣本比例的神經網絡似乎一定會走上過擬合的道路。然而，僅僅考慮給定問題的樣本容量和維度，無論有監督還是無監督，幾乎都是在真空中對數據進行建模，沒有任何的上下文。
可能的數據情況是：你擁有與問題相關的數據源，或者該領域的專家可以提供的強大的先驗知識，或者數據可以以非常特殊的方式進行構建（例如，以圖形或圖像編碼的形式）。所有的這些情況中，深度學習有機會成為一種可供選擇的方法——例如，你可以編碼較大的相關數據集的有效表示，并將該表示應用到你的問題中。
這種典型的示例常見于自然語言處理，你可以學習大型語料庫中的詞語嵌入，例如維基百科，然后將他們作為一個較小的、較窄的語料庫嵌入到一個有監督任務中。極端情況下，你可以用一套神經網絡進行聯合學習特征表示，這是在小樣本集中重用該表示的一種有效方式。這種方法被稱作 “一次性學習”（one-shot learning） ，并且已經成功應用到包括計算機視覺和藥物研發在內的具有高維數據的領域。
非常好我支持^.^
(1) 100%
不好我反對
(0) 0%