導(dǎo)讀

最基礎(chǔ)的半監(jiān)督學(xué)習(xí)的概念，給大家一個(gè)感性的認(rèn)識(shí)。

半監(jiān)督學(xué)習(xí)(SSL)是一種機(jī)器學(xué)習(xí)技術(shù)，其中任務(wù)是從一個(gè)小的帶標(biāo)簽的數(shù)據(jù)集和相對(duì)較大的未帶標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)得到的。SSL的目標(biāo)是要比單獨(dú)使用有標(biāo)記數(shù)據(jù)訓(xùn)練的監(jiān)督學(xué)習(xí)技術(shù)得到更好的結(jié)果。這是半監(jiān)督學(xué)習(xí)系列文章的第1部分，對(duì)這個(gè)機(jī)器學(xué)習(xí)的重要子領(lǐng)域進(jìn)行了簡(jiǎn)要的介紹。

區(qū)分半監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

整個(gè)數(shù)據(jù)集中可用于訓(xùn)練的有標(biāo)記數(shù)據(jù)的范圍區(qū)分了機(jī)器學(xué)習(xí)的這三個(gè)相關(guān)領(lǐng)域。

監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中最流行的模式，在這種模式中，可以通過標(biāo)簽的形式獲得完整的監(jiān)督。整個(gè)數(shù)據(jù)集都有標(biāo)記，即一個(gè)標(biāo)簽與訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本相關(guān)聯(lián)。機(jī)器學(xué)習(xí)模型使用這個(gè)標(biāo)簽數(shù)據(jù)集訓(xùn)練，并期望對(duì)新的樣本預(yù)測(cè)一個(gè)標(biāo)簽。監(jiān)督學(xué)習(xí)主要包括兩類任務(wù)：分類和回歸。分類問題要求算法預(yù)測(cè)一個(gè)離散值，而回歸任務(wù)是需要從輸入變量(X)逼近一個(gè)映射函數(shù)(f)到連續(xù)輸出變量(y)。

手寫數(shù)字識(shí)別使用(MNIST)數(shù)據(jù)集。每個(gè)樣本都有一個(gè)圖像和對(duì)應(yīng)的數(shù)字作為標(biāo)簽。任務(wù)是學(xué)習(xí)從圖像中預(yù)測(cè)標(biāo)簽(即數(shù)字)。

另一個(gè)例子是情感分類，使用IMDB數(shù)據(jù)集。每條記錄都包含一個(gè)評(píng)論和一個(gè)相應(yīng)的標(biāo)簽(正面的或負(fù)面的)。這里的任務(wù)是預(yù)測(cè)給定評(píng)論的情緒。

房?jī)r(jià)預(yù)測(cè)是一個(gè)回歸任務(wù)，其中標(biāo)簽(房?jī)r(jià))是一個(gè)連續(xù)變量。

在無監(jiān)督學(xué)習(xí)中，沒有標(biāo)記數(shù)據(jù)可用。訓(xùn)練數(shù)據(jù)集包含樣本，但沒有特定的期望結(jié)果或標(biāo)簽。機(jī)器學(xué)習(xí)模型試圖通過提取有用的特征并對(duì)其進(jìn)行分析來自動(dòng)地在數(shù)據(jù)中找到結(jié)構(gòu)。像聚類、異常檢測(cè)、關(guān)聯(lián)等任務(wù)屬于無監(jiān)督學(xué)習(xí)。

聚類是將數(shù)據(jù)集劃分為多個(gè)簇，使同一簇中的數(shù)據(jù)點(diǎn)與同一簇中的其他數(shù)據(jù)點(diǎn)更相似，與其他簇中的數(shù)據(jù)點(diǎn)不相似。例如，下圖(左)中的數(shù)據(jù)點(diǎn)可以分成3個(gè)簇，如圖(右)所示。注意，簇可以是任何形狀。

半監(jiān)督式學(xué)習(xí)(SSL)，正如其名稱所示，介于兩個(gè)極端之間(監(jiān)督式是指整個(gè)數(shù)據(jù)集被標(biāo)記，而非監(jiān)督式是指沒有標(biāo)記)。半監(jiān)督學(xué)習(xí)任務(wù)具有一個(gè)標(biāo)記和一個(gè)未標(biāo)記的數(shù)據(jù)集。它使用未標(biāo)記的數(shù)據(jù)來獲得對(duì)數(shù)據(jù)結(jié)構(gòu)的更多理解。通常，SSL使用小的帶標(biāo)簽數(shù)據(jù)集和較大的未帶標(biāo)簽數(shù)據(jù)集來進(jìn)行學(xué)習(xí)。

我們的目標(biāo)是學(xué)習(xí)一個(gè)預(yù)測(cè)器來預(yù)測(cè)未來的測(cè)試數(shù)據(jù)，這個(gè)預(yù)測(cè)器比單獨(dú)從有標(biāo)記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的預(yù)測(cè)器更好。

監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)在標(biāo)記數(shù)據(jù)上的差別可視化

為什么要關(guān)注半監(jiān)督學(xué)習(xí)

在許多實(shí)際應(yīng)用中，收集大的有標(biāo)簽數(shù)據(jù)集太昂貴或者不可行，但是有大量的無標(biāo)簽數(shù)據(jù)可用。對(duì)于這種情況，半監(jiān)督學(xué)習(xí)是一個(gè)完美的方案。SSL技術(shù)可以利用帶標(biāo)簽的數(shù)據(jù)，也可以從未帶標(biāo)簽的數(shù)據(jù)派生結(jié)構(gòu)，從而更好地解決總體任務(wù)。

典型的監(jiān)督學(xué)習(xí)算法在標(biāo)記數(shù)據(jù)集較小的情況下，容易出現(xiàn)過擬合問題。SSL通過在訓(xùn)練過程中理解未標(biāo)記數(shù)據(jù)的結(jié)構(gòu)來緩解這個(gè)問題。

此外，這種學(xué)習(xí)技術(shù)減輕了構(gòu)建大量標(biāo)記數(shù)據(jù)集來學(xué)習(xí)任務(wù)的負(fù)擔(dān)。SSL方法更接近我們?nèi)祟惖膶W(xué)習(xí)方式。

讓我們舉個(gè)例子來直觀地看看半監(jiān)督學(xué)習(xí)的效果。在下面的圖中，當(dāng)只對(duì)標(biāo)記數(shù)據(jù)(大的黑點(diǎn)和白點(diǎn))進(jìn)行訓(xùn)練(即對(duì)標(biāo)記數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí))時(shí)，決策邊界(虛線)并不遵循數(shù)據(jù)“流形”的輪廓，這可以由額外的未標(biāo)記數(shù)據(jù)(小灰點(diǎn))來表示。

因此，SSL的目標(biāo)是利用未標(biāo)記數(shù)據(jù)來生成決策邊界，從而更好地反映數(shù)據(jù)的底層結(jié)構(gòu)。

由不同的半監(jiān)督學(xué)習(xí)方法生成的決策邊界

半監(jiān)督學(xué)習(xí)的任務(wù)舉例

CIFAR-10— 它是由10個(gè)類的32×32像素的RGB圖像組成的數(shù)據(jù)集，任務(wù)是圖像分類。通常使用Tiny Images數(shù)據(jù)集中的隨機(jī)圖像來形成未標(biāo)記數(shù)據(jù)集。

SVHN— 街景門牌號(hào)數(shù)據(jù)集由真實(shí)門牌號(hào)的32×32像素的RGB圖像組成，任務(wù)是分類最中間的數(shù)字。它附帶一個(gè)“SVHN-extra”數(shù)據(jù)集，該數(shù)據(jù)集由531,131個(gè)額外的數(shù)字圖像組成，可以用作未標(biāo)記數(shù)據(jù)。

Text-Classification Tasks— 亞馬遜評(píng)論數(shù)據(jù)庫(kù)，Yelp評(píng)論數(shù)據(jù)集。

總結(jié)

半監(jiān)督學(xué)習(xí)是一種有趣的方法，用于解決機(jī)器學(xué)習(xí)中缺乏標(biāo)記數(shù)據(jù)的問題。SSL算法還利用未標(biāo)記數(shù)據(jù)來提高監(jiān)督學(xué)習(xí)算法的性能。SSL算法通常提供了一種從無標(biāo)簽示例中了解數(shù)據(jù)結(jié)構(gòu)的方法，減輕了對(duì)標(biāo)簽的需求。

本系列的第2部分會(huì)介紹了一些具體的SSL技術(shù)，未完待續(xù)。

責(zé)任編輯：xj

原文標(biāo)題：半監(jiān)督學(xué)習(xí)入門基礎(chǔ)（一）

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。