本文針對句表示對比學(xué)習(xí)中的負(fù)采樣偏差進(jìn)行研究，提出了一種針對錯負(fù)例和各向異性問題的去偏句表示對比學(xué)習(xí)框架。該框架包括一種懲罰假負(fù)例的實(shí)例加權(quán)方法以及一種基于噪聲的負(fù)例生成方法，有效緩解了句表示任務(wù)中的負(fù)采樣偏差問題，提升了表示空間的均勻性。

論文題目：Debiased Contrastive Learning of Unsupervised Sentence Representations

論文下載地址：https://arxiv.org/abs/2205.00656

論文開源代碼：https://github.com/rucaibox/dclr

引言

作為自然語言處理（NLP）領(lǐng)域的一項(xiàng)基本任務(wù)，無監(jiān)督句表示學(xué)習(xí)（unsupervised sentence representation learning）旨在得到高質(zhì)量的句表示，以用于各種下游任務(wù)，特別是低資源領(lǐng)域或計(jì)算成本較高的任務(wù)，如 zero-shot 文本語義匹配、大規(guī)模語義相似性計(jì)算等等。

考慮到預(yù)訓(xùn)練語言模型原始句表示的各向異性問題，對比學(xué)習(xí)被引入到句表示任務(wù)中。然而，以往工作的大多采用批次內(nèi)負(fù)采樣或訓(xùn)練數(shù)據(jù)隨機(jī)負(fù)采樣，這可能會造成采樣偏差（sampling bias），導(dǎo)致不恰當(dāng)?shù)呢?fù)例（假負(fù)例或各向異性的負(fù)例）被用來進(jìn)行對比學(xué)習(xí)，最終損害表示空間的對齊度（alignment）和均勻性（uniformity）。

為了解決以上問題，我們提出了一種新的句表示學(xué)習(xí)框架 DCLR（Debiased Contrastive Learning of Unsupervised Sentence Representations）。在 DCLR 中，我們設(shè)計(jì)了一種懲罰假負(fù)例的實(shí)例加權(quán)方法以及一種基于噪聲的負(fù)例生成方法，有效緩解了句表示任務(wù)中的負(fù)采樣偏差問題，提升了表示空間的對齊度和均勻性。

背景與動機(jī)

近年來，預(yù)訓(xùn)練語言模型在各種 NLP 任務(wù)上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預(yù)訓(xùn)練模型得出的原始句表示相似度都很高，在向量空間中并不是均勻分布的，而是構(gòu)成了一個狹窄的錐體，這在很大程度上限制了句表示的表達(dá)能力。

為了得到分布均勻的句表示，對比學(xué)習(xí)被應(yīng)用于句表示學(xué)習(xí)中。對比學(xué)習(xí)的目標(biāo)是從數(shù)據(jù)中學(xué)習(xí)到一個優(yōu)質(zhì)的語義表示空間。優(yōu)質(zhì)的語義表示空間需要正例表示分布足夠接近，同時語義表示盡量均勻地分布在超球面上，具體可以用以下兩種指標(biāo)來衡量：

1、對齊度（alignment）計(jì)算原始表示與正例表示的平均距離。

2、均勻性（uniformity）計(jì)算表示整體在超球面上分布的均勻程度。

因此，對比學(xué)習(xí)的思想為拉近語義相似的正例表示以提高對齊度，同時推開不相關(guān)的負(fù)例以提高整個表示空間的均勻性。

以往的基于對比學(xué)習(xí)的句表示學(xué)習(xí)工作大多使用 batch 內(nèi)數(shù)據(jù)作為負(fù)例或從訓(xùn)練數(shù)據(jù)中隨機(jī)采樣負(fù)例。然而，這類方式可能會造成抽樣偏差（sampling bias），導(dǎo)致不恰當(dāng)?shù)呢?fù)例（例如假負(fù)例或各向異性的負(fù)例）被用來學(xué)習(xí)句表示，這將損害表征空間的對齊性和統(tǒng)一性。上圖是 SimCSE 編碼的輸入句表示與批次內(nèi)其它樣本表示的余弦相似度分布。可以看到，有接近一半的相似度高于 0.7，直接在向量空間中推遠(yuǎn)這些負(fù)例很有可能損害模型的語義表示能力。

因此，本文聚焦于如何降低負(fù)采樣偏差，從而使得對比學(xué)習(xí)得到向量分布對齊、均勻的句表示。

方法簡介

DCLR 聚焦于減少句表示對比學(xué)習(xí)中負(fù)采樣偏差的影響。在這個框架中，我們設(shè)計(jì)了一種基于噪聲的負(fù)例生成策略和一種懲罰假負(fù)例的實(shí)例加權(quán)方法。

基于噪聲的負(fù)例生成

對于每個輸入句 ，我們首先基于高斯分布初始化個噪聲向量作為負(fù)例表示：

其中為標(biāo)準(zhǔn)差。因?yàn)檫@些噪聲向量是從上述高斯分布中隨機(jī)初始化的，所以它們均勻地分布在語義空間中。因此，模型可以通過學(xué)習(xí)這些負(fù)例來提高語義空間的均勻性。

為了提高生成負(fù)例的質(zhì)量，我們考慮迭代更新負(fù)例，以捕捉語義空間中的非均勻性點(diǎn)。受虛擬對抗訓(xùn)練（virtual adversarial training, VAT）的啟發(fā)，我們設(shè)計(jì)了一個非均勻性（non-uniformity）損失最大化的目標(biāo)函數(shù)以產(chǎn)生梯度來改善這些負(fù)例。具體來說，目標(biāo)函數(shù)表示為基于噪聲的負(fù)例與正例表示的對比學(xué)習(xí)損失：

其中是溫度超參數(shù)，是余弦相似度。對于每個負(fù)例 ，我們通過 t 步梯度上升法對其進(jìn)行優(yōu)化：

其中為學(xué)習(xí)率，是 L2 范數(shù)。表示通過最大化非均勻性目標(biāo)函數(shù)產(chǎn)生的的梯度。這樣一來，基于噪音的負(fù)例將朝著句表示空間的非均勻點(diǎn)優(yōu)化。學(xué)習(xí)與這些負(fù)例的對比可以進(jìn)一步提高表示空間的均勻性。

帶有實(shí)例加權(quán)的對比學(xué)習(xí)

除了上述基于噪音的負(fù)例，我們也遵循現(xiàn)有工作，使用其它批次內(nèi)樣本表示作為負(fù)例。然而，如前文所述，批次內(nèi)負(fù)例可能包含與正例有類似語義的例子，即假負(fù)例。為了緩解這個問題，我們提出了一種實(shí)例加權(quán)的方法來懲罰假負(fù)例。由于我們無法獲得真實(shí)的負(fù)例標(biāo)簽，我們利用補(bǔ)充模型 SimCSE 來計(jì)算每個負(fù)例的權(quán)重。給定 或 {hat{h}}中的一個負(fù)例表示 和原始句表示 ，我們使用補(bǔ)全模型來計(jì)算權(quán)重：

其中 是實(shí)例加權(quán)閾值，是余弦相似度函數(shù)。通過上式，與原句表示有較高語義相似性的負(fù)例將被視為假負(fù)例，并將被賦予 0 權(quán)重作為懲罰。基于以上權(quán)重，我們用去偏的交叉熵對比學(xué)習(xí)損失函數(shù)來優(yōu)化句表示：

我們的方法使用了 SimCSE 的 dropout 正例增廣策略，但也適用于其它多種正例增廣策略。

實(shí)驗(yàn)

數(shù)據(jù)集

遵循以往的工作，我們在 7 個標(biāo)準(zhǔn)語義文本相似度任務(wù)上進(jìn)行實(shí)驗(yàn)。這些數(shù)據(jù)集由成對句子樣本構(gòu)成，其相似性分?jǐn)?shù)被標(biāo)記為 0 到 5。標(biāo)簽分?jǐn)?shù)和句表示預(yù)測分?jǐn)?shù)之間的相關(guān)性由 Spearman 相關(guān)度來衡量。

主實(shí)驗(yàn)

我們在 7 個數(shù)據(jù)集上進(jìn)行了語義相似度測試，并與現(xiàn)有 baseline 進(jìn)行比較。可以看到，DCLR 的性能在絕大部分實(shí)驗(yàn)中優(yōu)于基線模型。

分析與擴(kuò)展

DCLR 框架包含兩個去偏負(fù)采樣策略，為了驗(yàn)證其有效性，我們對兩部分分別進(jìn)行了消融實(shí)驗(yàn)。除此之外，我們還考慮其它三種策略：

1、Random Noise 直接從高斯分布中生成負(fù)例，不進(jìn)行梯度優(yōu)化。

2、Knowledge Distillation 使用 SimCSE 作為教師模型在訓(xùn)練過程中向?qū)W生模型蒸餾知識。

3、Self Instance Weighting 將模型自己作為補(bǔ)全模型為實(shí)例計(jì)算權(quán)重。

結(jié)果顯示 DCLR 的性能優(yōu)于各類變種，表明所提策略的合理性。

均勻性是句表示的一個理想特征。我們比較了 DCLR 和 SimCSE 基于 BERT-base 在訓(xùn)練期間的均勻性損失曲線。遵循 SimCSE，均勻性損失函數(shù)為：

其中 是所有句表示的分布。如圖所示，隨著訓(xùn)練進(jìn)行，DCLR 的均勻性損失下降，而 SimCSE 沒有明顯的下降趨勢。這可能表明 DCLR 中基于噪聲的負(fù)例采樣方法能夠有效改善語義空間的均勻性。

為了驗(yàn)證 DCLR 在少樣本場景下的健壯性，我們在 0.3% 到 100% 的數(shù)據(jù)量設(shè)定下訓(xùn)練模型。結(jié)果表明，即使在相對極端的數(shù)據(jù)設(shè)定（0.3%）下，我們的模型性能也僅僅在兩個任務(wù)中分別下降了了 9% 和 4%，這顯示了模型在少樣本場景中的有效性。

六. 總結(jié)

本文提出了一種緩解負(fù)采樣偏差的對比學(xué)習(xí)句表示框架 DCLR。DCLR 采用一種可梯度更新的噪聲負(fù)例生成方法來提高語義空間的均勻性，同時使用實(shí)例加權(quán)的方法緩解假負(fù)例問題，提升語義空間對齊度。實(shí)驗(yàn)表明，該方法在大部分任務(wù)設(shè)定下優(yōu)于其它基線模型。

在未來，我們將探索其他減少句表示任務(wù)中對比學(xué)習(xí)偏差的方法（例如去偏預(yù)訓(xùn)練）。此外，我們還將考慮將我們的方法應(yīng)用于多語言或多模態(tài)的表示學(xué)習(xí)。

審核編輯 ：李倩