論文標(biāo)題：Enhancing CTR Prediction with Context-Aware Feature Representation Learning

收錄會議：

SIGIR 2022

論文鏈接：

https://arxiv.org/abs/2204.08758

簡介與主要貢獻(xiàn)

目前大多數(shù)提升點(diǎn)擊率預(yù)估效果的模型主要是通過建模特征交互，但是如何設(shè)計有效的特征交互結(jié)構(gòu)需要設(shè)計人員對數(shù)據(jù)特點(diǎn)以及結(jié)構(gòu)設(shè)計等方面有很強(qiáng)的要求。目前的以建模特征交互為主的模型可以總結(jié)為三層范式：embedding layer， feature interaction layer， 以及 prediction layer。大多數(shù)論文改進(jìn)集中在 Featrue interaction layer。

然而大部分的模型都存在一個問題：對于一個相同的特征，他們僅僅學(xué)到了一個固定的特征表示，而沒有考慮到這個特征在不同實例中不同上下文環(huán)境下的重要性。例如實例 1：{female, white, computer, workday} 和實例 2：{female, red, lipstick, workday} 中，特征 “female” 在這兩個實例中的重要性（對最后的預(yù)測結(jié)果的影響或者與其他特征的關(guān)系）是不同的，因此在輸入特征交互層之前我們就可以調(diào)整特征 “female” 的重要性或者是表示。

現(xiàn)有的工作已經(jīng)注意到了這個問題，例如 IFM、DIFM 等，但是他們僅僅在不同的實例中為相同特征賦予不同的權(quán)重（vector-level weights），導(dǎo)致不同實例中的相同特征的表示存在嚴(yán)格的線性關(guān)系，而這顯然是不太合理的。

另一方面，本文希望一個理想的特征細(xì)化模塊應(yīng)該識別重要的跨實例上下文信息，并學(xué)習(xí)不同上下文下顯著不同的表示。

給出了一個例子：{female, red, lipstick, workday} and {female, red, lipstick, weekend}，在這兩個實例匯總，如果使用self-attention（在 CTR 中很常用的模塊，來識別特征之間的關(guān)系），那么因為 “female”和“red”以及“l(fā)ipstick”的關(guān)系比“workday”或者“weekend”的更加緊密，所以在兩個實例中，都會賦予“red”和“l(fā)ipstick”更大的注意力權(quán)重，而對“workday”或者“weekend”的權(quán)重都很小。但是用戶的行為會隨著“workday”到“weekend”的變化而變化。

因此本文提出了一個模型無關(guān)的模塊 Feature Refinement Network（FRNet）來學(xué)習(xí)上下文相關(guān)的特征表示，能夠使得相同的特征在不同的實例中根據(jù)與共現(xiàn)特征的關(guān)系以及完整的上下文信息進(jìn)行調(diào)整。主要貢獻(xiàn)如下：

本文提出了一個名為 FRNet 的新模塊，它是第一個通過將原始和互補(bǔ)的特征表示與比特級權(quán)值相結(jié)合來學(xué)習(xí)上下文感知特征表示的工作。

FRNet 可以被認(rèn)為是許多 CTR 預(yù)測方法的基本組成部分，可以插入在 embedding layer 之后，提高 CTR 預(yù)測方法的性能。

FRNet 表現(xiàn)出了極強(qiáng)集兼容性和有效性。

FRNet模塊

FRNet模型主要包含兩個模塊：

Information Extraction Unit (IEU)：IEU 主要是來捕獲上下文相關(guān)的信息（Self-Attention unit）以及特征之間的關(guān)系信息（Contextual Information Extractor）來共同學(xué)習(xí)上下文相關(guān)的信息。再 Integration unit 進(jìn)行融合。

Complementary Selection Gate (CSGate)：CSGate 可以自適應(yīng)融合原始的和互補(bǔ)的特征表示，這種融合是在 bit-level 級別上的。

2.1 IEU

通過對以往模型的總結(jié)，F(xiàn)RNet 主要通過學(xué)習(xí)特征間的關(guān)系（vector-level）以及上下文相關(guān)的信息（bit-level）的信息來學(xué)習(xí)最后的 context-aware representation。首先在在 IEU 中使用以下兩個模塊：

Self-Attention unit：self-attention 善于學(xué)習(xí)特征之間的關(guān)聯(lián)信息。FRNet 中使用了一個基本的 Self-attention 結(jié)構(gòu)。

Contextual Information Extractor：在 motivation 部分提到過，self-attention 雖然擅長學(xué)習(xí)特征之間的關(guān)系，但是無法學(xué)習(xí)整體的上下文信息。所以特地使用了一個簡單的 DNN 模塊來提取不同實例的上下文信息。一個之間的理由是 DNN 可以關(guān)注到所有的特征信息（bit-level 信息）。

以上兩個單元分別學(xué)習(xí)了特征之間的關(guān)系，對輸入信息進(jìn)行壓縮，保存了特征的上下文信息。接下來通過一個 Integration unit 對這兩部分信息進(jìn)行融合：

可以看到每個實例只有一個上下文信息維度為 d，而經(jīng)過 self-attention 之后的關(guān)系信息維度是 f*d。所以融合之后相當(dāng)于賦予了每個特征上下文信息，而這部分信息僅僅 self-attention 是無法獲取的。

2.2 CSGate

從圖 2 中可以看到，本文使用了兩個 IEU 模型，其中 模塊學(xué)習(xí)了一組 complementary feature representaion ， 學(xué)習(xí)了一組權(quán)重矩陣 ?；?、 以及原始的特征表示 ，F(xiàn)RNet 通過一個選擇門獲得了最后的 context-aware feature representation：

公式主要分為兩部分：

Selected features：首先最后的結(jié)果并沒有完全舍棄原有的特征表示 E，但是也沒有像 ResNet 那樣將原始表示 E 直接保留，而是通過權(quán)重矩陣進(jìn)行自適應(yīng)的選擇。

Complementary features：另一方面，如果僅僅使用原有的特征也會導(dǎo)致模型的表達(dá)能力受限。現(xiàn)有的一些方法也僅僅通過分配一個權(quán)重的方法來對特征進(jìn)行調(diào)整。同時僅僅分配權(quán)重沒有考慮哪些 unselected information。在計算權(quán)重的時候使用可 sigmoid 方式，如果只使用選擇的一部分信息，會導(dǎo)致最后的信息

“不完整”（這里有點(diǎn)借鑒 GRU 以及 LSTM 的設(shè)計思路）。因為我們從互補(bǔ)矩陣 上選擇互補(bǔ)的信息。

實驗分析

實驗數(shù)據(jù)集：

3.1 整體分析

主要將 FRNet 應(yīng)用到 FM 模型中說明 FRNet 的效果。 這一部分說明了 FRNet 的效果和效率。

3.2 兼容性分析

將 FRNet 應(yīng)用到其他模型中查看效果。 和其他模塊進(jìn)行對比。

3.3 超參數(shù)分析

對 IEU 模塊中的兩個超參數(shù)進(jìn)行了分析：

DNN 的層數(shù)

Self-attention 的 attention size

3.4 消融分析

通過消融實驗來說明 FRNet 中的設(shè)計都是有效的：

Learning context-aware feature representations是有效的。這里面所有的變式都對原始的特征進(jìn)行改進(jìn)，從而獲得了更好的效果（和#1對比）

Cross-feature relationships and contextual information 是必要的。#2中學(xué)習(xí)了特征之間的關(guān)系，超過了 #1。#13 和 #3 學(xué)習(xí)了 contextual information，分別超過了 #4 和 #2。

Assigning weights to original features 是合理的。#5 移除了權(quán)重信息，發(fā)現(xiàn) #10 和 #11 超過了 #5。同時 #6 和 #7 超過了 #1 也說明了相同的結(jié)論。

Learning bit-level weights is more effective than learning vector-level。（#7, #9, #11, #13）超過了對應(yīng)的（#6, #8, #10, #12），前者學(xué)習(xí)位級別的權(quán)重，而后者學(xué)習(xí)向量級別的權(quán)重。

Complementary Features 也是很關(guān)鍵的. 添加了輔助特征 之后 #10，#11 分別超過了 #6 和 #7。而且 #12 和 #13 分別超過了 #10 和 #11，說明給輔助特征分配權(quán)重也是必要的。

3.5 特征表示可視化分析

本文的 context-aware feature representation 總結(jié)起來就是一句話：相同的特征在不同的實例下應(yīng)該有不同的表示，而且不同實例下的表示不應(yīng)該有嚴(yán)格的線性關(guān)系。為了說明這一點(diǎn)，本文通過可視化的方式進(jìn)行了說明。圖中都是同一個特征的原始表示和 1000 個不同實例中經(jīng)過 FRNet（或者其他模塊）之后的表示。

EGate 無法學(xué)習(xí)不同的表示；DIFM 學(xué)到的表示存在嚴(yán)格的線性關(guān)系。而 FRNet 學(xué)到的表示同時解決了這些問題。

#6 也是學(xué)習(xí)向量級別的權(quán)重，但是和 DIFM 比可以看到，使用 IEU 學(xué)到的權(quán)重可以使得特征空間更加分明。#6 中沒有添加輔助特征，所以可以看到還是存在線性關(guān)系的，而 FRNet-vec 中添加了輔助特征，消除了線性關(guān)系。

FRNet 是學(xué)習(xí) bit-level 的權(quán)重，而 FRNet-vec 是學(xué)習(xí)向量級別的權(quán)重，從分區(qū)的形狀可以看到 FRNet 的非線性特征更加顯著，即更加集中。

3.6 IEU可視化分析

前面說到 Self-attention 中存在的問題：在大部分特征都相同的情況下，無法區(qū)分某些不重要的特征表示。在這個實驗中，選擇了兩個特征（只有一個特征是不同的，其他特征都相同），在經(jīng)過 self-attention 之后，獲得的表示都是相同的。 但是在經(jīng)過 CIE（DNN）壓縮之后，可以看到僅僅因為這一個特征的不同，最后獲得的表示是權(quán)重不同的，而這就是 self-attention 無法學(xué)習(xí)的上下文信息。最后 IEU 將上下文信息融合到 self-attention 中獲得了圖 8（c）的效果：兩個實例中的每一組對應(yīng)特征都有顯著的差別。

3.7 bit-level權(quán)重分析

匯總分析了權(quán)重矩陣 在 100K 個實例中分布情況。通過均值可以看出來 57.8% 的概率選擇原始特征表示，而 42.2% 的概率選擇互補(bǔ)特征。

審核編輯 ：李倩