如何充分利用各種用戶反饋信息，來(lái)提升推薦系統(tǒng)的性能？來(lái)自騰訊微信團(tuán)隊(duì)的謝若冰、凌程、王亞龍、王瑞、夏鋒和林樂(lè)宇研究員對(duì)此進(jìn)行了研究，并提出新的 Deep Feedback Network (DFN) 模型，性能相比基線取得顯著提升。目前，該研究相關(guān)論文《Deep Feedback Network for Recommendation》已被 IJCAI-2020 會(huì)議接收。

在推薦系統(tǒng)中，用戶的顯式反饋、隱式反饋、正反饋和負(fù)反饋都能夠反映用戶對(duì)被推薦物品的偏好，這些反饋信息在推薦系統(tǒng)中十分有用。然而，現(xiàn)在的大規(guī)模深度推薦模型往往以點(diǎn)擊為目標(biāo)，只看重以用戶點(diǎn)擊行為為代表的隱式正反饋，而忽略了其它有效的用戶反饋信息。騰訊微信的這項(xiàng)研究關(guān)注用戶多種顯式/隱式和正/負(fù)反饋信息，學(xué)習(xí)用戶的無(wú)偏興趣偏好。 具體而言，該研究團(tuán)隊(duì)提出了 Deep Feedback Network (DFN) 模型，綜合使用用戶的隱式正反饋（點(diǎn)擊行為）、隱式負(fù)反饋（曝光但未點(diǎn)擊的行為）以及顯式負(fù)反饋（點(diǎn)擊不感興趣按鈕行為）等信息。DFN 模型使用 internal feedback interaction component，來(lái)抓住用戶行為序列中的細(xì)粒度行為級(jí)別交互，然后通過(guò) external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負(fù)反饋?zhàn)鳛楸O(jiān)督，從噪音較多的隱式負(fù)反饋中進(jìn)一步抽取用戶的正負(fù)反饋信息。在實(shí)驗(yàn)中，研究人員基于微信看一看的數(shù)據(jù)，進(jìn)行了豐富的離線和在線實(shí)驗(yàn)，模型性能與 baseline 相比取得顯著提升。 一、模型背景與簡(jiǎn)介 推薦系統(tǒng)在日常生活中被廣泛使用，為用戶獲取信息與娛樂(lè)提供了極大的便利。推薦系統(tǒng)算法往往基于用戶與系統(tǒng)的交互，這些交互行為可以大致分為以下兩類：顯式反饋與隱式反饋。

顯式反饋從用戶對(duì)物品的直接態(tài)度中獲取，例如評(píng)論中的一星到五星，或者微信看一看系統(tǒng)中的「不感興趣」按鈕。這類反饋能夠直接表達(dá)用戶的正向以及負(fù)向偏好，但是此類反饋的數(shù)量往往不多。

隱式反饋從用戶的行為中間接獲得，例如用戶的點(diǎn)擊/不點(diǎn)擊行為。這些信息在推薦系統(tǒng)中往往是海量的，但是這些信息有著較多噪聲（用戶點(diǎn)擊的并不一定是他真正喜歡的）。另外，隱式反饋通常是以正反饋的形式出現(xiàn)，推薦中的隱式負(fù)反饋存在巨大噪聲（未展現(xiàn)信息或者未點(diǎn)擊信息未必表示用戶不喜歡這些內(nèi)容）。

在近期的深度推薦系統(tǒng)中，CTR 導(dǎo)向的目標(biāo)受到極大關(guān)注。因此，模型不可避免地只關(guān)注和目標(biāo)緊密相關(guān)的用戶點(diǎn)擊行為，忽略了其它用戶行為中蘊(yùn)含的豐富信息。 僅考慮 CTR 導(dǎo)向目標(biāo)的推薦模型往往會(huì)遇到以下兩個(gè)問(wèn)題： （1）CTR 導(dǎo)向目標(biāo)只關(guān)注用戶喜歡什么，沒(méi)有關(guān)注用戶不喜歡什么。這樣，模型的推薦結(jié)果容易同質(zhì)化和趨熱化，損害用戶體驗(yàn)。因此，負(fù)反饋信息是必要的。 （2）用戶除了被動(dòng)地接受系統(tǒng)推薦的物品，有時(shí)也需要主動(dòng)和即時(shí)的反饋機(jī)制。用戶希望能夠高效和準(zhǔn)確地告知系統(tǒng)自己喜歡或者不喜歡什么。另外，用戶的顯式和隱式反饋之間也存在割裂（用戶點(diǎn)擊的并不一定是他真正喜歡的）。因此，顯式反饋也是必要的。顯式信息和隱式信息能夠作為彼此的補(bǔ)充，相輔相成。 已有工作使用用戶的未點(diǎn)擊/未曝光行為作為隱式負(fù)反饋，這樣會(huì)引入極大的噪聲。另外一些工作嘗試使用用戶的顯式負(fù)反饋信息。這些信息固然精確，但是也往往比較稀疏。

圖 1：微信看一看系統(tǒng)中的三種反饋，從左到右分別為隱式正反饋（點(diǎn)擊行為）、隱式負(fù)反饋（曝光但未點(diǎn)擊的行為）以及顯式負(fù)反饋（點(diǎn)擊不感興趣按鈕行為）。 為了解決這些問(wèn)題，綜合使用用戶多種顯式/隱式和正/負(fù)反饋信息學(xué)習(xí)更好的無(wú)偏用戶表示，該團(tuán)隊(duì)提出了 Deep Feedback Network (DFN) 模型。 圖 1 給出了在微信看一看場(chǎng)景中的三種用戶反饋。DFN 通過(guò) internal feedback interaction component 抓住用戶行為序列中的細(xì)粒度行為級(jí)別交互，然后通過(guò) external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負(fù)反饋?zhàn)鳛楸O(jiān)督，從噪音較多的隱式負(fù)反饋中進(jìn)一步抽取用戶的正負(fù)反饋信息。這些反饋特征會(huì)和其他用戶/物品特征混合，并行使用 FM、Deep 和 Wide 層進(jìn)行特征交互，最后進(jìn)行 CTR 預(yù)估。該研究團(tuán)隊(duì)基于微信看一看推薦系統(tǒng)，設(shè)計(jì)了離線和線上實(shí)驗(yàn)，在多個(gè)指標(biāo)上出現(xiàn)顯著提升。這篇工作的主要貢獻(xiàn)如下：

首次融合隱式正反饋（點(diǎn)擊行為）、隱式負(fù)反饋（曝光但未點(diǎn)擊的行為）、顯式負(fù)反饋（點(diǎn)擊不感興趣按鈕行為）和它們之間的交互信息進(jìn)行用戶行為建模；

提出全新的 Deep Feedback Network (DFN) 模型，能夠?qū)W習(xí)到用戶的無(wú)偏興趣偏好；

模型在離線和在線任務(wù)上的性能都得到了顯著提升，具有工業(yè)級(jí)實(shí)用價(jià)值。論文也提出了一個(gè) feed 流中的顯式負(fù)反饋預(yù)測(cè)任務(wù)。

二、模型結(jié)構(gòu) DFN 模型主要分為三個(gè)階段：

首先，deep feedback interaction module 以用戶的多種反饋行為作為輸入，輸出用戶的反饋特征。

然后，F(xiàn)eature Interaction Module 進(jìn)一步考慮用戶的其它特征和物品特征，使用 FM、Deep 和 Wide 層進(jìn)行特征交互。

最后，輸出層使用 CTR 作為訓(xùn)練目標(biāo)。

圖 2 給出了 DFN 的整體結(jié)構(gòu)。

圖 2：DFN 的整體結(jié)構(gòu)。 deep feedback interaction module 是該模型的主要?jiǎng)?chuàng)新點(diǎn)。它包括兩個(gè)組成部分：Internal Feedback Interaction Component 和 External Feedback Interaction Component。圖 3 給出了 deep feedback interaction module 的結(jié)構(gòu)。

圖 3：deep feedback interaction module 首先，在 Internal Feedback Interaction Component 中，用戶的隱式正反饋、隱式負(fù)反饋和顯式負(fù)反饋序列和 target item 一起，通過(guò)一個(gè) transformer 層，得到在各個(gè)序列內(nèi)部細(xì)粒度的 item-level 交互信息。然后經(jīng)過(guò) average 層得到三種反饋的特征表示，其中隱式正反饋特征中蘊(yùn)含高質(zhì)量的用戶正向偏好，顯式負(fù)反饋特征中蘊(yùn)含高質(zhì)量的用戶負(fù)向偏好。 第二步，在 External Feedback Interaction Component 中，隱式負(fù)反饋序列往往是三種行為中最多的行為，但也是噪聲最大的行為。該研究把高質(zhì)量的和 target item 交互后的隱式正反饋特征和顯式負(fù)反饋特征看作一種高質(zhì)量指導(dǎo)，從用戶未點(diǎn)擊序列中挖掘用戶或許喜歡/不喜歡的物品，補(bǔ)充用戶的正向負(fù)向偏好。研究人員使用一個(gè) attention 層，得到兩種用戶弱正向/負(fù)向反饋特征。這兩種弱反饋特征和第一步的三種反饋特征拼接后成為最終的用戶反饋特征。 第三步，在 Feature Interaction Module 中，研究人員使用 FM、Wide 和 Deep 層，對(duì)用戶其它特征、物品特征和用戶反饋特征等進(jìn)行低階/高階特征交互。這個(gè)模塊是為了充分利用各種特征輔助推薦，使得模型在真實(shí)工業(yè)級(jí)任務(wù)上達(dá)到最好的效果。使用 Wide 層主要是為了給潛在的特征工程留下接口。 最后，研究人員基于 CTR loss 進(jìn)行訓(xùn)練。除去傳統(tǒng)的正例和未點(diǎn)擊負(fù)例，該研究還增加了一項(xiàng)預(yù)測(cè)用戶負(fù)反饋點(diǎn)擊的 loss。由于在實(shí)際推薦系統(tǒng)中，用戶給出主動(dòng)顯式負(fù)反饋的次數(shù)極少，顯式負(fù)反饋中的負(fù)向信息也極其強(qiáng)烈，所以該研究單獨(dú)在 loss 中強(qiáng)調(diào)了這一項(xiàng)，并且給予了較大的訓(xùn)練權(quán)重。

三、實(shí)驗(yàn)結(jié)果 離線和線上實(shí)驗(yàn)均在微信看一看上進(jìn)行，離線數(shù)據(jù)集包含千萬(wàn)級(jí)用戶在百萬(wàn)級(jí)物品上的億級(jí)行為。模型離線 CTR 預(yù)估結(jié)果如圖 4：

圖 4：CTR 預(yù)估結(jié)果。 DFN 模型取得了 SOTA 結(jié)果。 研究者還通過(guò)圖 5 給出了一個(gè)新的不感興趣預(yù)估實(shí)驗(yàn)。由于用戶點(diǎn)擊不感興趣按鈕說(shuō)明用戶對(duì)于推薦結(jié)果很失望，這類推薦結(jié)果會(huì)極大損害用戶體驗(yàn)，模型應(yīng)該能夠?qū)@類反饋及時(shí)捕捉并響應(yīng)，理想狀態(tài)下應(yīng)通過(guò)用戶實(shí)時(shí)行為避免用戶產(chǎn)生顯式負(fù)反饋的結(jié)果。

圖 5：dislike 預(yù)估結(jié)果。 該研究還進(jìn)行了控制變量實(shí)驗(yàn)。證明反饋模塊的每一個(gè)組成部分都是有效的。

圖 6：控制變量實(shí)驗(yàn)結(jié)果。 最后，研究人員還給出了參數(shù)實(shí)驗(yàn)，探索不感興趣 loss 的權(quán)重影響。

圖 7：參數(shù)實(shí)驗(yàn)結(jié)果。 四、總結(jié) 在這篇論文中，作者初步研究了推薦系統(tǒng)中的多種顯式/隱式和正/負(fù)反饋之間的協(xié)同合作機(jī)制。DFN 模型能夠基于多種反饋信息即時(shí)學(xué)習(xí)用戶的無(wú)偏正負(fù)向興趣，在點(diǎn)擊預(yù)估和不感興趣預(yù)估等多個(gè)任務(wù)上均實(shí)現(xiàn)性能提升效果。直觀而有效的模型也使得 DFN 能成功在工業(yè)級(jí)推薦系統(tǒng)中得到部署和驗(yàn)證。騰訊微信團(tuán)隊(duì)預(yù)測(cè)，用戶的顯式反饋特別是顯式負(fù)反饋信息將會(huì)在未來(lái)推薦系統(tǒng)中起到更加重要的作用，在發(fā)掘推薦系統(tǒng)可解釋性的同時(shí)提升用戶體驗(yàn)。