大型語言模型的出現(xiàn)標(biāo)志著人工智能領(lǐng)域的一次革命性突破。得益于前所未有的訓(xùn)練規(guī)模和模型參數(shù)，大型語言模型的能力得到了顯著提升，從而在理解、語言合成和常識推理等方面達(dá)到了與人類相似的表現(xiàn)。這種在通用AI能力上的重大飛躍將從根本上改變個(gè)性化服務(wù)的實(shí)施模式。

首先，它將改變?nèi)祟惻c個(gè)性化系統(tǒng)之間的交互方式。大型語言模型不再是像傳統(tǒng)的推薦系統(tǒng)和搜索引擎那樣的被動信息過濾介質(zhì)，而是為主動用戶參與提供了基礎(chǔ)。在這樣一個(gè)新的基礎(chǔ)上，可以主動探索用戶的請求，并以自然、互動和可解釋的方式提供用戶所需的信息。

其次，它還將大大擴(kuò)展個(gè)性化服務(wù)的范圍，使其從僅僅收集個(gè)性化信息發(fā)展到提供個(gè)性化服務(wù)的復(fù)合功能。通過利用大型語言模型作為通用界面，個(gè)性化系統(tǒng)可以將用戶的請求編譯為計(jì)劃，調(diào)用外部工具（例如搜索引擎、計(jì)算器、服務(wù)API等）的功能來執(zhí)行這些計(jì)劃，并整合這些工具的輸出，完成端到端的個(gè)性化任務(wù)。如今，大型語言模型仍在快速發(fā)展，而在個(gè)性化應(yīng)用中還大都未被探索。

因此，我們認(rèn)為現(xiàn)在是時(shí)候?qū)徱晜€(gè)性化服務(wù)的挑戰(zhàn)以及用大型語言模型來解決它們的機(jī)會了。特別是，我們在這篇展望性論文中專門討論了以下幾個(gè)方面：現(xiàn)有個(gè)性化系統(tǒng)的發(fā)展和挑戰(zhàn)、大型語言模型新出現(xiàn)的能力，以及如何利用大型語言模型進(jìn)行個(gè)性化的潛在方法。

大型語言模型的出現(xiàn)[1]在理解人類表達(dá)方面顯示出了顯著的進(jìn)步，深刻地影響了AI社區(qū)。這些模型配置了大量的數(shù)據(jù)和大規(guī)模的神經(jīng)網(wǎng)絡(luò)，展示了在理解人類語言和生成與我們相似的文本方面的卓越能力。其中的能力包括推理[2]、少次學(xué)習(xí)[3]以及在預(yù)訓(xùn)練模型中融合大量的世界知識[1]。這標(biāo)志著人工智能領(lǐng)域的一個(gè)重大突破，導(dǎo)致了我們與機(jī)器互動的革命。因此，大型語言模型在從自然語言處理和機(jī)器翻譯到創(chuàng)意內(nèi)容生成和聊天機(jī)器人開發(fā)的各種應(yīng)用中都變得不可或缺。特別是ChatGPT的推出，受到了人類社區(qū)的廣泛關(guān)注，促使人們反思大型語言模型的變革力量及其推動AI能夠達(dá)到的界限的潛力。這種顛覆性的技術(shù)承諾改變我們在無數(shù)領(lǐng)域與AI的互動和利用方式，為創(chuàng)新打開了新的可能性和機(jī)會。隨著這些語言模型繼續(xù)進(jìn)步和發(fā)展，它們有望塑造人工智能的未來，使我們能夠探索未知領(lǐng)域并在人機(jī)合作中發(fā)掘更大的潛力。

個(gè)性化，即根據(jù)個(gè)人喜好量身定制體驗(yàn)的藝術(shù)，是連接人類與機(jī)器之間差距的一個(gè)關(guān)鍵且動態(tài)的紐帶。在當(dāng)今的技術(shù)驅(qū)動世界中，個(gè)性化在增強(qiáng)用戶與各種數(shù)字平臺和服務(wù)的互動和參與中起到了關(guān)鍵的作用。通過適應(yīng)個(gè)人的偏好，個(gè)性化系統(tǒng)賦予機(jī)器滿足每個(gè)用戶獨(dú)特需求的能力，從而使互動更為高效和愉快。此外，個(gè)性化不僅僅是內(nèi)容推薦；它涵蓋了用戶體驗(yàn)的各個(gè)方面，包括用戶界面、交流風(fēng)格等。隨著人工智能的不斷進(jìn)步，個(gè)性化在處理大量互動和多樣化的用戶意圖方面變得越來越復(fù)雜。這要求我們開發(fā)更先進(jìn)的技術(shù)來應(yīng)對復(fù)雜的場景，提供更加愉快和滿意的體驗(yàn)。對改進(jìn)個(gè)性化的追求是由希望更好地了解用戶并滿足他們不斷變化的需求的愿望驅(qū)動的。隨著技術(shù)的發(fā)展，個(gè)性化系統(tǒng)很可能會繼續(xù)演變，最終創(chuàng)造出一個(gè)人機(jī)交互無縫融入我們生活的每一個(gè)方面的未來，為我們的日常生活提供個(gè)性化和量身定制的體驗(yàn)。

大型語言模型，憑借其深入和廣泛的能力，有潛力革命化個(gè)性化系統(tǒng)，改變?nèi)祟惖幕臃绞讲U(kuò)大個(gè)性化的范圍。人機(jī)之間的交互不再僅僅可以被分類為主動和被動，就像傳統(tǒng)的搜索引擎和推薦系統(tǒng)一樣。然而，這些大型語言模型不僅僅是簡單的信息過濾，它們還提供了多樣化的附加功能。具體來說，系統(tǒng)會主動和全面地探索用戶的意圖，使用戶和系統(tǒng)之間能夠通過自然語言進(jìn)行更直接和無縫的溝通。與依賴于抽象且難以解釋的基于ID的信息表示的傳統(tǒng)技術(shù)不同，大型語言模型能夠更深入地理解用戶的確切需求和興趣。這種更深入的理解為更高質(zhì)量的個(gè)性化服務(wù)鋪平了道路，以更精細(xì)和有效的方式滿足用戶的需求和偏好。此外，通過大型語言模型的能力，各種工具的整合得到了極大的增強(qiáng)，大大擴(kuò)展了個(gè)性化系統(tǒng)的可能性和應(yīng)用場景。通過將用戶需求轉(zhuǎn)化為計(jì)劃，包括理解、生成和執(zhí)行它們，用戶可以訪問各種各樣的信息和服務(wù)。重要的是，用戶并不知道后臺發(fā)生的復(fù)雜轉(zhuǎn)換過程，因?yàn)樗麄凅w驗(yàn)到的是一個(gè)無縫的端到端模型。從這個(gè)角度來看，大型語言模型在個(gè)性化方面的潛力尚未被充分探索。

本文探討了個(gè)性化中的挑戰(zhàn)，并探索了使用大型語言模型的潛在解決方案。在現(xiàn)有的相關(guān)工作中，LaMP [4] 為訓(xùn)練和評估語言模型在信息檢索系統(tǒng)中生成個(gè)性化輸出引入了一個(gè)新的基準(zhǔn)。另一方面，其他相關(guān)的調(diào)查[5]、[6]、[7]主要關(guān)注傳統(tǒng)的個(gè)性化技術(shù)，如推薦系統(tǒng)。從學(xué)習(xí)機(jī)制的角度，LLM4Rec [5] 深入探討了用于推薦的區(qū)分性LLM和用于推薦的生成性LLM。關(guān)于LLM適應(yīng)推薦系統(tǒng)的"在哪里"和"如何"，Li等人[6]關(guān)注了工業(yè)推薦階段的整體流程。而Fan等人[7]則進(jìn)行了一項(xiàng)重點(diǎn)關(guān)注預(yù)訓(xùn)練、微調(diào)和提示方法的回顧。雖然這些工作討論了像Bert和GPT這樣的預(yù)訓(xùn)練語言模型以便于分析，但他們對大型語言模型的新興能力關(guān)注有限。本文旨在通過檢查大型語言模型在個(gè)性化背景下的獨(dú)特和強(qiáng)大的能力來填補(bǔ)這一空白，并進(jìn)一步用工具擴(kuò)展個(gè)性化的范圍。

本綜述的其余部分的組織結(jié)構(gòu)如下：我們在第2節(jié)回顧了個(gè)性化和大型語言模型，以概述其發(fā)展和挑戰(zhàn)。然后，我們在第3節(jié)仔細(xì)討論了大型語言模型在個(gè)性化中的潛在作用，包括簡單利用新興能力以及與其他工具的復(fù)雜集成。我們還討論了將大型語言模型適應(yīng)于個(gè)性化時(shí)可能遇到的挑戰(zhàn)。

大型語言模型用于個(gè)性化

在接下來的部分中，我們深入探討了大型語言模型在個(gè)性化方面的潛力，從簡單的使用情境，如利用詞匯知識作為特征，到與其他工具模塊更為復(fù)雜的集成，使其起到代理的作用。具體來說，我們關(guān)注于新興能力的進(jìn)展，從基礎(chǔ)的世界知識和理解用戶意圖開始，發(fā)展到高級的推理能力。我們探索了大型語言模型如何有助于構(gòu)建一個(gè)知識庫，豐富關(guān)于各種項(xiàng)目的常識知識。此外，我們還討論了大型語言模型的理解能力如何賦予內(nèi)容解釋者和解釋者對交互的深入分析能力。此外，我們還觀察了利用大型語言模型的推理能力為系統(tǒng)推理者提供推薦結(jié)果的嘗試。這些越來越復(fù)雜的能力使得大型語言模型與其他工具模塊的復(fù)雜利用成為可能，使它們更好地理解用戶意圖并滿足用戶指令。因此，我們還探討了大型語言模型與其他個(gè)性化工具的集成，包括工具學(xué)習(xí)、會話代理和個(gè)性化內(nèi)容創(chuàng)建者。本章的概述如圖1所示。我們的全面調(diào)查旨在提供對當(dāng)前格局的更深入的了解，并闡明將大型語言模型整合到個(gè)性化中所帶來的機(jī)會和挑戰(zhàn)。

大模型即知識庫

大型語言模型（Large Language Models，簡稱LLMs）檢索事實(shí)知識作為顯式知識庫的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了廣泛的討論，這為在推薦系統(tǒng)內(nèi)構(gòu)建更為全面的知識圖譜提供了機(jī)會。回溯到 [38] 的工作，大型語言模型在存儲事實(shí)信息，如實(shí)體和常識，以及將常識可靠地轉(zhuǎn)移給下游任務(wù)方面展示了其令人印象深刻的能力?，F(xiàn)有的知識圖譜方法難以處理不完整的KGs [47] 和利用文本語料構(gòu)建KGs [48]，許多研究者嘗試?yán)肔LMs的能力來解決這兩個(gè)任務(wù)，即知識圖譜的補(bǔ)全 [49] 和知識圖譜的構(gòu)建 [50]。對于知識圖譜的補(bǔ)全，這是指在給定的知識圖譜中缺失事實(shí)的任務(wù)，近期的努力已致力于為知識圖譜編碼文本或生成事實(shí)。MTL-KGC [51] 對文本序列進(jìn)行編碼以預(yù)測元組的可能性。MEMKGC [52] 預(yù)測了三元組的掩碼實(shí)體。StAR [53] 使用暹羅文本編碼器分別對實(shí)體進(jìn)行編碼。GenKGC [54] 使用僅解碼器的語言模型直接生成尾實(shí)體。TagReal [55] 從外部文本語料庫中生成高質(zhì)量的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并設(shè)計(jì)了定制提示以預(yù)測尾實(shí)體。至于另一個(gè)重要任務(wù)，即知識圖譜的構(gòu)建，這是指創(chuàng)建知識的結(jié)構(gòu)化表示，LLMs可以應(yīng)用于構(gòu)建知識圖譜的過程中，包括實(shí)體發(fā)現(xiàn) [56], [57], coreference resolution [58], [59] 和關(guān)系抽取 [60], [61]。LLMs還可以實(shí)現(xiàn)端到端的構(gòu)建 [62], [50], [42], [63], [55]，直接從原始文本構(gòu)建KGs。LLMs允許知識提取構(gòu)建知識圖譜。symbolic-kg [64] 從GPT3中提取常識事實(shí)，然后微調(diào)小型學(xué)生模型以生成知識圖譜。這些模型已經(jīng)展示了存儲大量知識的能力，為提高知識圖譜的范圍和深度提供了一個(gè)可行的選擇。此外，這些進(jìn)展促使人們研究從LLMs到知識圖譜的存儲知識的直接轉(zhuǎn)移，消除了對人類監(jiān)督的需求。這項(xiàng)有趣的研究揭示了利用尖端的大型語言模型自動完成知識圖譜的可能性。

LLMs 作為內(nèi)容解釋器

基于內(nèi)容的推薦器為緩解推薦系統(tǒng)中的稀疏反饋問題提供了有效的解決方案。通過利用物品的屬性和特性，這些系統(tǒng)對其屬性有了更深入的了解，促使與用戶偏好的準(zhǔn)確匹配。然而，在基于內(nèi)容的推薦中使用的內(nèi)容特性也可能表現(xiàn)出稀疏性。僅僅依賴推薦的監(jiān)督信號，如點(diǎn)擊和瀏覽，可能不能充分利用這些特性的潛在好處。為了克服這一挑戰(zhàn)，語言模型作為強(qiáng)大的基本算法出現(xiàn)，它們在處理文本特性時(shí)充當(dāng)內(nèi)容解釋器。他們的利用增強(qiáng)了推薦系統(tǒng)的有效性，有效地理解和解釋文本內(nèi)容，從而改進(jìn)了推薦。

結(jié)論

總的來說，大型語言模型的出現(xiàn)在人工智能領(lǐng)域代表了一個(gè)重大的突破。它們在理解、語言分析和常識推理方面的增強(qiáng)能力為個(gè)性化打開了新的可能性。在本文中，我們從幾個(gè)角度討論了大型語言模型適應(yīng)個(gè)性化系統(tǒng)的時(shí)機(jī)。我們已經(jīng)觀察到，從利用大型語言模型的低級能力來提高性能，到利用它們在與外部工具的復(fù)雜互動中進(jìn)行端到端任務(wù)的潛力，這種進(jìn)展都有所進(jìn)化。這種演變有望徹底改變個(gè)性化服務(wù)的提供方式。我們也承認(rèn)，將大型語言模型集成到個(gè)性化系統(tǒng)中帶來的開放性挑戰(zhàn)。