作者：ruobing
(資料圖)
隨著 ChatGPT 的橫空出世與 GPT-4 的重磅登場，生成式 AI（Generative AI）引起了前所未有的關(guān)注，基于 GPT（Generative Pre-Trained Transformer）的模型在各類 NLP 和 CV 任務(wù)上取得了驚人的效果。生成式 AI 模型可以根據(jù)訓(xùn)練過的數(shù)據(jù)創(chuàng)建新的內(nèi)容、模式或解決方案，一些典型應(yīng)用包括 ChatGPT、Stable Diffusion 和 DALL·E 等（封面圖片來自 DALL·E）。
然而，在推薦系統(tǒng)（RS）領(lǐng)域研究中，受限于推薦系統(tǒng) User/Item ID 的范式，以及大多情況下為非通用、非常識知識，因而直接將基于 GPT 的模型作為推薦模型具有一定的局限性。例如，在電影、圖書和音樂等領(lǐng)域推薦場景直接將 ChatGPT 作為推薦模型可以取得較好的效果，然而，在其他一些領(lǐng)域推薦場景直接利用 ChatGPT 效果有限。隨著各類生成式模型層出不窮，部分研究人員開始考慮如何在 RS 中有效引入生成式 AI。本文主要關(guān)注 RS 和生成式 AI 可能存在的結(jié)合點，調(diào)研了 RecSys"23 等會議錄用的若干相關(guān)工作，以及最新已公開的若干方法。
本文由中國人民大學(xué)高瓴人工智能學(xué)院孫文奇撰寫，謝若冰編輯，部分內(nèi)容為合作論文成果。
1、Generative Next-Basket Recommendation
這篇論文來自人大和騰訊微信，已被 RecSys"23 錄用，其主要關(guān)注于自回歸生成范式解決購物籃推薦問題。
該論文提出一種自回歸生成下一個購物籃商品的推薦模型，即 GeRec?，F(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的購物籃推薦工作大多數(shù)主要關(guān)注用戶偏好和預(yù)測商品之間的相關(guān)性，忽略了下一個購物籃中商品之間可能存在的關(guān)系，通常會導(dǎo)致預(yù)測商品的同質(zhì)化。GeRec 考慮了商品級別和購物籃級別的多粒度用戶偏好，同時考慮了下一個購物籃中商品之間的聯(lián)系，以自回歸方式生成下一個購物籃中商品。實驗結(jié)果表明，在真實世界購物場景中，GeRec 在兼顧性能的情況下，同時提升了下一個購物籃中商品的相關(guān)性和多樣性。
2、Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
https://arxiv.org/abs/2305.07001
這篇論文來自人大和騰訊微信，其主要關(guān)注于指令微調(diào)的大語言模型（LLM）在推薦系統(tǒng)的應(yīng)用。
該論文期望發(fā)展一種新的推薦范式，即用戶可以靈活的使用自然語言指令來表達自身的需求，而系統(tǒng)通過分析這些指令來實現(xiàn)個性化的推薦，即 InstructRec。為此，本文首先形式化了推薦指令的三個關(guān)鍵因素：偏好，意圖和任務(wù)形式。并基于這些因素的組合實例化了不同的交互場景。本文通過 self-instruct 的方式，利用一個指令微調(diào)過的模型（teacher-LLM）來基于用戶的歷史行為，評論等數(shù)據(jù)，生成大量能反映用戶意圖和偏好的指令數(shù)據(jù)。利用這些指令數(shù)據(jù)，微調(diào)了 Flan-T5。實驗結(jié)果表明，InstructRec 可以一定程度上理解用戶需求，在不同的交互場景中取得了較好的效果。
3、Large Language Models are Zero-Shot Rankers for Recommender Systems
https://arxiv.org/abs/2305.08845
這篇論文來自人大、騰訊微信和加州大學(xué)圣迭戈分校，其主要關(guān)注于 LLM 作為推薦模型的零樣本排序問題。
該論文評測了 LLM 在推薦系統(tǒng)中的零樣本排序能力。具體而言，該論文將推薦問題形式化為給定條件的排序任務(wù)，其中用戶的歷史交互作為條件，召回得到的商品作為候選。通過設(shè)計合適的 prompt 模版，結(jié)合條件、候選、排序指令，使得 LLM 可以執(zhí)行推薦中的排序任務(wù)。實驗結(jié)果表明，LLM 可以基于用戶的歷史交互實現(xiàn)個性化的排序，但是 LLM 很難感知到用戶歷史交互的序列關(guān)系；LLM 在排序時有 position bias 和 popularity bias，但可以被適當?shù)奶崾净?bootstrapping 等策略所緩解。
4、Can ChatGPT Make Fair Recommendation? A Fairness Evaluation Benchmark for Recommendation with Large Language Model
這篇論文來自中科大和新加坡國立大學(xué)，已被 RecSys"23 錄用，其主要關(guān)注于 LLM 作為推薦模型的公平性問題。
該論文提出了一個新的 LLM 作為推薦模型的公平性測評基準，即 FaiRLLM。這個基準包括精心設(shè)計的指標和一個數(shù)據(jù)集，其中包括兩個推薦場景（音樂和電影）中的八個敏感屬性。FaiRLLM 通過比較大語言模型在\"neutral instructions\" （沒有包含用戶的敏感屬性）和\"sensitive isntructions\" （包含敏感屬性）下的推薦結(jié)果，來評估將 ChatGPT 作為推薦模型的公平性。實驗結(jié)果表明，ChatGPT 在生成推薦時對一些敏感屬性仍然表現(xiàn)出不公平的現(xiàn)象。
5、Generative Recommendation: Towards Next-generation Recommender Paradigm
https://arxiv.org/abs/2304.03516
這篇論文來自新加坡國立大學(xué)和中科大，其主要關(guān)注于生成式推薦新范式。
該論文認為，傳統(tǒng)的推薦模型往往從商品集合中檢索合適的商品來實現(xiàn)個性化推薦。然而，這樣的范式可能存在一些問題：（1）已有的人類生成的物品集合并不一定能符合用戶多樣化的需求；（2）用戶往往通過被動的，低效的反饋（如點擊），來調(diào)節(jié)推薦。
基于 AIGC 的蓬勃發(fā)展，作者構(gòu)想的下一代的推薦范式應(yīng)該具有以下兩個目標：（1）通過生成式 AI 來生成個性化的內(nèi)容；（2）融入用戶指令來指導(dǎo)內(nèi)容的生成。為了實現(xiàn)上述目標，該論文提出了一個新的生成式推薦范式，即 GeneRec。具體而言，首先預(yù)處理用戶的指令和傳統(tǒng)的反饋作為生成的依賴。然后，基于 AI editor 和 AI creator 來實例化 AI generator，使得 GeneRec 可以基于用戶的需求重新定制已有的商品和創(chuàng)建新的商品。
6、Large Language Model Augmented Narrative Driven Recommendations
這篇論文來自馬薩諸塞大學(xué)，已被 RecSys"23 錄用，其主要關(guān)注于 LLM 增強的敘事驅(qū)動的推薦（Narrative-driven Recommendation）。
該論文提出了一種基于 LLM 的敘事驅(qū)動推薦方法，即 MINT。敘事驅(qū)動的推薦是指，用戶通過描述他們的偏好和背景，例如，旅行者在描述他們的喜好和旅行環(huán)境時，征求興趣點的推薦。MINT 利用 GPT-3 模型根據(jù)用戶輸入生成敘事 query，然后使用 FLAN-T5 模型根據(jù)敘事 query 生成 M 個分數(shù)最高的候選商品，之后根據(jù)其與用戶敘事 query 的相關(guān)性對其進行排序。實驗結(jié)果表明，使用 LLM 從用戶-商品交互中創(chuàng)作生成敘事 query，并在 query 和用戶-商品交互數(shù)據(jù)上訓(xùn)練檢索模型，是一種訓(xùn)練小參數(shù)量的檢索模型的有效策略。
7、FANS: Fast Non-Autoregressive Sequence Generation for Item List Continuation
這篇論文來自香港理工大學(xué)和華為諾亞方舟實驗室，發(fā)表于 WWW"23，其主要關(guān)注于非自回歸方式序列生成在推薦系統(tǒng)中的應(yīng)用。
該論文提出一種快速的非自回歸序列生成模型，即 FANS，以提高連續(xù)生成商品列表的效率和質(zhì)量?；?Transformer 的模型在理解上下文信息和捕獲列表中的商品關(guān)系方面顯示出了前景，然而，在實時工業(yè)應(yīng)用中部署它們是具有挑戰(zhàn)的，因為使用自回歸生成方式會比較耗時。為此，F(xiàn)ANS 使用非自回歸方式來生成 Next-K 個商品，代替逐個生成方式。然后，F(xiàn)ANS 設(shè)計了一個兩階段分類器來減少解碼時間，代替 Transformer 模型中原始的分類器。實驗結(jié)果表明，F(xiàn)ANS 在兼顧性能的情況下可以顯著提高推理效率，在工業(yè)環(huán)境中也進行了 FANS 效率的驗證。
8、Generative Sequential Recommendation with GPTRec
這篇論文來自格拉斯哥大學(xué)，已被 Gen-IR@SIGIR"23 錄用，其主要關(guān)注基于 GPT-2 架構(gòu)解決序列推薦問題。
該論文提出了基于 GPT-2 架構(gòu)的序列推薦模型，即 GPTRec。GPTRec 使用基于 SVD 分解的 SVD Tokenisation 算法將 item ID 分解為 item 子 ID 來解決 item embedding 表過大問題。同時，提出了一種 Next-K 推薦策略，來解決 Top-K 推薦策略不靈活問題。實驗結(jié)果表明，使用商品子 ID 的 GPTRec 可以在減少 embedding 表 40%的情況下，與 SASRec 模型的性能相當。此外，使用 Next-K 推薦策略的 GPTRec 生成的推薦結(jié)果在 NDCG@10 指標上與 SASRec 相當，為未來研究提供了強有力的起點。
9、GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation
https://arxiv.org/abs/2304.03879
這篇論文來自密歇根大學(xué)和亞馬遜，其主要關(guān)注于 GPT-2 架構(gòu)與檢索相結(jié)合的方式用于推薦系統(tǒng)。
該論文認為，現(xiàn)有的推薦模型存在以下限制：（1）未能利用商品的內(nèi)容信息和 NLP 模型的語言建模能力；（2）無法解釋用戶興趣來提升推薦的相關(guān)性和多樣性；（3）無法適配更實際的應(yīng)用場景，例如不斷增加新的商品。為此，該論文提出 GPT4Rec，利用靈活的生成式框架來處理推薦任務(wù)。具體而言，基于用戶歷史交互的物品，和它們對應(yīng)的標題 ，GPT4Rec 首先利用 GPT-2 來生成搜索 query，然后將 query 送入搜索引擎（BM25），來基于這個 query 檢索相關(guān)商品。實驗結(jié)果表明，GPT4Rec 可以生成多樣化的召回商品以及覆蓋用戶的多樣化的興趣。
10、Recommender Systems with Generative Retrieval
https://arxiv.org/abs/2305.05065
這篇論文來自威斯康星大學(xué)麥迪遜分校和谷歌，其主要關(guān)注將生成式檢索用于推薦系統(tǒng)。
該論文提出一種量化和生成檢索相結(jié)合的單階段范式用于推薦系統(tǒng)，即 TIGER?，F(xiàn)有的推薦系統(tǒng)在使用大規(guī)模檢索模型時通常采用兩階段的方式：訓(xùn)練雙編碼器模型將查詢和候選商品嵌入同一空間，然后搜索近似最近鄰商品，在給定查詢嵌入的情況下選擇最佳候選商品。TIGER 在單階段中對目標候選商品的 ID 進行自回歸解碼，為此，TIGER 采用了語義 ID 而不是隨機生成的 ID，語義 ID 是由量化方法生成碼字元組。在有了所有商品的語義 ID 后，就可以訓(xùn)練基于 Transformer 的序列到序列模型來預(yù)測下一個商品的語義 ID 了。由于該模型以自回歸的方式直接預(yù)測下一個商品的語義 ID（由碼字元組組成），因此可以將其視為生成檢索模型。實驗結(jié)果表明，這種單階段范式取得了較好的性能效果，同時相比現(xiàn)有方法有更好的泛化能力，從而改進了冷啟動商品的推薦。
