Generative Recommenders Transform Large-Scale Personalization

•生成式推薦系統的興起是為了克服傳統基於檢索的推薦系統在靜態物品庫和被動用戶回饋方面的限制，這些限制導致難以滿足用戶多樣化的資訊需求和被動的調整方式。
•生成式推薦系統不僅能檢索現有物品，還能編輯甚至生成全新的、個性化的內容或商品組合，從而突破了傳統推薦系統「既有庫存」的限制。
•此範式轉變的核心是從「預測相似性」轉向「推理用戶需求」，利用大型語言模型（LLM）的強大推理和創造能力，使推薦系統能夠理解用戶深層意圖。
•生成式推薦系統能夠將傳統推薦流程中分離的召回（retrieval）和排序（ranking）階段統一到一個單一模型中，實現端到端推薦，從而簡化複雜的多階段級聯架構並減少誤差傳播。
•儘管潛力巨大，生成式推薦系統面臨的主要挑戰包括高昂的訓練和推理計算成本（特別是處理長用戶行為序列時），以及確保生成內容的可信度、真實性和合法性。

模型架構: 採用Transformer編碼器-解碼器架構，如T5模型，以及Meta提出的HSTU（Hierarchical Sequential Transduction Units）等高效注意力機制，或直接使用Decoder-only LLM進行ID-as-Token生成。
物品表示: 透過語義ID（Semantic ID）生成，利用RQ-VAE（Residual-Quantized Variational AutoEncoder）將物品的內容嵌入編碼為離散的token元組，使得語義相近的物品共享前綴token。
訓練策略: 包含多階段訓練、強化學習，以及針對大規模場景的混合並行分散式訓練（例如TorchRec處理稀疏部分，NVIDIA Megatron Core處理密集部分），並結合Kernel Fusion、彈性遮罩（masking）和RAB（Relative Attention Bias）機制等優化技術。
推理優化: 解決自回歸解碼帶來的延遲瓶頸，探索推測式解碼（如阿里NEZHA）、遮罩擴散解碼（Masked Diffusion GR）等非自回歸方法，並透過序列表徵壓縮、CPU/GPU異構計算並行、高效Beam Search和有效性過濾早停機制來提升吞吐量和降低延遲。
新範式: 主要分為三類：ID-as-Token（將物品ID映射為LLM詞表中的Token，直接預測下一個Token），生成式檢索與重排序（利用LLM生成候選集或排序理由），以及LLM as RS（直接將LLM作為推薦系統核心，生成推薦列表）。
內容可信度: 強調對生成內容進行真實性和合法性等方面的保真度檢查（fidelity checks）。

生成式推薦系統將加速推薦系統從「預測相似性」轉變為「推理用戶需求」的範式。

大型語言模型（LLM）強大的語義理解、推理能力和世界知識注入，使得推薦系統能夠理解用戶深層意圖並進行創造性推薦，而非僅基於歷史相似性。

未來推薦系統將更廣泛地採用多模態對齊，將用戶行為與文本、圖像、視頻等模態在統一的基礎模型中整合。

真正的多模態對齊能讓推薦模型在文本空間進行思考與推理，達到全新的智能高度，並有效解決新用戶、新商品的冷啟動問題。

為了平衡性能與成本，生成式推薦系統將朝向輕量化模型和高效推理優化方向發展，而非僅依賴超大規模LLM。

儘管大型LLM潛力巨大，但其高昂的訓練和推理成本以及延遲問題，促使業界尋求更具性價比的生成式推薦方法，例如模型架構革新和推理流程優化。

2006

Netflix Prize競賽推動矩陣分解等傳統推薦技術發展，標誌著推薦系統發展的一個分水嶺。

2022-2023

大型語言模型（LLM）的崛起，如ChatGPT，憑藉其強大的語言理解和生成能力，啟發推薦系統領域開始探索生成式範式。

2023-04

GeneRec論文提出新型生成式推薦範式，結合內容生成與指令引導，旨在克服傳統檢索式推薦的限制。

2023-05

Google TIGER首次將自回歸生成引入召回階段，透過語義ID壓縮物品空間，為生成式推薦提供了「無中生有」的技術範式。

2024-02

Meta提出HSTU（Hierarchical Sequential Transduction Unit）架構，首次在核心產品線替換近十年工業界使用的深度推薦模型，並在性能和推理速度上超越傳統Transformer模型。

2025-06

NVIDIA發布recsys-examples，提供生成式推薦系統大規模訓練與推理的高效實踐參考，並與美團合作應用HSTU架構，實現業務指標顯著提升。

生成式推薦系統改變大規模個人化