LinkedIn 用單一 LLM 統一五個饋送系統

Post LinkedIn

💼閱讀原文： VentureBeat

#recommendation #scaling #productionlinkedin-feedlinkedin llm

💡LinkedIn LLM 統一 13 億規模饋送，降低成本—生產教訓（42字）

⚡ 30-Second TL;DR

有什麼變化

將五個異質檢索系統取代為統一 LLM 架構

為什麼重要

證明 LLM 可在巨量規模統一複雜生產系統，為社群/專業平台的推薦引擎提供藍圖。顯示大科技公司推動 LLM 協調基礎設施以提升效率。

下一步行動

閱讀 LinkedIn 部落格關於大規模推薦系統的 LLM 提示填充。

誰應關注：Enterprise & Security Teams

關鍵要點

•將五個異質檢索系統取代為統一 LLM 架構
•擴展至 13 億用戶，提供更豐富內容理解與個人化
•使用大型序列模型進行端到端檢索與排序
•大幅降低基礎設施維護成本
•以個人資料與近期活動填充提示，提供脈絡

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 2 個來源。

🔑 增強重點摘要

•LinkedIn 的新系統採用 H100 GPU 集群進行訓練，使用 8 個 H100 GPU 進行模型優化，並透過自訂 Flash Attention 變體實現 2 倍額外加速[1]
•系統透過三個連續近線管道（提示生成、嵌入推論、索引更新）實現近即時嵌入更新，新貼文在發佈後立即獲得嵌入向量[1]
•硬負採樣技術在檢索階段實現 3.6% 召回率提升，透過 GPU 加速的 k-最近鄰搜尋在包含數百萬貼文的索引中達成低於 50 毫秒的檢索延遲[1]

🛠️ 技術深入

• 統一檢索架構：使用 LLM 生成的嵌入將貼文和成員資料表示為共享嵌入空間中的向量，語義接近度作為相關性信號優於關鍵字匹配、協同過濾或地理趨勢[1] • 雙編碼器設計：統一 LLM 型雙編碼器用於檢索，生成式推薦（GR）模型用於排序[1] • 特徵工程：採用百分位分組數值特徵進行特徵表示[1] • GPU 基礎設施：8 個 H100 GPU 用於模型訓練，GPU 加速索引支援 k-NN 搜尋[1] • 最佳化技術：自訂 Flash Attention 變體提供 2 倍額外速度提升，三個獨立最佳化的近線管道處理嵌入更新[1]