🏕️最新收集於 9m

小紅書開源自研 AI 基座模型

小紅書開源自研 AI 基座模型
PostLinkedIn
🏕️閱讀原文: 极客公园
#mixture-of-experts#multimodal-model#512k-context#model-infrastructuredots3-note-preview小红书dots3-note previewhugging facehuawei ascendgithub

💡大型內容平台開源 2,800 億參數 MoE 模型,並推出針對真實生活搜尋的評測基準。

⚡ 30-Second TL;DR

有什麼變化

dots3-note preview 擁有 2,800 億總參數、160 億啟用參數,並支援 512K 上下文視窗。

為什麼重要

此次發布顯示,內容平台正逐漸將模型掌控視為基礎設施,而非獨立的 AI 功能。針對平台場景打造的模型,可能改善成本控制、資料回饋閉環與生活決策查詢的語境理解,同時擴大開源模型生態。

下一步行動

從 Hugging Face 下載 dots3-note preview,在目標硬體上執行 512K 上下文多模態推理,並與目前的搜尋或 Agent 模型進行基準比較。

誰應關注:Developers & AI Engineers

關鍵要點

  • dots3-note preview 擁有 2,800 億總參數、160 億啟用參數,並支援 512K 上下文視窗。
  • 模型支援文字、視覺與語音理解,並以 Apache 2.0 授權發布於 Hugging Face 與 GitHub。
  • 小紅書同步發布 VibeSearchBench 與 VibeLifeBench,分別評估多輪搜尋與長期生活任務執行能力。
  • Hugging Face 早期下載量突破 100 次,Huawei Ascend 也在同日完成適配。
  • 模型在終端操作、複雜程式設計、幻覺控制與穩定性方面,仍落後於頂尖模型。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 20 個來源。

🔑 增強重點摘要

  • dots3-note preview 是小紅書自研 AI 基座模型「dots3」系列的首個開源版本,該系列未來還將推出「jazz」和「aria」等不同定位的版本,以涵蓋不同的能力、延遲和運算成本區間。
  • dots3 系列的內部版本 dots-note-3.0 曾在 2026 年國際數學奧林匹克 (IMO) 中獲得官方認證的滿分 42 分,成為史上首個奪得金牌級滿分成績的 AI 系統,超越了 Google DeepMind 去年取得的成績。
  • dots3-note preview 引入了 TEMPO,這是一種由小紅書 AI 實驗室 (dots studio) 開發的強化學習方法,專門用於訓練 Agent 執行需要數十小時才能完成的長程任務。
  • 該模型設計旨在探索陌生環境、隨時間更新記憶,並結合多模態感知與程式碼和工具使用,以完成長期運行的複雜任務,而非僅僅擅長回答單一問題。
  • 小紅書同步開放了其 API 開放平台,開發者甚至可以直接使用小紅書帳號掃碼登入使用 dots3-note preview,大幅降低了申請門檻,促進了開發者生態的建立。

🛠️ 技術深入

  • 模型架構: 採用混合專家 (MoE) 架構,總參數 2,800 億,啟用參數 160 億。
  • 上下文視窗: 支援高達 512K tokens 的超長上下文視窗。
  • 多模態能力: 能夠理解文字、圖像、影片和音訊等多種輸入形式,並產生文字輸出。
  • 優化任務: 針對廣泛任務進行優化,包括通用知識與指令遵循、數學與邏輯推理、工具使用與多步驟 Agent 工作流程、需要探索、記憶更新和適應的互動任務、程式碼生成與基於程式碼的問題解決、圖像/文件/圖表/音訊/影片理解以及長上下文資訊處理。
  • 系列定位: dots3-note preview 是 dots3 家族中最輕量的成員,旨在平衡能力、延遲和推理成本。
  • 訓練方法: 引入 TEMPO 強化學習方法,用於訓練 Agent 執行長程任務。
  • 部署要求: 需要能夠處理大規模 MoE 模型推理的硬體,建議使用 BF16/FP8 精度。
  • 模型名稱與版本: 模型架構為 Dots3NoteForCausalLM,Transformers 版本為 4.36.0。
  • 詞彙量: 詞彙量為 152064。
  • 所需 VRAM: 部署該模型約需要 172GB 的 VRAM。

🔮 前景展望AI analysis grounded in cited sources

小紅書將透過自研模型進一步強化其在生活服務和消費決策領域的 AI 應用。
dots3-note preview 專注於長程任務和真實生活服務場景,並發布了 VibeSearchBench 和 VibeLifeBench 評估工具,顯示其旨在將 AI 深度整合到其核心業務中。
小紅書的開源策略將吸引更多開發者參與其 AI 生態系統,加速模型在特定場景下的應用與優化。
開源模型能獲得社區的測試、反饋和生態支持,有助於模型能力的迭代和在不同應用中的落地,同時小紅書也開放了 API 平台降低使用門檻。
隨著小紅書等內容平台自研並開源基礎模型,未來將有更多擁有海量場景和數據的平台跟進,推動 AI 基礎設施的去中心化。
對於擁有數億用戶和高頻搜索、推薦場景的平台而言,長期完全依賴外部模型在成本和迭代速度上並非最佳選擇,自研模型能提供更可控的成本結構和技術驅動業務的能力。

時間線

2023-03
小紅書開始籌備獨立的大模型團隊,核心員工來自廣告業務的 NLP 技術團隊。
2023-04
小紅書悄然上線 AI 創作應用「Trik」,主打 AI 繪畫。
2024-08
小紅書推出獨立 AI 應用「點點」,定位生活場景類搜索。
2025-02
「點點」公開宣布接入 DeepSeek 大模型。
2025-06
小紅書 Hi Lab 團隊開源首個自研大模型 dots.llm1 (文本大模型)。
2026-04-30
小紅書發布全體內部信,宣布成立 AI 一級部門 Dots 和企業智能部,將 AI 提升為公司最高戰略層級。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: 极客公园

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。