💼VentureBeat•較早收集於 9m
研究人員以 1,500 美元從零訓練出基礎模型
💡僅需 1,500 美元的基礎模型，可能顛覆企業 AI 領域「越大越好」的擴展趨勢。
⚡ 30-Second TL;DR
有什麼變化
以分層遞迴模型 (HRM) 取代標準 Transformer，顯著提升樣本效率。
為什麼重要
這項研究挑戰了「暴力擴展」的教條，可能使預算有限的企業也能開發基礎模型。它將重點從海量數據記憶轉向高效、以任務為導向的推理架構。
下一步行動
評估您的企業應用場景是否能改用指令微調的遞迴架構，而非標準的 Transformer 大型語言模型，以降低訓練成本。
誰應關注：Researchers & Academics
關鍵要點
- •以分層遞迴模型 (HRM) 取代標準 Transformer，顯著提升樣本效率。
- •將計算解耦為慢速演進的策略層與快速演進的執行層。
- •僅使用指令-回應對進行訓練，無需大規模抓取網際網路原始文本。
- •以約 1,500 美元的總訓練成本，實現了與大型開源模型相當的效能。
🧠 深度解析
Web-grounded analysis with 17 cited sources.
🔑 增強重點摘要
- •Sapient HRM-Text 是一個 10 億參數的模型，相較於許多大型語言模型顯著更小，卻能實現具競爭力的推理效能。
- •該模型約使用 400 億有效 token 進行訓練，比當代大型語言模型預訓練通常使用的 4 兆至 36 兆 token 少了高達 1000 倍。
- •HRM-Text 的架構支援「潛在空間推理」，模型在產生答案之前，於單次前向傳播中執行內部遞迴步驟和更深層的計算，從而減少對冗長可見推理鏈或大量輸出 token 的依賴。
- •Sapient Intelligence 已將 HRM-Text 模型及其論文、模型權重和預訓練程式碼完全開源，以促進更廣泛的 AI 研究與開發。
- •開發公司 Sapient Intelligence 是一家通用人工智慧 (AGI) 研究公司，其團隊成員來自 DeepMind、DeepSeek、xAI 等頂尖 AI 實驗室，以及清華大學腦與智慧實驗室、麻省理工學院、劍橋大學等機構的神經科學專家。
📊 競品分析▸ Show
| 特徵/模型 | Sapient HRM-Text (從零訓練) | 傳統大型語言模型 (從零預訓練) |
|---|---|---|
| 架構 | 分層遞迴模型 (HRM) | Transformer |
| 訓練成本 | 約 1,000 - 1,500 美元 | 數百萬至數億美元 (例如 GPT-4 估計 78-100M+ 美元) |
| 訓練資料量 | 約 400 億有效 token | 數兆至數十兆 token (例如 4T 至 36T) |
| 訓練時間 | 約 1 天 (使用 16 顆 GPU) | 數週至數月 |
| 參數數量 | 10 億 | 通常數十億至數千億 |
| 訓練目標 | 任務完成 (僅對答案部分計算損失) | 下一個 token 預測 (通常在大量原始文本上) |
| 部署足跡 | int4 量化後約 0.6 GiB (適用於邊緣設備) | 通常較大，需要更多基礎設施 |
🛠️ 技術深入
- HRM-Text 是一個 10 億參數的分層推理語言模型。
- 其核心架構為分層遞迴模型 (HRM)，包含兩個主要模組：高層 (H) 模組和低層 (L) 模組。
- H 模組負責慢速、抽象的規劃和維持穩定的語義上下文，而 L 模組負責快速、詳細的計算和局部迭代精煉。
- 在單次前向傳播中，模型會執行 2 次 H 模組更新和 6 次 L 模組更新，總共 8 個內部遞迴步驟，形成多時間尺度推理過程。
- 這種架構在連續潛在空間中進行推理，允許模型在產生任何輸出之前完成內部遞迴步驟，從而增加每個 token 的計算深度而不增加模型大小。
- 訓練時採用 PrefixLM mask，提示 token 雙向關注彼此，回應 token 因果關注。
- 模型使用 65,536 的詞彙量，最大序列長度為 4096，並採用 RoPE 位置編碼 (theta 10000) 和 SwiGLU 激活函數。
- 優化目標簡化，僅對 L 模組和 H 模組的最終狀態執行 BPTT，以避免梯度消失問題並減少記憶體需求。
- HRM-Text 的訓練目標是「任務完成」，僅對答案部分計算損失，將訓練訊號更有效地集中在任務理解和答案生成上。
- 在 int4 量化下，模型佔用約 0.6 GiB 記憶體，適合在智慧型手機和邊緣設備上進行本地部署。
🔮 前景展望AI analysis grounded in cited sources
降低基礎模型訓練成本將加速企業級 AI 的普及。
傳統大型語言模型訓練成本高昂，而 HRM-Text 以極低的成本從零訓練出具推理能力的模型，使更多資源有限的組織能夠開發客製化 AI 解決方案，無需依賴雲端服務，提升數據隱私和即時決策能力。
腦啟發式架構將成為未來高效 AI 模型設計的重要方向。
HRM-Text 借鑒人腦分層處理資訊的機制，實現了在更少資料和計算資源下進行深度推理，這表明生物啟發的設計原則能有效解決現有 AI 模型在複雜推理任務上的局限性。
針對特定任務的訓練目標將取代通用型預訓練，成為開發高效能 AI 的主流。
HRM-Text 透過僅使用指令-回應對進行任務完成訓練，而非大規模網路文本的下一個 token 預測，證明了集中訓練訊號於任務理解和答案生成，能以更少資源達到與通用模型相當的推理能力。
⏳ 時間線
2024-12
Sapient 獲得 2200 萬美元種子輪融資。
2025-06
Sapient Intelligence 團隊提出分層推理模型 (HRM) 架構。
2025-07
Sapient Intelligence 開源第一代模型 HRM-Symbolic，主要針對符號推理任務。
2026-05
Sapient Intelligence 正式發布 HRM-Text 模型，並將其開源。
📎 來源 (17)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： VentureBeat ↗