High-Performance 1B HRM Model Trained for Only $1,500

•該模型由Sapient Intelligence開發，名為HRM-Text-1B，其核心在於一種分層遞歸模型（HRM）架構，該架構採用雙時間尺度遞歸設計，將計算解耦為緩慢演進的策略層和快速執行的執行層，有效提升了計算效率。
•HRM-Text-1B並非基於傳統的網路文本進行預訓練，而是從零開始，僅使用400億個精心策劃的指令-回答對進行訓練，這與其低成本和高效率的實現密切相關。
•儘管參數規模僅為1B，HRM-Text-1B在多個推理密集型基準測試中表現出色，例如GSM8K達到84.5%、ARC-Challenge達到81.9%和MATH達到56.2%，其性能在某些任務上甚至超越了參數規模大數倍（2B至7B）的開放模型。
•該模型的訓練過程極為高效，僅需16塊H100 GPU，總耗時不到兩天，訓練成本約為1500美元，這相較於傳統基礎模型數百萬美元的訓練成本，展現了驚人的成本效益。
•HRM-Text-1B的成功挑戰了業界長期以來「更大更強」的模型發展範式，證明了透過架構創新和訓練目標的優化，可以在有限的算力和數據下實現高性能，為基礎模型研究開闢了新的路徑。

📊 競品分析▸ Show

特徵/模型	HRM-Text-1B (Sapient Intelligence)	Llama 3.2 3B (Meta)	Qwen 3.5 2B (阿里巴巴雲)
參數規模	1B	3B	2B
訓練成本	約1500美元	數百萬美元 (估計)	數百萬美元 (估計)
訓練Token數	400億 (指令-回答對)	9580億	36兆 (估計)
GSM8K基準	84.5%	低於HRM-Text-1B	低於HRM-Text-1B
ARC-Challenge基準	81.9%	(未明確提供)	(未明確提供)
MMLU基準	60.7%	高於HRM-Text-1B	高於HRM-Text-1B

模型架構：採用分層遞歸模型（HRM）架構，包含高層（慢速）和低層（快速）兩個Transformer模組，以雙時間尺度遞歸方式在相同輸入嵌入上迭代。
訓練目標：使用PrefixLM目標，專門針對指令-回答對進行訓練，且僅對回答部分計算損失，而非傳統的「下一個token預測」。
訓練數據：使用400億個結構化的指令-回答對進行訓練，而非大規模的原始網路文本。
效率機制：遞歸深度允許模型在不增加推理時參數的情況下進行「多輪思考」，每次前向傳播可實現約8個有效步驟。引入MagicNorm歸一化和漸進式「責任分配」機制，以確保深度遞歸訓練的穩定性，避免梯度不穩定問題。
限制：目前僅支援英文（訓練語料庫主要為英文），在程式碼任務上表現較弱（未在程式碼數據集上訓練），且在MMLU等廣泛知識測試上的表現（60.7%）相對其推理能力而言較低。

降低基礎模型研究的進入門檻。

HRM-Text-1B證明了以極低的成本（1500美元）即可訓練出具有競爭力的基礎模型，使得資源有限的機構也能進行基礎模型預訓練。

促使AI模型開發從「規模擴張」轉向「計算效率」與「架構創新」。

HRM-Text-1B的成功表明，通過優化模型架構和訓練目標，可以在不依賴海量參數和數據的情況下實現高性能，挑戰了行業長期以來「更大更強」的範式。

推動任務導向型AI模型的發展，並可能促進推理核心與知識存儲的分離。

該模型在推理任務上表現出色，但在廣泛知識方面相對較弱，這暗示了未來模型可能將推理能力與外部知識庫或可學習記憶模塊結合，以實現更高效的專用智能。

2025

Sapient Intelligence首次引入分層遞歸模型 (HRM) 架構。

2026-05-18

Sapient Intelligence發布HRM-Text-1B模型，同步開放論文、模型權重和預訓練代碼。

2026-06-07

HRM-Text-1B模型因其高效能和低訓練成本在社群中引起廣泛關注，並獲得業界領袖的評價。

僅需1500美元訓練：高效能1B規模HRM模型引發關注