Liquid AI releases LFM2.5-8B-A1B edge model

🔑 增強重點摘要

•LFM2.5-8B-A1B 採用稀疏混合專家 (MoE) 設計，總參數為 8.3B，但每個 token 僅激活 1.5B 參數，這使其能在消費級硬體上高效運行，同時提供與更大規模模型競爭的壓縮性能。
•該模型是一個「僅限推理」的模型，會在給出最終答案前產生明確的思維鏈，並透過大規模強化學習和 avg@k 獎勵系統顯著降低幻覺率，在指令遵循和代理任務方面與更大的 MoE 模型（如 Gemma 4-26B）競爭。
•LFM2.5-8B-A1B 在其尺寸類別中提供無與倫比的吞吐量，在 M5 Max 筆記型電腦上達到每秒 253 個 token，在 AMD Ryzen AI Max+ 395 上達到每秒 146 個 token，且記憶體使用量低於 6 GB；在單個 NVIDIA H100 GPU 上，其輸出吞吐量可達每秒 18.5K 個 token。
•模型支援 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等主要推理框架的即日部署，並涵蓋英語、阿拉伯語、中文、法語、德語、日語、韓語、葡萄牙語、西班牙語等九種語言。
•Liquid AI 的核心技術源於麻省理工學院 CSAIL 的「液體神經網路」(LNNs)，該技術以其在訓練後持續適應新輸入的能力、在嘈雜環境中的穩健性以及更高的可解釋性而聞名，並應用於時間序列預測、自主系統和自然語言處理等領域。

📊 競品分析▸ Show

特性/指標	Liquid AI LFM2.5-8B-A1B	Microsoft Phi-3 Mini
總參數/活躍參數	8.3B / 1.5B (MoE)	3.8B
上下文視窗	128K (或 131,072) tokens	4K / 128K tokens 變體
預訓練 Token 數	38T tokens	3.3T tokens
模型架構	稀疏 MoE，結合 MoE、GQA 和門控短卷積塊	專注於高品質數據訓練的 Transformer
推理速度 (筆電 CPU)	M5 Max: 253 tokens/s；Ryzen AI Max+ 395: 146 tokens/s (低於 6GB 記憶體)	在 4GB VRAM 下運行
幻覺率	顯著降低 (AA-Omniscience 非幻覺率從 7.46 提升至 63.47)	未直接提供可比數據，但強調其在 MMLU 上表現優異
指令遵循	IFEval 達到 91.84，與 Gemma 4-26B 競爭	MMLU 約 68%，優於其兩到三倍大小的模型
支援框架	llama.cpp, MLX, vLLM, SGLang, ONNX	NVIDIA TensorRT-LLM, Windows DirectML with ONNX Runtime, Hugging Face, Ollama, NVIDIA NIM
授權	開放權重 (LFM1.0 授權)	開放授權 (研究和商業用途)
主要應用	設備上個人助理、工具調用、複雜指令遵循、代理工作流程	邊緣部署、記憶體受限設備、離線場景、低成本推理

🛠️ 技術深入

模型架構: LFM2.5-8B-A1B 採用稀疏混合專家 (MoE) 設計，總參數為 8.3B，但每個前向傳播僅激活 1.5B 參數。其架構包含 24 層，其中 18 層為雙門控 LIV 卷積塊，6 層為分組查詢注意力 (GQA) 層，結合了 MoE、GQA 和門控短卷積塊。
上下文視窗: 模型支援 128,000 (或 131,072) 個 token 的上下文長度，使其能夠處理更長的文檔和進行更長時間的推理。
預訓練規模: 預訓練數據規模從 LFM2-8B-A1B 的 12T token 擴展至 38T token，並結合了大規模強化學習。
詞彙表擴展: 詞彙表大小從 65,536 翻倍至 128,000，透過原地擴展現有分詞器而非從頭訓練，以提高非拉丁語系（如印地語、泰語、越南語、印尼語和阿拉伯語）的 tokenization 效率。
推理模式: 作為一個「僅限推理」的模型，它在提供最終答案之前會產生明確的思維鏈，這在計算受限的 MoE 模型中，能使每個推理 token 的計算成本較低。
硬體與框架支援: 模型支援多種推理框架，包括 llama.cpp (GGUF 格式)、MLX (針對 Apple Silicon 優化)、vLLM、SGLang 和 ONNX，可在 CPU (如 M5 Max、Ryzen AI Max+ 395、手機) 和 GPU (如 NVIDIA H100) 上高效運行。
記憶體佔用: 在筆記型電腦級晶片上運行時，記憶體佔用保持在 6 GB 以下，甚至在手機上也能運行。
量化支援: 提供多種量化選項以減少模型大小並加速推理，例如 GGUF 格式支援 Q4_0、Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16 和 F16；MLX 支援 3bit、4bit、5bit、6bit、8bit 和 BF16；ONNX 支援 FP32、FP16、Q4 和 Q8。
核心技術基礎: Liquid Foundation Models (LFM) 系列基於 Liquid AI 專有的「液體神經網路」(LNNs) 架構，該架構源於動態系統和信號處理，旨在實現高效、可解釋和持續適應的 AI 系統。

🔮 前景展望AI analysis grounded in cited sources

邊緣設備上的個人化 AI 助理將變得更為普及和強大。

LFM2.5-8B-A1B 的高效能、低延遲和隱私保護特性，使其非常適合在筆記型電腦和手機等消費級硬體上運行複雜的代理任務和工具調用，從而實現更個人化和即時的用戶體驗。

企業將能更廣泛地部署離線和隱私敏感的 AI 解決方案。

該模型在邊緣設備上的強大推理能力，減少了對雲端連接的依賴，並確保數據保留在設備上，這對於需要高隱私、低延遲以及在無網路環境下運行的行業至關重要。

Liquid AI 將在邊緣 AI 領域與大型科技公司展開更激烈的競爭。

LFM2.5-8B-A1B 在性能上與更大規模的模型競爭，並提供開放權重和多框架支援，這可能吸引更多開發者和企業採用，挑戰現有市場格局，尤其是在對效率和本地部署有高要求的應用場景中。

⏳ 時間線

2020-05

共同創辦人 Ramin Hasani 獲得博士學位，其關於液體神經網路的研究獲得國際認可。

2023-03

Liquid AI 作為麻省理工學院 (MIT) 電腦科學與人工智慧實驗室 (CSAIL) 的衍生公司成立。

2023-12

Liquid AI 宣布脫離隱身模式，並獲得 37.6M 美元的種子輪融資，旨在構建基於液體基礎模型 (LFM) 的通用 AI 系統。

2024-12

Liquid AI 獲得 2.5 億美元的 A 輪融資。

2025-10

Liquid AI 發布 LFM2-8B-A1B，這是其首個用於設備上的混合專家 (MoE) 模型，具有 8.3B 總參數和 1.5B 活躍參數。

2026-05

Liquid AI 發布 LFM2.5-8B-A1B，作為 LFM2-8B-A1B 的升級版，具有擴展的 128K 上下文視窗和 38T token 預訓練。

Liquid AI 發布 LFM2.5-8B-A1B 邊緣運算模型

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (27)

👉相關動態