Lemonade v10.7 Adds Multi-Backend Omni-Modal Support

🔑 增強重點摘要

•LMX-Omni 虛擬模型透過 Lemonade 的 OmniRouter 統一了大型語言模型 (LLM)、圖像模型、自動語音辨識 (ASR) 模型和文字轉語音 (TTS) 模型的功能，並將其作為與 OpenAI 相容的工具公開，允許現有的 LLM 代理呼叫這些工具以實現多模態互動。
•Lemonade v10.7 中新增的 lemonade bench 命令列介面 (CLI) 工具，旨在提供端到端效能基準測試，測量包括首個詞元生成時間 (TTFT)、每秒詞元數和峰值記憶體消耗等指標，並支援跨 llama.cpp、FastFlowLM 和 vLLM 等不同後端進行比較。
•針對 llama.cpp 和 stable-diffusion.cpp 的 GPU 加速利用了這些底層專案中現有的 CUDA 支援，其中 llama.cpp 自 2024 年 8 月起已針對 NVIDIA GPU 最佳化了 CUDA Graphs，透過減少啟動開銷將推論效能提升高達 1.2 倍。
•LMX-Omni 模型透過 Hugging Face 進行分發，並設計為與任何支援多媒體渲染的 OpenAI 相容應用程式相容，而不僅限於 Open WebUI。
•Lemonade 專案的開發現由 6 個工作組推動，其中 4 個由非 AMD 人員領導，這表明該專案採取了更廣泛的社群驅動和供應商中立的方法。

🛠️ 技術深入

LMX-Omni 虛擬模型架構：LMX-Omni 是一個「精選的組件模型組合」，圍繞著一個大型專家混合 (MoE) LLM 構建。它整合了多個專用模型，例如用於聊天和視覺的 LLM（如 Qwen3.6-35B-A3B-MTP-GGUF）、用於圖像生成和編輯的圖像模型（如 Flux-2-Klein-9B-GGUF）、用於語音轉錄的 ASR 模型（如 Whisper-Large-v3-Turbo）以及用於語音生成的 TTS 模型（如 kokoro-v1）。
OmniRouter 機制：這是 Lemonade 用於將每個模態公開為與 OpenAI 相容工具的模式。LLM 代理可以針對 Lemonade 的端點（例如 /v1/images/generations 或 /v1/audio/speech）呼叫這些工具。伺服器在內部執行跨組件的工具呼叫循環，並將生成的多媒體直接嵌入到助理訊息中，使其對客戶端來說表現為一個真正的 OpenAI 相容聊天模型。
GPU 加速實作：
- llama.cpp 的 CUDA 支援透過 CUDA Graphs 進行了最佳化，這是一種將多個 GPU 活動排程為單一計算圖的技術，可減少 GPU 端的啟動開銷，從而顯著提高推論效能，對於較小的模型在 NVIDIA H100 GPU 上可實現高達 1.2 倍的加速。
- stable-diffusion.cpp 支援 CUDA、Vulkan 和 Metal 後端，以最佳化 CPU 和 GPU 上的推論。
lemonade bench CLI 工具：此工具測量端到端效能指標，包括首個詞元生成時間 (TTFT)、每秒詞元數和峰值記憶體消耗。它能夠執行具有不同場景和上下文大小的腳本。 lemonade bench 是 lemonade-eval CLI 的一部分，後者還提供使用 MMLU、HumanEval 和 Perplexity 進行準確性測試，以及為 NPU 和 CPU 設備準備 OGA (ONNX Runtime GenAI) 模型的功能。
OpenAI API 相容性：Lemonade 的 API 設計為與 OpenAI 相容，這使得它能夠與 Open WebUI 等各種前端無縫整合。

🔮 前景展望AI analysis grounded in cited sources

本地多模態 AI 的可及性和採用率將會提高。

透過為各種模態提供統一的、與 OpenAI 相容的 API 以及跨供應商的 GPU 加速，Lemonade 簡化了複雜本地 AI 應用程式的開發和部署，降低了開發人員和使用者的進入門檻。

本地 AI 生態系統中的競爭和創新將會加劇。

基準測試工具的引入以及對跨供應商效能的關注，可能會促使其他本地 AI 框架和硬體製造商最佳化其解決方案，從而帶來更快、更高效、功能更強大的本地 AI。

多模態功能將更廣泛地整合到消費級應用程式中。

LMX-Omni 的「虛擬模型」方法抽象化了組合多個專業模型的複雜性，使開發人員更容易將先進的多模態互動（聊天、圖像生成、語音）嵌入到日常應用程式中。

⏳ 時間線

2023-10

Lemonade 專案發布其路線圖，其中包括 LMX-Omni、`lemonade bench` CLI 和 `llama.cpp` 及 `stable-diffusion.cpp` 的 CUDA 後端支援。

2024-08

`llama.cpp` 引入 CUDA Graphs 以優化 NVIDIA GPU 上的推論效能。

2025-10

`stable-diffusion.cpp` 新增對 Qwen-Image 的支援。

2026-01

`node-llama-cpp` 推出支援 CUDA 的預編譯二進位檔，適用於 Windows 和 Linux。

2026-05

`stable-diffusion.cpp` 新增對 LTX-2.3 的支援。

2026-06

Lemonade v10.7 的 GitHub 里程碑顯示與 LMX 模型、Open WebUI 相容性和集合格式相關的活躍任務，表明該版本已發布或即將發布。

Lemonade v10.7 新增多後端全模態支援

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (16)

👉相關動態

Qwen Code 基準測試基礎設施驗證