Routing LLMs by Task Verifiability: A Small Experiment

•基於任務可驗證性的LLM路由顯著降低了營運成本和延遲，因為它允許將簡單任務分配給較小、更具成本效益的模型，而不是將所有請求都發送給昂貴的頂級模型。
•小型語言模型 (SLM) 在代理式AI工作流程中扮演著越來越關鍵的角色，特別是在需要嚴格格式化和行為要求的重複性、可預測任務（如結構化輸出生成和工具調用）中，因為它們更容易進行微調以減少生產系統中的故障點。
•JSON Schema 是實現結構化輸出的關鍵技術，它提供了一種標準化的方式來定義和強制執行數據格式，確保 LLM 生成數據的一致性，並最大限度地減少高可驗證性任務中的錯誤。
•Mistral 3 8B（於2025年12月發布）是一款多模態、密集型Transformer模型，擁有80億參數和256K的上下文窗口，並採用Apache 2.0許可證，專為推理任務和設備端/邊緣計算進行了優化，這與早期Mistral 8B模型有所不同。
•LLM編排平台（如LangChain、LlamaIndex和Semantic Kernel）正在興起，以管理協調多個AI模型、工具和數據源的複雜性，提供智能路由、上下文管理和可觀察性，對於構建可靠的AI應用程式至關重要。

LLM路由架構： LLM路由系統根據任務分類、複雜性、成本和延遲，動態地將查詢導向最佳模型。這可以涉及靜態/基於規則的路由，或使用分類器（例如因果LLM分類器）實時分析提示的更高級智能路由。
JSON Schema驗證： JSON Schema定義了LLM輸出的結構、數據類型和驗證規則，確保一致性並最大限度地減少錯誤。它可以與LLM API（例如OpenAI的函數調用）集成，或與基於語法的解碼一起使用，以在生成過程中強制執行合規性。
重試機制： 實驗強調了重試機制的使用，這在代理式工作流程中至關重要。如果小型模型的初始嘗試未能通過驗證，任務可以升級到更強大（且通常更昂貴）的模型。
Mistral 3 8B架構： Mistral 3 8B 是一個密集型Transformer網絡，具有80億參數、32層、32個注意力頭、4096的嵌入維度和12288的隱藏維度。它具有256K的上下文窗口，使用RMS歸一化和Swish激活函數，並通過「級聯蒸餾」方法從Mistral Small 3.1衍生而來。它還支持多模態輸入（文本和圖像）和函數調用。
分組查詢注意力 (GQA)： Mistral 8B 模型（包括早期版本如 Ministral-8B-2410）利用分組查詢注意力 (GQA) 和8個鍵值頭，以提高推理速度和記憶體效率。

企業將更廣泛地採用混合式LLM架構，結合小型專業模型與大型通用模型。

透過任務可驗證性路由，企業能有效降低成本並提高特定任務的效率，同時保留頂尖模型處理複雜推理和創意工作的能力。

LLM驗證與編排框架的發展將加速，成為AI應用開發的關鍵基礎設施。

隨著對模型輸出可靠性和一致性的需求增加，能夠定義、驗證和管理多模型工作流程的工具將變得不可或缺。

小型語言模型 (SLMs) 將在代理式AI工作流程中扮演更核心的角色，特別是在需要精確結構化輸出和工具調用的場景。

SLMs因其易於針對嚴格格式和行為要求進行微調，且在可驗證任務上表現出色，將成為構建可擴展和可靠代理系統的關鍵組件。

2023-04

Mistral AI 成立，由前 Google DeepMind 和 Meta Platforms 研究員創立。

2023-09

Mistral AI 發布其首個開源模型 Mistral 7B。

2024-10

Mistral AI 發布 Ministral-8B-2410，一款針對本地智慧和邊緣計算優化的80億參數模型。

2025-12

Mistral AI 發布 Mistral 3 系列，包括 Mistral 3 8B，具有多模態能力和 Apache 2.0 許可證，專為推理任務設計。

基於任務可驗證性的 LLM 路由：一項小型實驗