SMAC-Talk: Benchmarking LLM Coordination in Multi-Agent Environments

•SMAC-Talk 基準測試利用了於 2019 年發布的 StarCraft Multi-Agent Challenge (SMAC) 環境，該環境最初旨在為合作式多代理強化學習 (MARL) 提供一個去中心化微觀管理和局部可觀察性的挑戰平台。
•該基準測試透過引入自然語言通訊通道，將大型語言模型 (LLM) 代理的協作評估從傳統的強化學習範式擴展到更接近人類互動的方式，以應對複雜的去中心化控制和長程決策任務。
•SMAC-Talk 的獨特之處在於其包含具備欺騙性通訊者的對抗場景，這使得它能夠評估 LLM 代理在面對不誠實資訊時的信任建立、資訊驗證和策略調整能力。
•用於基準測試的 Qwen3.5 模型系列是一個原生視覺語言模型，採用創新的混合架構（結合了門控 Delta 網路和稀疏專家混合模型），以實現高效推理，並支援高達 1M 的上下文窗口和 201 種語言及方言。

📊 競品分析▸ Show

基準測試名稱	主要特點	評估重點	底層環境/方法
SMAC-Talk	自然語言通訊、去中心化控制、部分可觀察性、欺騙性通訊	LLM 代理協作、信任度、長程決策	StarCraft Multi-Agent Challenge (SMAC)
MultiAgentBench	綜合性合作與對抗場景、里程碑式 KPI、多種協調協議	溝通、規劃、協調分數、可擴展性、函數調用可靠性	多樣化互動場景 (如研究協作、Minecraft 建造)
Collab-Overcooked	自然語言通訊、多代理框架、過程導向評估指標	細粒度協作能力、目標解釋、主動協作、持續適應	Overcooked-AI 遊戲
SI-Bench	基於真實人類對話、社會互動場景	社會智能、探究、談判、微妙操縱、推理過程、回覆品質	真實人類對話數據集
GroupMemBench	多方對話、群組動態、說話者導向的信念追蹤	LLM 代理在多方對話中的記憶系統、知識更新、術語歧義	圖形化合成管道生成的多方對話
LongJudgeBench	針對長篇幅輸出的 LLM 評審	文件級評估、整體組織、跨節一致性、覆蓋範圍和深度	多樣化真實世界場景的長篇幅輸出

基於 StarCraft Multi-Agent Challenge (SMAC)：SMAC-Talk 建立在 SMAC 環境之上，該環境利用暴雪的 StarCraft II 機器學習 API 和 DeepMind 的 PySC2，為自主代理提供與 StarCraft II 互動的介面。
去中心化微觀管理：SMAC 專注於去中心化微觀管理場景，其中遊戲中的每個單位都由一個獨立的強化學習代理控制，這些代理僅根據以其為中心的有限視野內的局部觀察進行決策。
自然語言通訊通道：文章指出 SMAC-Talk 引入了自然語言通訊通道以評估 LLM 代理，但具體的技術實現細節（例如，如何將 LLM 的自然語言輸出轉換為遊戲內動作，或如何將遊戲狀態轉換為 LLM 可理解的自然語言輸入）在現有資訊中未詳細說明。
Qwen3.5 模型架構：Qwen3.5 採用創新的混合架構，將線性注意力（透過門控 Delta 網路）與稀疏專家混合模型 (MoE) 相結合，以實現卓越的推理效率。例如，Qwen3.5-397B-A17B 總參數為 3970 億，但每次前向傳播僅激活 170 億參數。
長上下文與多模態能力：Qwen3.5-Plus 預設支援 1M 的上下文窗口。Qwen3.5-Omni 版本進一步支援文本、圖像、音訊和視聽內容的理解，並設計為原生全模態代理模型，能夠自主調用 WebSearch、執行複雜的 FunctionCall、生成語音輸出並進行即時串流互動。

LLM 代理在複雜、動態的多代理環境中的協作能力將顯著提升。

SMAC-Talk 透過引入自然語言通訊和對抗性情境，推動 LLM 代理學習更精細的協調、信任建立和欺騙偵測，這對於現實世界中需要複雜互動的 AI 系統至關重要。

評估多代理 LLM 系統的基準測試將更加注重真實世界的複雜性和社會智能。

隨著 SMAC-Talk、MultiAgentBench、Collab-Overcooked 和 SI-Bench 等基準的出現，評估不再僅限於任務完成，而是深入探討代理間的溝通效率、協調策略、記憶能力和社會互動等細緻層面。

具備多模態和代理能力的基礎模型（如 Qwen3.5 系列）將成為開發複雜多代理系統的關鍵。

Qwen3.5 系列模型結合了視覺、語言和代理功能，並透過高效架構支援長上下文和多語言，使其成為在 SMAC-Talk 等環境中開發能夠感知、推理和行動的先進代理的理想選擇。

2019-02

StarCraft Multi-Agent Challenge (SMAC) 基準測試發布

2026-02

Qwen3.5 模型系列正式發布

2026-04

Qwen3.5-Omni 技術報告發布

2026-06

SMAC-Talk 基準測試文章在 ArXiv AI 上發布

SMAC-Talk：評估多代理環境中 LLM 協作的新基準