Search

Tag: #apple-silicon187 results

mlx-lm 即將支援 Qwen 3.5 的 MTP

mlx-lm PR 為 Qwen 3.5 系列新增多令牌預測 (MTP) 支援，吞吐量增 1.5 倍 (15.3 至 23.3 tok/s)，接受率 80.6%。在 M4 Pro 上基準測試 Qwen3.5-27B 4-bit。早期實作對 Apple Silicon 使用者有顯著提升。

Reddit r/LocalLLaMACommunity•Mar 21#apple-silicon #mlx #throughput

⚙️

llama.cpp GGUF 勝過 MLX 在 M3 Ultra 上運行 Qwen3.5

Mac Studio M3 Ultra 上，MLX Qwen3.5 在大上下文與代理任務提示處理極慢。最新 llama.cpp GGUF 提供遠優 PP 與穩定 TG，並有有效提示快取。用戶從 OpenCode MLX 切換至 llama.cpp，35B/122B 工作流順暢。

Reddit r/LocalLLaMACommunity•Mar 17#apple-silicon #gguf-vs-mlx #qwen3-5

TinyCorp 為 Apple Mac 打造 eGPU 擴展板，連接 RTX 5060 用於 AI 推理

TinyCorp 開發適用 Apple 晶片 Mac 的 eGPU 擴展板，透過 Thunderbolt 轉 PCIe 連接 RTX 5060 GPU，用於 AI 大模型推理。提供約 40Gbps 頻寬與自訂 Python 驅動程式支援 ARM macOS。Q2 2025 上市，整合電源管理，專注純計算任務。

IT之家Media•Mar 15#egpu #apple-silicon #ai-inference

OpenClaw 3D 列印工作流程開源

使用者開源了 Clarvis-AI，這是 OpenClaw 的發行版與技能，可透過語音進行 3D 模型搜尋、編輯、控制、切片與列印，而無需觸碰印表機。它在 MacBook Pro M1 的容器中運行，使用部分 API，並計畫在 Mac Studio 上實現完全本地化版本。

Reddit r/LocalLLaMACommunity•Mar 13#3d-printing #voice-control #apple-silicon

llama.cpp 在 500 美元 MacBook Neo 上達 7.8 t/s

llama.cpp 第 8294 版在具 Apple A18 Pro 晶片與 8GB RAM 的 500 美元 MacBook Neo 上運行 Qwen3.5-9B Q3_K_M，提示速度達 7.8 個令牌/秒，生成功率 3.9 個令牌/秒。基準測試顯示 9B 模型可達 5 t/s，4B 模型達 10 t/s 配置。使用 Metal GPU 加速與特定超參數。

Reddit r/LocalLLaMACommunity•Mar 11#quantization #metal-gpu #apple-silicon