ZINC：Zig 語言的 AMD GPU LLM 推理引擎

Post LinkedIn

🦙閱讀原文： Reddit r/LocalLLaMA

#amd-gpu #vulkan #gguf #inference-enginezinczinc amd qwen3.5-35b llama.cpp zig

💡在廉價 AMD GPU 上運行 35B LLM—新 Zig 引擎優於 llama.cpp Vulkan（34字元）

⚡ 30-Second TL;DR

有什麼變化

用 Zig 建構 Vulkan API、GPU 記憶體、命令緩衝區

為什麼重要

解鎖數百萬未充分利用 AMD GPU 的高效本地推理，與 Nvidia 設定競爭。低程式碼基數有助快速迭代與開源 LLM 服務採用。

下一步行動

複製 https://github.com/zolotukhin/zinc，並在你的 AMD RDNA4 GPU 上基準測試 Qwen3.5-35B。

誰應關注：Developers & AI Engineers

關鍵要點

•用 Zig 建構 Vulkan API、GPU 記憶體、命令緩衝區
•在 RDNA4 AMD GPU 上運行 Qwen3.5-35B 達 7.1 tok/s
•原生載入 GGUF，5k 行 Zig + 2k 行 GLSL 程式碼
•計劃透過單一命令緩衝區修復每層同步開銷

🧠 深度解析

本篇為 AI 生成分析，非原文內容。

🔑 增強重點摘要

•ZINC 採用了極簡主義設計哲學，透過直接操作 Vulkan 記憶體分配器（VMA）來繞過傳統驅動程式層級的開銷，這使其在記憶體受限的消費級 GPU 上表現出優於 ROCm 堆疊的延遲控制。
•該專案利用 Zig 語言的 comptime 特性，在編譯階段預先計算了部分張量操作的記憶體佈局，顯著減少了執行時期的 CPU 負載，這對於低功耗或受限的 AMD 平台至關重要。
•ZINC 的開發者明確將其定位為針對 AMD 硬體的『輕量級替代方案』，旨在解決目前 llama.cpp 在 Vulkan 後端上因過度通用化而導致的效能損耗問題。

📊 競品分析▸ Show

特性	ZINC	llama.cpp (Vulkan)	ROCm (HIP)
語言	Zig	C++	C++/HIP
效能 (RDNA4)	極高 (針對性優化)	中等 (通用性)	高 (硬體原生)
部署複雜度	低 (單一二進位)	中	高 (依賴龐大環境)
支援硬體	AMD GPU (Vulkan)	跨平台	AMD GPU (專屬)

🛠️ 技術深入

• 記憶體管理：ZINC 實作了自定義的 Vulkan 緩衝區池（Buffer Pooling），減少了推理過程中頻繁的記憶體分配與釋放操作。 • 核心算子：針對 RDNA4 架構優化了矩陣乘法（GEMM）核心，利用 Vulkan 的子群組操作（Subgroup Operations）來最大化計算單元（CU）的利用率。 • 執行模型：採用了非同步命令佇列提交，允許 CPU 在 GPU 處理當前層的同時，預先準備下一層的指令，從而隱藏了部分同步開銷。 • 格式支援：原生解析 GGUF 檔案格式，直接映射張量資料到 GPU 裝置本地記憶體，避免了額外的資料複製步驟。