探索本地 LLM 工具與模型選擇指南

模型命名慣例解析:

• 參數數量 (B/M): B 代表十億 (Billion)，M 代表百萬 (Million)。例如，7B 指70億參數。
• 訓練變體: Base 指基礎模型，Instruct 或 IT 指指令微調版本，Chat 指針對對話優化。
• 量化 (Quantization): Q 表示量化，後跟數字表示位元數（如 Q4 為4位元整數）。
• 量化配置: K_S, K_M, K_L 等表示K-Quants系統的不同塊大小和精度，其中 K_M (Medium) 通常提供最佳性價比，而 K_S (Small) 則犧牲精度以換取更小體積。
• 架構: Dense 模型在每次推理時激活所有參數，而 MoE (Mixture-of-Experts) 模型則只激活部分專家網絡，從而降低運算成本和VRAM需求，提高推理速度。

主要量化格式與技術:

• GGUF (GPT-Generated Unified Format): 最廣泛使用的格式，由llama.cpp項目推動，支援多種混合精度整數量化子格式（如Q8_0, Q6_K, Q4_K_M），兼容CPU和GPU推理，具有極高的可移植性。
• GPTQ: 一種訓練後量化技術，通常以模型名-GPTQ形式出現，旨在減少模型大小和加速推理。
• AWQ (Activation-aware Weight Quantization): 另一種訓練後量化技術，通過對權重進行感知量化來優化模型性能，通常在模型名稱中以模型名-AWQ標識。
• EXL2: 專注於速度的量化格式，但可能犧牲部分確定性和品質。
• Bits-and-Bytes: 一個多功能庫，用於4位元和8位元量化，支援FP4和NF4格式，無需校準數據即可在推理時處理量化。

硬體考量與優化:

• VRAM (顯存): LLM推理時，模型參數和KV Cache（鍵值快取）會佔用大量VRAM。上下文長度越長，KV Cache佔用越大，容易導致OOM (Out Of Memory)。
• 量化對VRAM的影響: 量化可將每個參數所需的記憶體量減少50-75%或更多，例如，一個7B參數模型在FP16精度下需要14GB VRAM，而Q4量化後可能只需4-5GB。
• GPU層卸載 (--gpu-layers): 許多本地LLM工具（如llama.cpp）允許將模型的部分層卸載到GPU，以平衡CPU和GPU的負載，優化性能。
• 多GPU分割 (--tensor-split): 支援將模型分割到多個GPU上運行，以處理更大的模型或提高推理速度。

Gemma 4 技術亮點:

• MoE (Mixture-of-Experts) 架構: 首次引入Gemma家族，例如26B A4B模型總參數260億，但每次推理僅激活40億參數，平衡效能與運算成本。
• 共享鍵值快取 (Shared KV Cache): 解決手機DRAM限制，提高邊緣設備效能。
• 無編碼器 (Encoder-Free) 多模態架構: 直接處理真實像素和表格，支援原生解析度輸入和交錯多圖對話。
• 多令牌預測 (MTP): 提升雲端解碼速度，RTX 4090可達162 token/s。
• 原生推理能力 (Native Reasoning): 可透過設定thinking=True開啟，模型在給出答案前進行內部邏輯推演，並擴展到音訊等多模態領域。

Qwen 3.6 技術亮點:

• 稠密 (Dense) 模型: 每個token推理時大部分參數參與計算，在持續推理、長鏈編碼、穩定輸出方面表現一致。
• 長上下文窗口: 原生支援262K token，Yarn技術可擴展至約1M token，適合處理大型專案和長文檔。
• 多模態能力: 支援豐富的多模態輸入。