🔥PyTorch Blog•最新收集於 38m
PyTorch 2.13 發布，新增 Apple Silicon FlexAttention 支援
💡透過 PyTorch 2.13 原生支援的 FlexAttention，提升您在 Mac 上的 AI 開發效能。
⚡ 30-Second TL;DR
有什麼變化
正式發布 PyTorch 2.13 並提供更新說明。
為什麼重要
此更新顯著提升了在 Mac 硬體上執行高注意力機制模型（attention-heavy models）的效率。它讓開發者能更有效地利用 Apple Silicon 進行研究與原型開發。
下一步行動
如果您正在 Mac 上進行開發，請更新至 PyTorch 2.13，並使用新的 MPS FlexAttention 支援來測試您的注意力機制模型效能。
誰應關注：Developers & AI Engineers
關鍵要點
- •正式發布 PyTorch 2.13 並提供更新說明。
- •透過 MPS 在 Apple Silicon 上支援 FlexAttention。
- •針對 Mac 硬體上的模型訓練與推論進行效能優化。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •FlexAttention 透過允許開發者編寫自定義注意力機制（Custom Attention Kernels），顯著降低了記憶體使用量並提升了長序列處理的效率。
- •PyTorch 2.13 在 MPS 後端引入了對 FlashAttention 的進一步優化，縮短了與 NVIDIA CUDA 實作之間的效能差距。
- •此次更新強化了對 Apple Metal Performance Shaders (MPS) 的圖形編譯器支援，減少了模型在 Mac 上首次執行時的編譯延遲。
- •PyTorch 2.13 整合了針對 Apple M4 系列晶片的特定指令集優化，進一步提升了神經網路運算單元 (ANE) 的調度效率。
- •除了 Apple Silicon 的改進，PyTorch 2.13 還更新了對 Python 3.13 的實驗性支援，並改進了分布式訓練中的 NCCL 通訊穩定性。
📊 競品分析▸ Show
| 特性 | PyTorch 2.13 (MPS) | TensorFlow (macOS) | JAX (Metal) |
|---|---|---|---|
| Apple Silicon 支援 | 原生且深度整合 | 透過 Pluggable Device | 透過 JAX-Metal 外掛 |
| 自定義算子開發 | 高 (FlexAttention) | 中 | 高 |
| 生態系成熟度 | 極高 | 高 | 中 |
| 效能基準 | 領先 (針對 Mac 優化) | 中等 | 高 (針對科學運算) |
🛠️ 技術深入
- FlexAttention 實作：採用了 PyTorch 2.0 引入的 torch.compile 技術，將注意力機制編譯為高效的 Triton 核心，並針對 MPS 進行了記憶體存取模式的重構。
- 記憶體管理：透過優化 KV Cache 的儲存方式，在 Apple Silicon 的統一記憶體架構上減少了數據搬移次數。
- 編譯器優化：改進了 TorchInductor 對 MPS 的後端支援，能夠自動融合多個算子以減少 Kernel Launch 的開銷。
- 算子支援：擴展了對 bfloat16 資料類型的原生支援，提升了在 Mac 上進行混合精度訓練的穩定性。
🔮 前景展望AI analysis grounded in cited sources
Mac 將成為輕量級 LLM 微調的主流開發平台。
隨著 FlexAttention 在 MPS 上的成熟，開發者無需依賴雲端 GPU 即可在本地高效微調中等規模模型。
PyTorch 將逐步淘汰對舊版 macOS 的 MPS 支援。
為了維持對 Apple 最新硬體指令集（如 M4 晶片）的優化，PyTorch 團隊傾向於將資源集中在最新的 macOS 版本上。
⏳ 時間線
2022-05
PyTorch 正式引入 MPS (Metal Performance Shaders) 加速支援。
2023-03
PyTorch 2.0 發布，引入 torch.compile 與 Inductor 編譯器。
2024-05
PyTorch 2.3 強化了對 Apple Silicon 的分布式訓練支援。
2025-02
PyTorch 2.6 引入了初步的 FlexAttention 框架。
2026-07
PyTorch 2.13 發布，正式將 FlexAttention 擴展至 Apple Silicon。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： PyTorch Blog ↗