Microsoft launches Foundry Local for on-device AI execution

•Foundry Local 提供 C#、JavaScript、Rust 和 Python 等多種程式語言的 SDK，使開發者能夠將 AI 功能直接整合到其應用程式中，並支援 Windows、macOS (Apple Silicon) 和 Linux x64 等作業系統。
•該平台包含一個精選的模型目錄，提供經過優化以在終端裝置上運行的模型，涵蓋聊天完成（例如 GPT OSS、Qwen、DeepSeek、Mistral 和 Phi 系列）和音訊轉錄（例如 Whisper）等任務。
•Foundry Local 具備自動硬體加速功能，能偵測使用者裝置上可用的 NPU、GPU 或 CPU，並透過 ONNX Runtime 自動選擇最佳的執行提供者，無需開發者編寫硬體偵測程式碼。
•Foundry Local 支援 OpenAI 相容的 API，允許開發者以最少的程式碼修改，將現有的 OpenAI SDK 應用程式指向本地端點，簡化了從雲端到本地 AI 的遷移。
•Foundry Local 於 2025 年 5 月 19 日推出公開預覽版，並於 2026 年 5 月 12 日達到正式發布 (GA)，其 1.1.0 版本更增加了即時音訊轉錄、文字嵌入和支援工具呼叫及多模態視覺語言輸入的 Responses API。

📊 競品分析▸ Show

功能/定價/基準	Microsoft Foundry Local	Google AI Edge
平台支援	Windows、macOS (Apple Silicon)、Linux x64	行動裝置、網路應用程式、嵌入式系統
SDK/框架	C#、JavaScript、Rust、Python SDK	支援 JAX、Keras、PyTorch、TensorFlow 模型
模型目錄	精選優化模型（如 Phi、Mistral、Qwen、DeepSeek、Whisper）	支援多種框架模型
硬體加速	自動偵測 NPU、GPU、CPU，透過 ONNX Runtime 和 DirectML 進行加速	裝置端處理，減少延遲
定價	免費安裝和使用，模型使用可能產生費用	不適用 (未提供本地執行層面的具體定價資訊)
資料隱私	使用者資料不離開裝置，完全本地處理	確保資料保持本地和私有
離線能力	應用程式可離線運作	允許離線功能

輕量級運行時 (Runtime)：Foundry Local 的運行時約為 20 MB，負責模型獲取、硬體加速、模型管理和透過 ONNX Runtime 進行推論，使其易於嵌入應用程式中。
精選模型目錄：提供一系列針對消費級硬體優化的高品質模型，這些模型經過量化和壓縮，以在品質和性能之間取得最佳平衡。模型支援版本控制，應用程式可釘選特定版本或自動接收更新。
自動硬體加速：Foundry Local 能自動偵測使用者裝置上的可用硬體（NPU、GPU 或 CPU），並選擇最佳的執行提供者。它在有 GPU 和 NPU 時加速推論，並無縫回退到 CPU。
智慧模型管理：處理終端使用者裝置上模型的完整生命週期，包括首次使用時自動下載、本地快取以實現即時啟動，以及為特定硬體選擇最佳性能變體。
OpenAI 相容 API：支援 OpenAI 的請求和回應格式，包括 OpenAI Responses API 格式，便於開發者整合。
SDK 支援：提供 C#、JavaScript、Rust 和 Python 的原生 SDK，方便開發者將 AI 功能直接整合到應用程式中。
Windows AI 整合：在 Windows 裝置上，Foundry Local 利用 DirectML API 實現硬體加速，可使用裝置的 GPU 或 NPU 加速機器學習模型的性能。

加速終端裝置 AI 應用普及

Foundry Local 簡化了在使用者裝置上部署 AI 的複雜性，將促使更多開發者將 AI 功能直接整合到日常應用程式中，提升使用者體驗。

強化資料隱私與安全性

由於 AI 推論完全在裝置本地執行，敏感資料無需上傳至雲端，這將顯著提升使用者資料的隱私保護和安全性。

推動離線 AI 功能的發展

消除對雲端連線的依賴，使得 AI 應用程式在網路受限或離線環境下也能可靠運行，為特定行業和場景帶來新的解決方案。

2014

Microsoft 推出 Cortana，首次大規模進入消費者 AI 領域。

2016

Microsoft 推出 Azure Cognitive Services，提供 AI 平台服務。

2020

Microsoft 在 Azure 中為 OpenAI 部署超級電腦，建立大規模 AI 模型訓練基礎設施。

2025-05-19

Microsoft 在 Build 2025 大會上推出 Foundry Local 公開預覽版。

2025-09-26

Windows ML 運行時正式發布，使開發者能夠在 Windows 裝置上運行 AI 模型。

2026-05-12

Microsoft Foundry Local 達到正式發布 (GA)。

Microsoft 推出 Foundry Local，實現終端裝置 AI 執行