Microsoft Expands Local AI Support to NVIDIA GPUs

•此擴展支援目前為開發者實驗性功能，主要針對本地語言模型API，而非全面開放所有Copilot+ PC的消費者功能，並利用名為「Phi Silica」的小型裝置內模型來處理文本相關任務，例如摘要、重寫和提示生成。
•微軟此舉承認GPU在執行本地AI模型方面的能力，並將Copilot+ PC重新定位為多種硬體配置之一，其主要優勢在於NPU在功耗效率和特定「始終開啟」AI工作負載方面的表現，而非Windows本地AI的唯一實現者。
•微軟正透過Windows AI APIs、Foundry Local和Windows ML等開發者工具，並提供GPU加速支援，以簡化在Windows上建構和部署AI應用程式的流程。
•對於NVIDIA GeForce RTX GPU，Windows ML會自動利用NVIDIA的TensorRT for RTX推論函式庫，該函式庫針對高效能和快速部署進行了優化，與先前的DirectML實作相比，AI工作負載的效能提升超過50%。

📊 競品分析▸ Show

競爭者	AI硬體	NPU TOPS (約)	記憶體架構	專注AI任務/優勢	效能/效率特點
Microsoft (Windows AI on NVIDIA GPU)	NVIDIA RTX 30系列或更新GPU	高GPU原始運算能力	獨立VRAM (至少6GB)	高效能AI推論、創意應用、遊戲、AI開發	TensorRT for RTX比DirectML快50%以上；高記憶體頻寬 (RTX 4090達1008 GB/s)
Apple (Apple Silicon)	Apple Neural Engine (整合於M/A系列晶片)	M4: 38 TOPS；A17 Pro: 35 TOPS	統一記憶體 (CPU/GPU/NPU共享)	裝置內LLM、語音轉錄、文本生成、隱私保護	MLX框架優化，比llama.cpp/Ollama快10-25%；高功耗效率；M4 Max統一記憶體達128GB
Intel (Core Ultra)	Intel Core Ultra (整合NPU)	Core Ultra 200 (Lunar Lake): ~13 NPU TOPS；總計36 TOPS	共享系統RAM	輕量級AI任務、廣泛軟體相容性	NPU功耗效率較高，但原始AI運算能力相對較低；2026年「Panther Lake」預計大幅提升NPU效能
AMD (Ryzen AI)	AMD Ryzen AI (整合XDNA NPU)	Ryzen AI Max PRO: 高達50 NPU TOPS；總計125 TOPS	共享系統RAM	生成式AI、會議AI、轉錄、摘要、數位助理、突發性工作負載 (如本地圖像生成)	XDNA NPU與RDNA GPU結合，提供靈活性和爆發性效能；支援Linux和Docker

Windows AI平台的核心是Windows ML，它建立在ONNX Runtime API之上，用於推論AI模型。
對於NVIDIA GeForce RTX GPU，Windows ML會自動使用NVIDIA的TensorRT for RTX推論函式庫，該函式庫專為Windows上的高效能AI推論而優化。
TensorRT for RTX與先前的DirectML實作相比，在NVIDIA RTX GPU上執行AI工作負載的效能提升超過50%。
該函式庫支援多種量化類型，包括FP4和FP8，並利用Tensor Cores實現更高的吞吐量。
Windows ML還能自動選擇最佳的執行提供者（CPU、NPU或GPU），並在需要時自動下載所需的執行提供者，從而簡化開發者的部署流程。
開發者可以利用Windows AI APIs來使用預先準備好的AI模型（如Phi Silica），使用Foundry Local來整合流行的開源模型，或透過Windows ML來部署自己的客製化模型。
Windows AI Studio是一個Visual Studio Code擴充功能，旨在幫助開發者將AI整合到其Windows應用程式中，目前預覽版需要NVIDIA GPU和WSL（Windows Subsystem for Linux）環境。

本地AI功能將更廣泛地普及於現有Windows PC。

微軟將本地AI支援擴展到非Copilot+ PC，利用現有RTX GPU的龐大安裝基礎，將加速AI功能在更廣泛用戶群中的普及。

Copilot+ PC的市場定位將從「獨佔AI功能」轉變為「高效能/低功耗AI體驗」。

隨著GPU支援的擴展，Copilot+ PC不再是唯一能執行本地AI的設備，其主要優勢將轉向NPU在功耗效率和特定「始終開啟」AI工作負載方面的表現。

開發者將擁有更靈活的AI應用部署選項，加速Windows AI生態系統的發展。

微軟提供多種API和工具（Windows AI APIs, Foundry Local, Windows ML）並支援GPU加速，降低了開發者在Windows平台上整合和部署本地AI模型的門檻。

2023-12

Windows AI Studio預覽版發布，要求NVIDIA GPU和WSL支援。

2024-02

ONNX Runtime 1.17發布，DirectML中NPU加速的開發者預覽版支援Intel Core Ultra處理器。

2024-06-18

微軟推出Copilot+ PC，強調40+ TOPS NPU是本地AI功能的關鍵要求。

2025-05-19

NVIDIA發布TensorRT for RTX，在Windows ML公開預覽版中提供比DirectML快50%以上的AI工作負載效能。

2026-06-11

微軟將Windows 11的本地語言模型API實驗性地擴展到NVIDIA RTX 30系列或更新的GPU。

Microsoft 將本地 AI 支援擴展至 NVIDIA GPU