Microsoft 在 OpenAI 合作夥伴關係上投入超過 1000 億美元

🔑 增強重點摘要

• •微軟對OpenAI的累計投資額超過1000億美元，其中很大一部分並非直接現金注入，而是以Azure雲端運算資源採購的形式提供，這凸顯了微軟作為OpenAI獨家雲端供應商的角色及其對AI基礎設施的戰略承諾。
• •微軟為OpenAI量身打造了一台AI超級電腦，該系統部署在Azure雲端平台上，包含10,000個GPU和285,000個CPU，在當時位列全球前五大公開披露的超級電腦之一，為OpenAI訓練大型模型提供了關鍵的運算能力。
• •微軟與OpenAI的合作夥伴關係在2026年4月進行了重大修訂，終止了微軟作為OpenAI獨家運算供應商的權利，並對收入分成支付設定了上限，允許OpenAI將其模型和產品部署到其他雲端平台，包括Amazon Web Services和Google Cloud。
• •儘管排他性有所調整，微軟仍保留了OpenAI模型和產品的非獨家智慧財產權許可，直至2032年，並繼續作為OpenAI的主要雲端合作夥伴，OpenAI的產品將優先在Azure上發布。

🛠️ 技術深入

• •OpenAI的GPT模型（如GPT-3、ChatGPT）基於Transformer架構，該架構於2017年的論文《Attention Is All You Need》中提出，並採用了自注意力機制。
• •GPT-3是一個擁有1750億參數的解碼器專用Transformer模型，每個參數精度為16位，需要350GB的儲存空間。
• •訓練GPT-3需要3.14E23 FLOPS的運算量，並在微軟提供的高頻寬叢集上的V100 GPU上進行。
• •微軟為OpenAI打造的客製化AI超級電腦包含超過285,000個CPU核心、10,000個GPU，每個GPU伺服器具有400Gbps的網路連接速度。
• •較新的OpenAI模型（如GPT-OSS系列，於2025年8月發布）在Transformer基礎上進行了多項增強，包括：
• •
  • 混合專家(MoE)層：包含128個專家，每個token激活4個專家。
• •
  • 滑動窗口注意力機制：選擇性地應用於每隔一層，窗口大小為128個token，以提高計算效率並維持長距離依賴性。
• •
  • 注意力匯點(Attention Sinks)：每個注意力頭包含可學習的匯點參數，有助於在長序列中保持注意力穩定性。
• •
  • 旋轉位置嵌入(RoPE)：結合YaRN縮放技術，以處理更長的上下文。
• •
  • 量化實施：MoE參數採用4位浮點數（MXFP4格式）進行量化，以減少模型大小和運算需求。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線