Meta 大規模租用 AI 模型
據報導，Meta 每年花費數億美元，透過 Microsoft Azure 取得 AI 模型存取權。Meta 每週在 Azure 上處理數兆個 token，使其成為 Microsoft 最大的 AI 客戶之一。
Search
直接匹配不多，已補上最新動態。
Tag: #model-inference4 results
Netflix 揭露 Triton-vLLM 內部 LLM 平台
Netflix 詳細介紹其以 NVIDIA Triton 與 vLLM 為核心建構的內部大型語言模型服務平台。該平台為大型企業如何在內部架構與運行 LLM 服務提供了實務案例。
Reface 與 Prisma 創辦人聯手推出 Mirai 提升裝置端推論
Reface 與 Prisma 共同創辦人推出 Mirai，提升裝置端 AI 模型推論。該新創獲 1000 萬美元種子輪融資。目標優化智慧型手機與筆電效能。
Baseten 加入 Hugging Face Inference Providers
Baseten 現已成為 Hugging Face 的推理服務供應商。這項整合讓開發者能透過 Hugging Face 生態系，使用另一種方式存取及部署模型推理服務。
768 組外洩 AWS 金鑰仍可提供危險權限
Truffle Security 發現 768 組外洩的 AWS 金鑰，可對企業帳戶提供廣泛控制權，其中包括 526 組根金鑰。在受測憑證中，仍有 88% 處於啟用狀態；而 AWS 的隔離政策仍允許許多具破壞性的操作。
AI 需求先暴增，利潤仍在路上
GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。
TikTok 以 4 億美元和解美國兒童隱私案件
TikTok 與 ByteDance 同意支付 4 億美元，和解美國司法部提起的案件；該案指控數百萬名未滿 13 歲兒童使用平台，且其資料在未獲家長同意下遭到蒐集。愛爾蘭監管機構也曾在 2023 年因兒童帳戶問題對 TikTok 罰款 3.45 億歐元。
Windows 為何成為 AI PC 的絆腳石
隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。
具身智能開啟 PMF 長跑
文章探討具身智能如何進入一場長期尋找產品市場契合度（PMF）的過程。文章認為，商業成功不會立即到來，因為技術路線仍未定型，而場景與規模之爭才剛開始。
生成式AI正擊穿大學線上考試
一份最新報告警告，生成式AI正助長大學無人監考線上考試中的大規模作弊。相關機構敦促高校重新檢視這類評量，因為考試很容易被繞過，可能已無法可靠衡量學生的知識。