
重新思考擴散式 LLM 服務架構
這項研究使用真實硬體分析 masked diffusion LLM 的服務行為,發現 CPU 調度而非 GPU 計算主導延遲。研究顯示,同步批次處理可帶來 16 倍吞吐量提升,而短輸出基準測試會掩蓋顯著的服務延遲差異。
直接匹配不多,已補上最新動態。
Tag: #diffusion-llm1 results

這項研究使用真實硬體分析 masked diffusion LLM 的服務行為,發現 CPU 調度而非 GPU 計算主導延遲。研究顯示,同步批次處理可帶來 16 倍吞吐量提升,而短輸出基準測試會掩蓋顯著的服務延遲差異。

AI 業界抨擊 Donald Trump 擬透過對晶片與資料中心課稅來強化美國 AI 競爭力的計畫。業界人士認為,此做法可能推高基礎設施成本,反而削弱 AI 競爭力。

Amazon Bedrock 現透過地理跨區域推論,在印度提供 OpenAI GPT-5.6 模型 Terra 與 Luna。企業可大規模使用這些模型,同時讓推論請求與資料留在印度境內。
SK Hynix 正探索深化與日本快閃記憶體製造商 Kioxia Holdings 合作的方式。執行長 Kwak Noh-Jung 表示,由於 SK Hynix 持有 Kioxia 的重大間接持股,雙方合作討論具有重要性。

Anthropic 說明隨著自動化拓展至科學研究與製造領域,AI agent 應如何在實體世界中行動。該公司強調,必須在這些機會與新的安全及營運風險之間取得平衡。

Vellum Mobile 的 iOS 應用程式現可作為行動 AI 助理,提供原生 Voice Mode、相機擷取、鎖定畫面活動與 Mac 控制功能。此次更新讓應用程式從聊天延伸至免持操作、多模態及跨裝置工作流程。

AI 的採用速度已超越企業管理相關技術的治理架構。Deloitte 2026 年研究指出,僅 21% 的企業具備成熟的代理式 AI 治理機制,但 74% 預期在 2027 年前至少中度使用 AI agents,為分時 CTO 的專業服務創造需求。
Nvidia 發布強勁的 AI 驅動預測,推升市場並重新引發外界對企業 AI 採用速度的討論。節目也探討 AI 代理安全性、企業需求,以及 Kevin Warsh 即將在 Jackson Hole 發表的演說。

Plaud 宣布推出售價 250 美元的 Plaud One 無線耳機,具備 4G 連線、對話錄音,以及能根據語音內容採取行動的 AI 助理。產品已在包括德國與法國在內的八個國家開放預購,而在這些地區,未經同意錄製他人私人談話可能涉及刑事責任。
OpenAI、Anthropic、Google 及超過 100 個組織在一封公開信中警告,AI 驅動的網路攻擊可能即將大規模出現。他們呼籲政府與企業把握仍有的準備時間,加強防禦能力。