
PyTorch IKBO 優化 RecSys 推論
傳統 RecSys 推論會為每個候選項目明確複製共享使用者嵌入,造成額外負荷。內核廣播優化 (IKBO) 透過內核-模型-系統共設計,將廣播邏輯直接融合到使用者-候選內核中,消除此負荷。此技術提升大規模推薦系統的效率。
直接匹配不多,已補上最新動態。
Tag: #kernel-fusion3 results

傳統 RecSys 推論會為每個候選項目明確複製共享使用者嵌入,造成額外負荷。內核廣播優化 (IKBO) 透過內核-模型-系統共設計,將廣播邏輯直接融合到使用者-候選內核中,消除此負荷。此技術提升大規模推薦系統的效率。

Together AI 聚焦其 kernels 團隊,這是 FlashAttention 和 ThunderKittens 的幕後推手。這些研究人員優化 GPU kernels,以彌補硬體限制與生產級 AI 需求之間的差距。此工作提升真實世界 AI 部署的效率。

一篇部落格文章從第一原理拆解 FlashAttention,解釋它如何透過核心融合、tiling、重計算和 online softmax 最小化 GPU 記憶體資料移動來優化標準 attention。此 IO 感知方法實現更快的訓練、更長的上下文和更低的記憶體使用量。文章建立直覺,說明傳統 attention 為何緩慢且記憶體受限。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬,第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用,但隨著 Anthropic 接近早期市場飽和,其高速成長已經放緩。
中國多項臨床試驗正利用腦機介面,協助脊髓損傷患者站立與行走,並讓失明患者恢復有限的視覺感知。試驗結果差異很大,凸顯這項技術的潛力,以及目前在訊號採集、解碼與復健方面的限制。

據報 Alibaba 正合併電商業務、整合雲端與晶片業務,並將 Qwen 拆分為獨立子公司。報導亦涵蓋 Unitree 計畫登陸科創板、Anthropic 據傳的年化營收,以及 Alibaba 持續投入 AI 對利潤與現金流造成的壓力。

California 與其他 28 個州指控 Meta 設計 Facebook 和 Instagram 使其具成癮性、違反兒童隱私法,並隱瞞相關做法。檢方將其涉嫌採取的策略概括為「吸引、留住、收集、隱瞞」。

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。

Cloudflare 推出 Agent Tracing,支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異,因此開發者在設定可觀測性時需要檢查各框架的個別設定。

編劇、導演與製片人正接下臨時工作,教導 AI 系統編劇與製作規劃等技能。時薪介於 12 至 200 美元之間,但部分工作者認為這等同於協助自動化自己的職業。