Search

直接匹配不多,已補上最新動態。

Tag: #kernel-fusion3 results

PyTorch IKBO 優化 RecSys 推論

PyTorch IKBO 優化 RecSys 推論

傳統 RecSys 推論會為每個候選項目明確複製共享使用者嵌入,造成額外負荷。內核廣播優化 (IKBO) 透過內核-模型-系統共設計,將廣播邏輯直接融合到使用者-候選內核中,消除此負荷。此技術提升大規模推薦系統的效率。

PyTorch BlogMediaMay 5#kernel-fusion#inference-opt
從第一原理解釋 FlashAttention

從第一原理解釋 FlashAttention

一篇部落格文章從第一原理拆解 FlashAttention,解釋它如何透過核心融合、tiling、重計算和 online softmax 最小化 GPU 記憶體資料移動來優化標準 attention。此 IO 感知方法實現更快的訓練、更長的上下文和更低的記憶體使用量。文章建立直覺,說明傳統 attention 為何緩慢且記憶體受限。

Reddit r/LocalLLaMACommunityMar 27#gpu-memory#kernel-fusion
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。