Search

直接匹配不多,已補上最新動態。

Tag: #inference-opt1 results

PyTorch IKBO 優化 RecSys 推論

PyTorch IKBO 優化 RecSys 推論

傳統 RecSys 推論會為每個候選項目明確複製共享使用者嵌入,造成額外負荷。內核廣播優化 (IKBO) 透過內核-模型-系統共設計,將廣播邏輯直接融合到使用者-候選內核中,消除此負荷。此技術提升大規模推薦系統的效率。

PyTorch BlogMediaMay 5#kernel-fusion#inference-opt
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。