Deepseek 發布 DeepEP V2 與 TileKernels
Deepseek-ai 透過 GitHub pull request 發布 DeepEP V2,並推出全新 TileKernels 儲存庫。提供直接存取連結。在 r/LocalLLaMA 發佈。
直接匹配不多,已補上最新動態。
Tag: #kernels4 results
Deepseek-ai 透過 GitHub pull request 發布 DeepEP V2,並推出全新 TileKernels 儲存庫。提供直接存取連結。在 r/LocalLLaMA 發佈。
純 Triton 的融合 MoE 分派核心在 Mixtral-8x7B 推理批次大小下擊敗 CUDA 優化的 Megablocks(32 個 token 時快 131%)。透過融合操作減少 35% 記憶體流量,並支援 NVIDIA 與 AMD 硬體的多模型。GitHub 有程式碼與文章。
OpenAI Parameter Golf 實證顯示,SSMs 在微型模型(25M 參數、16MB、10分訓練)壓縮比 transformer 差,且大詞彙時架構優勢喪失。部落格詳述 Mamba-3 Triton kernel 實驗,揭露融合延遲、量化 bug 與精度修正。

Hugging Face introduces custom kernels powered by Codex and Claude, now available to everyone. This expands access to advanced customization options on the platform. Users can integrate these models seamlessly into their workflows.

Truffle Security 發現 768 組外洩的 AWS 金鑰,可對企業帳戶提供廣泛控制權,其中包括 526 組根金鑰。在受測憑證中,仍有 88% 處於啟用狀態;而 AWS 的隔離政策仍允許許多具破壞性的操作。

GDS Holdings 顯示,AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁,但基礎設施擴建週期也使獲利延後。

TikTok 與 ByteDance 同意支付 4 億美元,和解美國司法部提起的案件;該案指控數百萬名未滿 13 歲兒童使用平台,且其資料在未獲家長同意下遭到蒐集。愛爾蘭監管機構也曾在 2023 年因兒童帳戶問題對 TikTok 罰款 3.45 億歐元。

隨著 AI 工作負載提高對系統資源的需求,Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為,舊版相容性、整合服務、WebView2 與分散的資源管理,正壓縮本地模型和 AI Agent 可用的記憶體空間。

文章探討具身智能如何進入一場長期尋找產品市場契合度(PMF)的過程。文章認為,商業成功不會立即到來,因為技術路線仍未定型,而場景與規模之爭才剛開始。

一份最新報告警告,生成式AI正助長大學無人監考線上考試中的大規模作弊。相關機構敦促高校重新檢視這類評量,因為考試很容易被繞過,可能已無法可靠衡量學生的知識。