無位置編碼的注意力沉沒不可避免？
移除自注意力/交叉注意力的位置編碼後，注意力熱圖出現垂直熱線。無 PE 時查詢均勻關注相同鍵。正規化擴散注意力但保留垂直模式；尋求基於查詢的動態注意力方法。
Search
直接匹配不多，已補上最新動態。
Tag: #positional-encoding4 results
🎨
ViT 基礎與微調指南
部落格文章從頭介紹視覺變換器（ViTs），包含補丁嵌入、位置編碼及僅編碼器分類模型的視覺說明。討論優缺點、真實應用，並提供影像分類微調教學。連結關鍵論文，對比 ViTs 與其他影像表示方法。
更清楚理解位置編碼的方法
一位 Reddit 使用者推薦了一篇讓自己終於理解位置編碼的文章。這則貼文為 AI 從業者提供了學習材料，協助了解 Transformer 模型如何表示序列位置。
C^2ROPE Advances 3D Multimodal Reasoning
C^2ROPE enhances Rotary Position Embedding for 3D Large Multimodal Models by addressing spatial locality loss and long-term attention decay. It introduces spatio-temporal continuous positional embeddings using triplet hybrid indices and Chebyshev Causal Masking. Evaluations show superior performance on 3D scene reasoning and VQA benchmarks.
Codex 正縮小與 Claude Code 的差距
OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。
🔬
腦機介面助患者重新站立與看見
中國多項臨床試驗正利用腦機介面，協助脊髓損傷患者站立與行走，並讓失明患者恢復有限的視覺感知。試驗結果差異很大，凸顯這項技術的潛力，以及目前在訊號採集、解碼與復健方面的限制。
Alibaba 重組 AI 與雲端業務
據報 Alibaba 正合併電商業務、整合雲端與晶片業務，並將 Qwen 拆分為獨立子公司。報導亦涵蓋 Unitree 計畫登陸科創板、Anthropic 據傳的年化營收，以及 Alibaba 持續投入 AI 對利潤與現金流造成的壓力。
Meta 因具成癮性的平臺設計面臨審判
California 與其他 28 個州指控 Meta 設計 Facebook 和 Instagram 使其具成癮性、違反兒童隱私法，並隱瞞相關做法。檢方將其涉嫌採取的策略概括為「吸引、留住、收集、隱瞞」。
Ox Alpha：神秘模型公開亮相
Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型，具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁，但開發者、參數量、訓練資料與正式基準排名仍未獲確認。
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。