
1-bit Bonsai 1.7B 在瀏覽器 WebGPU 上本地運行
輕量 290MB 的 1-bit 量化 Bonsai 1.7B 模型現可在網頁瀏覽器中使用 WebGPU 完全本地運行。Demo 由 webml-community 在 Hugging Face Spaces 上架設。這實現了無伺服器依賴的輕量 LLM 推論。
直接匹配不多,已補上最新動態。
Tag: #browser-inference4 results

輕量 290MB 的 1-bit 量化 Bonsai 1.7B 模型現可在網頁瀏覽器中使用 WebGPU 完全本地運行。Demo 由 webml-community 在 Hugging Face Spaces 上架設。這實現了無伺服器依賴的輕量 LLM 推論。

Cohere 推出語音轉文字模型,在 OpenASR 排行榜英文項目領先,支援 14 種語言。WebGPU 示範使用 Transformers.js 在瀏覽器中完全本地運行。Hugging Face 上有原始碼和示範。
Kuma 是一個新的編譯器專案,旨在將 PyTorch 模型轉換為可攜式、獨立的套件,透過 WebGPU 在瀏覽器中執行。該專案目標是消除模型部署時對 Python 和伺服器端環境的依賴。

Qwen 發布 Qwen 3.5 Small 多模態模型,尺寸從 0.8B 到 9B,適合設備端應用。演示使用 Transformers.js 在 WebGPU 瀏覽器本地運行 0.8B 變體。視覺編碼器為主要瓶頸,但能運行已相當出色。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬,第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用,但隨著 Anthropic 接近早期市場飽和,其高速成長已經放緩。
中國多項臨床試驗正利用腦機介面,協助脊髓損傷患者站立與行走,並讓失明患者恢復有限的視覺感知。試驗結果差異很大,凸顯這項技術的潛力,以及目前在訊號採集、解碼與復健方面的限制。

據報 Alibaba 正合併電商業務、整合雲端與晶片業務,並將 Qwen 拆分為獨立子公司。報導亦涵蓋 Unitree 計畫登陸科創板、Anthropic 據傳的年化營收,以及 Alibaba 持續投入 AI 對利潤與現金流造成的壓力。

California 與其他 28 個州指控 Meta 設計 Facebook 和 Instagram 使其具成癮性、違反兒童隱私法,並隱瞞相關做法。檢方將其涉嫌採取的策略概括為「吸引、留住、收集、隱瞞」。

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。

Cloudflare 推出 Agent Tracing,支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異,因此開發者在設定可觀測性時需要檢查各框架的個別設定。