多模態 AI最新動態

能看、能聽、能說的模型正在取代純文字系統。覆蓋視覺語言模型、原生音頻與視頻理解進展。

354 篇文章

編程

Anthropic 推出 Claude Opus 4.7 模型

Anthropic 推出最強一般可用模型 Claude Opus 4.7。它在進階軟體工程、複雜編碼、影像分析、指令遵循及創意文件生成表現優異。

The Verge · 156 天前

基建

Cloudflare AI 平台：專為代理設計的推理層

Cloudflare 將 AI Gateway 發展為 AI 代理的統一推理層。開發者現在可呼叫 14+ 提供者的模型。

Cloudflare Blog · 156 天前

模型

LLM-HYPER 解決冷啟動廣告 CTR

LLM-HYPER 將大型語言模型視為超網路，透過少樣本思維鏈提示生成冷啟動廣告的無訓練 CTR 模型參數，利用多模態內容。使用 CLIP 嵌入擷取相似活動作為示範。

ArXiv AI · 156 天前

音訊

為 AI 代理新增語音管線

Cloudflare Agents SDK 的實驗語音管線支援 WebSockets 即時語音互動。提供連續 STT 和 TTS。

Cloudflare Blog · 157 天前

應用

Qwen 推出免費 Excel 生成代理

阿里巴巴 Qwen 助手推出免費試算表代理。可從自然語言提示、圖像或 PDF 在數分鐘內生成與編輯 Excel 檔案。

Pandaily · 157 天前

音訊

llama-server 加入 Gemma-4 語音轉文字支援

llama.cpp 的 llama-server 現支援使用 Gemma-4 E2A 和 E4A 模型進行語音轉文字 (STT)。此更新為本地 LLM 伺服器帶來音訊處理功能。

Reddit r/LocalLLaMA · 160 天前

研究

中國團隊打造36.4萬超聲AI數據集

中國團隊打造首個大規模超聲專屬數據集，包含36.4萬圖文對。此數據集讓AI真正理解超聲影像的臨床診斷語義。

量子位 · 160 天前

影片

阿里巴巴重組AI組織開發HappyHorse影片模型

阿里巴巴正在重組其AI組織，同時開發HappyHorse，這款排名頂尖的影片模型。此舉支持涵蓋AI模型、雲端服務及應用程式的更廣泛推進。

Pandaily · 162 天前

應用

MiniMax 推出 MMX-CLI 用於 AI 代理自動化

MiniMax 推出 MMX-CLI，這是一款專為 AI 代理自動化設計的命令列介面。它讓 AI 代理能夠自主執行完整的多模態工作流程。

Pandaily · 163 天前

應用

Google在日本啟動「Gemini for Home」早期存取

Google在日本推出「Gemini for Home」早期存取，取代Google Assistant。處理模糊指示、文脈對話，用於音樂、家電及智慧攝像頭分析。

ITmedia AI+ (日本) · 163 天前

開源

Sentence Transformers 多模態嵌入與重新排序模型

Hugging Face 宣布整合 Sentence Transformers 的多模態嵌入與重新排序模型。這些模型可處理文字與影像資料，提升檢索與排序任務效能。

Hugging Face Blog · 163 天前

音訊

使用 Amazon Nova 嵌入建構智慧音訊搜尋

本文解釋音訊嵌入和 Amazon Nova 多模態嵌入，用於語意音訊搜尋。提供索引和查詢音訊庫的程式碼，實現生產就緒系統。

AWS Machine Learning Blog · 164 天前

應用

Grok 打破語言障礙並支援提示編輯照片

X 推出由 Grok 驅動的自動翻譯功能，打破語言障礙。同時引入 AI 照片編輯器，使用簡單文字提示即可調整圖像。

Digital Trends · 164 天前

影片

HappyHorse 即將開源，擊敗 Seedance 2.0

阿里巴巴的 HappyHorse 多模態模型即將發布開源權重，在 Artificial Analysis 擊敗 Seedance 2.0。支援文字轉影片、圖像轉影片及音頻，8 步推論達 720p。

Reddit r/LocalLLaMA · 164 天前

研究

MedGemma 1.5 推進醫學多模態 AI

MedGemma 1.5 4B 在 MedGemma 1 基礎上擴展，支援高維醫學影像如 CT/MRI 體積與病理全切片，加上解剖定位與多時間點 X 光分析。它取得重大進展：3D MRI 分類提升 11%、病理 macro F1 達 47%，並改善臨床 QA 與 EHR 理解。

ArXiv AI · 164 天前

研究

TRACE-KG：從複雜文件建構無預定義知識圖譜

TRACE-KG 是一個多模態框架，從複雜文件建構上下文豐富的知識圖譜與誘導架構，而無需預定義本體。它透過結構化限定詞捕捉條件關係，並確保完全可追溯至來源證據。

ArXiv AI · 165 天前

開源

OpenClaw 2026.4.5 新增影片與音樂生成工具

OpenClaw 2026.4.5 為代理程式引入內建 video_generate 和 music_generate 工具，支援 ComfyUI、Google Lyria 和 MiniMax 等提供者。它移除舊版設定別名，並透過 openclaw doctor --fix 提供遷移支援，同時新增 12 種語言的多語系 UI。

OpenClaw (GitHub Releases) · 166 天前