Search

Tag: #llm-inference43 results

全球首例 OpenClaw 太空算力操控地面機器人

國星宇航-上海交通大學太空計算聯合實驗室完成全球首個 OpenClaw 調用太空算力操控地面人形機器人試驗。透過自然語言指令上傳「星算」01衛星大模型進行在軌推理，下發決策至地面執行完整閉環。驗證太空算力為機器人/無人機等矽基智能體提供安全全球 AI 服務。

IT之家Media•Mar 19#space-ai#robot-control#open-source

NVIDIA Blackwell 於 STAC-AI LLM 推論創金融紀錄

NVIDIA Blackwell 平臺在金融交易的 LLM 推論方面創下 STAC-AI 新紀錄。它能精細分析新聞、社群媒體和財報等非結構化資料，產生交易洞見。此進展推動投資策略的 AI 自動化。

NVIDIA Developer BlogOfficial•Mar 5#llm-inference#finance-ai#benchmark

KCD 杭州站開放 CFP，共議 Agent 時代

KCD 杭州站已開放徵稿，邀請社群共同探討 Agent 時代的雲原生技術、可觀測性與大模型推理。這項活動面向希望分享或了解 AI Agent 基礎架構的技術從業者。

InfoQ中国Media•1d ago#cloud-native#observability#llm-inference

DecodeShare：識別大型語言模型解碼過程中的通用任務子空間

DecodeShare 是一項新的研究協議，旨在隔離大型語言模型在解碼階段隱藏狀態中低維度的通用任務子空間。透過干預此子空間，研究人員可以顯著影響模型效能，並提供比基於預填充（prefill）方法更可靠的激活導向（activation steering）手段。

ArXiv AIResearch•Jul 24#llm-inference#activation-steering

全球企業轉向低成本中國 AI 模型

全球企業正日益採用如 Zhipu 的 GLM-5.2 與 DeepSeek 的 V4 Flash 等中國開源權重模型，以降低 AI 基礎設施成本。由於這些模型在效能上具有競爭力且價格低於美國同類產品，它們在 Vercel 等平台上正獲得顯著的採用率。

SCMP TechnologyMedia•Jul 16#cost-optimization#llm-inference#open-weights

ExLlamaV3 v1.0.0 發布，效能大幅提升

ExLlamaV3 迎來首個正式生產版本，針對推論速度與硬體效率進行了重大優化。此次更新包含全新的注意力與 GEMV 核心，並增強了對現代模型架構的支援。

Reddit r/LocalLLaMACommunity•Jul 15#llm-inference#gpu-optimization#local-llm

NVIDIA 準備推出 GeForce RTX 5090 SE 顯示卡

報告指出 NVIDIA 正在準備即將推出的 RTX 5090 顯示卡的新款「SE」變體。這顯示基於 Blackwell 架構的消費級 GPU 產品線可能進一步擴充。

Reddit r/LocalLLaMACommunity•Jul 10#gpu#hardware#llm-inference

Akashic：具備 MemAttention 的低開銷 LLM 推論服務

Akashic 是一項新的 LLM 推論服務，利用 MemAttention 將數據組織成有界區塊，藉此優化長文本管理。它透過減少檢索碎片化並最小化 I/O 開銷來提高效率，無需重複重寫完整的互動歷史記錄。

ArXiv AIResearch•Jul 8#llm-inference#long-context#memory-optimization

Apple A20 Pro 或採用 96 位 LPDDR6 記憶體

傳聞 iPhone 18 Pro 將搭載的 A20 Pro 晶片可能採用 96 位 LPDDR6 記憶體匯流排。此升級旨在顯著提升本地大型語言模型與 Siri 的效能，打破蘋果長達 13 年的 64 位元設計傳統。

cnBeta (Full RSS)Media•Jul 5#mobile-ai#llm-inference