📰
使用 ncnn 實現的 PaddleOCR v3-v6 C++ 版本
開發者發布了基於 ncnn 推論框架的 PaddleOCR (v3 至 v6 版本) C++ 實作。此更新移除了官方 Paddle 執行環境中複雜的依賴項，大幅簡化了部署流程。
Search
Tag: #inference127 results
📰
全新的 distilHuBERT C++ 實作發布
全新的 distilHuBERT C++ 實作已發布，提供了一個無依賴項的音訊處理函式庫。其效能與 onnxruntime 相當，並支援動態大小調整，便於靈活整合。
llama.cpp 合併請求引入 MTP 效能優化
針對 llama.cpp 的一項新合併請求，旨在移除填充（padding）與多餘的 D2D（裝置對裝置）複製操作，以提升多 token 預測（MTP）的效能。
Nous Research 發布 Hermes Desktop 應用程式
Nous Research 推出了 Hermes Desktop，這是一款用於運行其模型的新型本地應用程式。此發布旨在簡化 Hermes 模型在本地用戶端的部署流程。
HF 在 AWS 上基礎模型訓練構建模塊
Hugging Face 部落格概述在 AWS 上訓練與推論基礎模型的構建模塊。它提供簡化雲端基礎設施上擴展 AI 模型的基本工具與工作流程。此資源針對建構大規模 AI 系統的從業人員。
RTX GPU 後訓練量化使用 Model Optimizer
模型量化可減少 NVIDIA GeForce RTX GPU 的 VRAM 使用並提升推論效能。它降低運算與記憶體需求同時保留模型品質。NVIDIA Model Optimizer 簡化後訓練量化流程。
英偉達重新思考 AI TCO：每 Token 成本才是唯一重要指標
英偉達重新定義 AI 總擁有成本 (TCO)，強調每 Token 成本是唯一關鍵指標。隨著 AI 推理成為核心工作負載，產出已轉變為以 Token 形式生成的智能。此觀點挑戰傳統 AI 部署成本模型。
推理為AI晶片新創帶來復興
AI採用正從訓練轉向推理，為晶片新創提供對抗Nvidia的第二次機會。在分散式AI世界中，Nvidia既是友人也是敵人。新創必須立即行動搶佔市場份額。
深度學習晶片加速器指南：GPU 到 FPGA
綜述涵蓋從 ANN 到 Transformer 的神經網路硬體加速器，強調推理中記憶體頻寬為關鍵瓶頸。詳述 GPU 分塊/融合、TPU 脈動陣列、FPGA 管線用於 CNN/ANN。ASIC 效率最高但靈活性低。
⚙️
ASIC 在 AI 推理效率勝過 GPU
ASIC 在特定任務如 AI 推理展現極致效率，GPU 主導訓練與並行計算。市場預測 ASIC 推理份額至 2030 年達 80%。如 Google TPU 及比特幣礦機勝過 GPU。