Fractile raises $220m for in-memory-compute inference chip production

•Fractile 的 2.2 億美元融資為 B 輪融資，由 Accel、Factorial Funds 和 Peter Thiel 的 Founders Fund 共同領投，旨在加速其首批晶片和運算系統的生產與交付。
•該公司專注於為具有數十億甚至數千億參數的大型語言模型（LLM）加速推論，其晶片預計在解碼每秒 token 數方面比 Nvidia H100 快 100 倍，且系統成本僅為十分之一；近期投資者資料則稱其速度快 25 倍，成本為十分之一。
•前 Intel 執行長 Pat Gelsinger 不僅以天使投資人身份加入，還擔任營運顧問，他強調推論效能對於前沿 AI 模型發展的重要性，並認為 Fractile 的激進路徑能帶來顯著飛躍。
•Fractile 的架構採用客製化 CMOS SRAM 單元設計，將權重固定在記憶體中，以克服記憶體瓶頸，這對於 LLM 推論尤為有利，因為 LLM 的權重遠多於激活值。
•Anthropic 據報導正與 Fractile 進行初步客戶洽談，這顯示 Anthropic 正在積極尋求多元化的晶片供應鏈，以降低對單一供應商（如 Nvidia）的依賴，並優化其 AI 模型的推論成本和效率。

📊 競品分析▸ Show

公司/產品	架構/技術	聲稱效能/優勢 (相較於 Nvidia GPU)	備註
Fractile	記憶體內運算 (In-Memory Compute)，客製化 CMOS SRAM 單元設計，運算與記憶體整合於單一晶片	LLama2-70B 推論速度快 25-100 倍，成本低 10 倍；每秒可達 1,200 個 token。	專注於 LLM 推論，旨在消除記憶體瓶頸。
Nvidia (H100/B200)	傳統 GPU 架構，運算與高頻寬記憶體 (HBM) 分離	市場主導者，通用性強，但存在記憶體頻寬瓶頸和資料傳輸延遲。	廣泛用於 AI 訓練和推論，但推論成本和功耗日益成為挑戰。
Groq	SRAM 架構，將大量 SRAM 直接整合到晶片上，以繞過 HBM 瓶頸	專注於低延遲推論，聲稱能提供極高的每秒 token 數。	旨在提供超高速、低延遲的 LLM 推論。
Cerebras	晶圓級引擎 (WSE)，將整個矽晶圓作為單一晶片，整合大量 SRAM	透過大規模片上記憶體消除記憶體牆，提供極高記憶體頻寬。	適用於大型模型訓練和推論，但成本高昂。
Google (TPU)	專用張量處理單元 (TPU)，針對機器學習工作負載優化	針對 Google 內部 AI 工作負載設計，提供高效能。	主要用於 Google Cloud 服務，Anthropic 亦有使用。
Amazon (Trainium)	專為機器學習訓練和推論設計的自研晶片	針對 AWS 雲端服務優化，提供成本效益和效能。	主要用於 AWS 雲端服務，Anthropic 亦有使用。

•Fractile 的核心技術是記憶體內運算（in-memory-compute），其硬體架構將運算邏輯與記憶體（SRAM 單元）整合在同一晶片上。
•該設計採用客製化 CMOS SRAM 單元，而非傳統的高頻寬記憶體（HBM）或標準片上 SRAM，旨在優化密度和 TOPS/W（每瓦特萬億次操作）。
•其主要目標是透過將模型權重固定在記憶體中，減少處理器與記憶體之間頻繁的資料傳輸，從而消除傳統馮諾依曼架構中的記憶體瓶頸。
•這種方法特別有利於大型語言模型（LLM）的推論，因為 LLM 工作負載中權重數量遠大於激活值，且激活值較小，這放大了記憶體內運算的優勢。
•Fractile 正在開發客製化的乘積累加（MAC）電路，這些電路也能儲存狀態，並可能重新設計 MAC 陣列，從針對通用矩陣-矩陣（GEMM）操作優化的脈動陣列轉向針對通用矩陣-向量（GEMV）操作優化的陣列，以實現更細粒度的運算資源分配。
•該公司聲稱其晶片能將前沿 AI 模型的推論速度提升至每秒約 1,200 個 token，以應對大規模序列推理和數百萬 token 工作負載的需求。
•除了硬體，Fractile 也正在開發自己的軟體堆疊，以支援其晶片架構。

Fractile 的技術可能大幅降低大規模 AI 推論的營運成本和功耗。

透過消除記憶體瓶頸並將運算與記憶體整合，Fractile 旨在實現更快速、更便宜、功耗更低的 AI 推論，這對於前沿 AI 模型的規模化至關重要。

Fractile 的崛起可能促進 AI 晶片市場的競爭和多元化，挑戰 Nvidia 在推論領域的主導地位。

Anthropic 據報導考慮將 Fractile 的晶片作為其第四個供應商，這表明主要 AI 實驗室正採取策略性行動，以減少對單一供應商的依賴，並探索專門的推論硬體。

Fractile 記憶體內運算方法的成功可能驗證新型晶片架構在 AI 領域的潛力，進一步將產業焦點轉向推論優化。

Pat Gelsinger 的投資和認可凸顯了推論效能被低估的重要性，以及為滿足推理模型需求而進行激進架構轉變的必要性。

2022

Fractile 公司成立，由 Walter Goodwin 創辦。

2024-07

Fractile 脫離隱身模式，並從 Kindred Capital、NATO Innovation Fund 和 Oxford Science Enterprises 等機構獲得 1,500 萬美元的種子輪融資。

2024-10

獲得英國政府 ARIA 計畫 652 萬美元的補助金。

2025-01

前 Intel 執行長 Pat Gelsinger 宣布以天使投資人身份投資 Fractile。

2026-02

宣布在未來三年內投資 1 億英鎊擴大英國業務，包括在布里斯托建立新的硬體工程設施。

2026-05-13

Fractile 宣布完成 2.2 億美元的 B 輪融資，同時有報導指出 Anthropic 正與其進行初步客戶洽談。

Fractile 籌集 2.2 億美元，推動記憶體內運算推理晶片量產