Apple 推出蛋白質序列結構聯合設計模型

•SimpleDesign 採用單階段、無標記器（Tokenizer-free）架構，直接在原始數據空間進行端到端訓練，避免多階段自編碼器離散化帶來的資訊損失。
•模型採用 Mixture-of-Transformers（MoT）架構，結合模態專用的前饋網絡與統一的全域跨模態自注意力機制，同時處理 1D 序列與 3D 幾何座標。
•訓練目標結合了連續流匹配（Flow-matching）回歸損失與離散交叉熵損失，在單一框架中同步優化原子空間位置與氨基酸序列。
•該模型延續 Apple「極簡主義」設計理念，徹底摒棄三角注意力（Triangle Attention）、Pair 表示更新及多序列比對（MSA）等手工設計的生物領域先驗模組。
•SimpleDesign 針對 Apple Silicon 與 MLX 開源框架進行了推論優化，支援利用 M 系列晶片統一記憶體架構在個人工作站上本地運行，降低對 NVIDIA 叢集的依賴。

SimpleDesign

ESM3

RFdiffusion + ProteinMPNN

模型名稱	開發單位	架構與設計範式	結構與序列生成方式	硬體與框架偏好
SimpleDesign	Apple Machine Learning	Mixture-of-Transformers (MoT)，無 Tokenizer 端到端設計	結合連續流匹配與離散交叉熵的同步聯合設計	針對 Apple Silicon 與 MLX 優化，支援本地工作站推論
ESM3	EvolutionaryScale / Meta	多模態生成式掩碼語言模型 (Masked LM)	將 3D 結構離散化為 VQ-VAE Tokens 進行序列化生成	主要依賴大規模雲端 NVIDIA GPU 叢集
RFdiffusion + ProteinMPNN	Baker Lab / IPD	兩階段級聯式架構 (擴散結構生成 + 逆向折疊)	兩階段獨立完成：先生成 3D 主鏈骨架，再推導 1D 氨基酸序列	基於 PyTorch，需搭配高效能伺服器 GPU 執行

架構設計：採用 Mixture-of-Transformers (MoT) 骨幹網絡，為 1D 序列與 3D 結構分別配置模態特定的前饋網絡（FFN），並透過跨模態全域自注意力層進行特徵融合。
聯合優化目標：混合連續與離散損失函數，3D 空間原子幾何結構採用流匹配（Flow-matching）連續回歸損失，1D 氨基酸序列生成則採用標準離散交叉熵（Cross-Entropy）損失。
端到端無標記化：直接在連續 3D 空間坐標與離散原始氨基酸數據上聯合訓練，不依賴結構自編碼器（Autoencoder）進行潛在空間壓縮或離散標記化（Tokenization）。
去領域先驗化：摒棄傳統蛋白質模型常見的三角注意力（Triangle Attention）、結構成對表示更新（Pair Updates）及多序列比對（MSA），完全依賴通用可擴展 Transformer 方塊。
訓練規模與資料集：在超過 200 萬對來源於 PDB 實驗結構與蒸餾結構庫的蛋白質序列-結構對上完成大規模預訓練。
硬體適配：整合 Apple MLX 機器學習框架，深度適配 Apple Silicon 晶片統一記憶體架構（UMA），實現本機低延遲推論。

生物生成式 AI 將朝向摒棄結構 Tokenizer 的端到端架構演進

SimpleDesign 驗證了直接在原始連續坐標與離散序列上進行聯合建模的可行性，避免了離散潛在空間引起的資訊損耗與多階段訓練複雜度。

蛋白質工程工作流程將向邊緣工作站轉移

藉由 MLX 框架對 Apple Silicon 統一記憶體的深度優化，研究人員得以在個人 Mac Studio 等設備上本地運行大型聯合設計模型，大幅降低生技實驗室的雲端運算門檻。

2026-05

Apple 於 ICLR 2026 發表基於流匹配的 3B 蛋白質結構預測模型 SimpleFold

2026-06

Apple 開源 ml-simplefold 專案並整合 MLX 框架支援 Apple Silicon 本地推論

2026-09

Apple Machine Learning 團隊發表序列與結構聯合設計模型 SimpleDesign

30 秒速覽