Synthesize Realistic 3D Medical Images at Scale

•NVIDIA 的 MAISI 模型是一個專為 3D 電腦斷層 (CT) 影像生成設計的 AI 基礎模型，能夠產生高解析度影像，涵蓋多達 127 種解剖類別及對應的分割遮罩，解決了醫學影像數據稀缺和隱私問題。
•MAISI 模型採用潛在擴散模型 (Latent Diffusion Models, LDMs) 來合成 3D 醫學影像，這些模型以其學習底層數據分佈並生成新穎、高擬真度樣本的能力而著稱。
•將 MAISI 生成的合成數據整合到分割模型的訓練中，已證明能顯著提升模型性能，針對不同腫瘤類型，Dice Score 提高了 2.5% 至 4.5%。
•NVIDIA 在合成數據方面的努力是其更廣泛策略的一部分，該策略還包括 MONAI 框架和聯邦學習 (Clara FL)，以應對醫療保健 AI 中的數據隱私和訪問挑戰。
•合成數據除了用於數據增強外，還能應用於模態轉換、對比度合成以及放射科醫師的專業培訓等新興領域。

NVIDIA 的 MAISI (Medical AI for Synthetic Imaging) 是一個三維 (3D) 潛在擴散模型 (Latent Diffusion Model, LDM)，用於生成高品質合成 CT 影像，可帶或不帶解剖學註釋。
該模型能夠生成高達 512 × 512 × 512 體素（或最新版本中高達 512 × 512 × 768 體素）的高解析度 3D CT 影像，體素間距可變，範圍從 0.5mm 到 5.0mm。
MAISI 可註釋多達 127 種解剖類別，包括骨骼、器官和腫瘤，並產生配對的分割遮罩。
為了生成高解析度 3D 影像，研究團隊訓練了一個基礎壓縮網絡（變分自動編碼器 - VAE），將 CT 和 MRI 數據高效壓縮到一個濃縮的特徵空間，作為潛在擴散模型的輸入。
在 MAISI Release 1.0.1 中，底層的 DDPM 噪聲調度器被 Rectified Flow 取代，將潛在擴散模型的推斷速度提高了 33 倍，總體影像生成速度提高了 10 倍。
NVIDIA MONAI 是一個開源的、基於 PyTorch 的醫學影像 AI 框架，整合了領域優化的數據加載器、豐富的轉換器以及 50 多個高品質預訓練模型，支援生成模型如擴散模型、自回歸變換器和 GANs。
MONAI 中的 Auto3DSeg 管線用於開發醫學影像分割解決方案，並可結合真實與合成數據進行訓練以提升模型性能。

合成數據的廣泛採用將加速醫學 AI 的發展。

合成數據解決了數據稀缺、隱私和註釋成本等關鍵問題，從而能夠更快地迭代和部署穩健的醫療保健 AI 模型。

醫學 AI 的監管框架將越來越多地納入合成數據的指導方針。

合成數據在臨床研究和 AI 模型訓練中的日益增長，需要更新的法律和嚴格的監督，以確保其真實性、多樣性和道德使用。

結合真實和合成數據的混合 AI 訓練方法將成為標準。

將合成數據與真實數據結合進行訓練已顯示出性能提升，並有助於緩解對合成數據的過度擬合，從而產生更具泛化能力的模型。

2018-00

NVIDIA 推出其 AI 平台 Clara，旨在增強醫學影像和基因組學。

2019-10

NVIDIA Research 與倫敦國王學院合作，推出首個用於醫學影像分析的隱私保護聯邦學習系統 (Clara FL)。

2020-00

NVIDIA 宣布計劃建造 Cambridge-1 超級電腦，專為醫療保健領域的 AI 研究而設計。

2022-04

NVIDIA 研究人員致力於克服擴散模型中緩慢採樣的挑戰，這是一種強大的生成模型。

2023-03

MONAI 啟動醫學影像生成式 AI 的研發，包括擴散模型和 GANs。

2024-06

NVIDIA 推出 MAISI，這是一個用於 3D CT 影像生成的 AI 基礎模型，透過合成數據解決醫學影像限制。

大規模合成逼真 3D 醫學影像