GluFormer提前11年預測糖尿病
《Nature》2026論文發表GluFormer，Transformer基礎大模型用自監督學習處理10k受試者超1000萬條CGM數據。優於HbA1c提前11年預測糖尿病/心血管風險，並生成逼真血糖曲線。僅短期數據即可個人化飲食/治療預測。
Search
Tag: #self-supervised7 results
Self-Flow 讓多模態訓練效率提升 2.8 倍
Black Forest Labs 發布 Self-Flow，這是一種自監督流匹配框架，讓多模態 AI 模型無需 CLIP 等外部教師，即可同時學習表示與生成。它使用 Dual-Timestep Scheduling 進行自蒸餾，在圖像、影片與音頻達到最先進成果。此技術比 REPA 標準收斂快 2.8 倍，且無高原效應。
🔬
何凱明團隊新作GeoPT，全新預訓練範式讓模型自學真實物理規律
何凱明團隊推出GeoPT，這是一種突破性的預訓練範式。它讓模型自主學習真實世界的物理規律。這將AI推向更直觀的物理理解。
清華大學繪出人類迄今最深宇宙深空圖
清華大學自動化系與天文系聯合團隊，依托自研時空自監督計算成像模型星衍，成功繪製出人類迄今最深邃的極致深空星系圖像。此突破超越天文觀測深度極限。相關成果發表於《科學》雜誌。
清華 AI 將韋伯望遠鏡推向宇宙更深處
清華研究人員開發的 ASTERIS AI 模型將詹姆斯·韋伯太空望遠鏡的深空成像深度提升 1 個星等，等效於 10 米口徑。它發現超過 160 個宇宙大爆炸後 2 至 5 億年的高紅移候選星系，是先前發現的三倍。該成果發表於《科學》雜誌，為自監督模型並跨望遠鏡兼容。
GluFormer範式遷移生態學AI
分析顯示GluFormer自監督框架遷移至生態學，處理FLUXNET通量等無標註時序數據。解決靜態指標局限，無需註解即可早期預測生態風險。分詞適配Transformer處理多尺度生態動態。
🔬
句子嵌入的自監督微調研究
貼文尋求在不改變Transformer且無標籤下，微調句子嵌入聚合操作以超越平均池化。強調適用於非NLP資料集的通用自監督策略。額外關注嵌入維度降低。