Follow the Mean: New Reference-Guided Flow Matching

•「Follow the Mean」引入了一種新穎的控制介面，透過範例進行模型調整，避免了傳統可控生成方法中常見的微調、輔助網路或測試時搜尋的需求。
•該論文提出了兩種形式的參考引導：參考均值引導（Reference-Mean Guidance）是免訓練的，它從參考庫計算閉合形式的終點均值校正，並應用於凍結的FLUX.2-klein (4B) 模型，實現對顏色、身份、風格和結構的控制；而半參數引導（Semi-Parametric Guidance）則透過顯式均值錨點和學習到的殘差細化器來實現，在AFHQv2上匹配無條件DiT-B/4的品質。
•流匹配模型通常比擴散模型在採樣速度上更有效率，通常只需要5到15次模型呼叫（前向傳播）即可生成高品質圖像，而擴散模型可能需要數百次去噪步驟。
•「Follow the Mean」的核心思想是透過改變模型所遵循的參考集來引導預訓練模型，以隱式方式整合參考集的特徵，而無需明確存取分類器或獎勵函數。

📊 競品分析▸ Show

特徵/基準	Follow the Mean (流匹配)	擴散模型 (Diffusion Models)
採樣效率	通常需要更少的步驟（5-15次模型呼叫）即可生成高品質圖像，速度更快。	通常需要數百次去噪步驟，採樣速度較慢。
生成路徑	學習確定性的速度場，產生平滑、直接的路徑，將雜訊直接轉換為清晰圖像。	學習逆轉隨機雜訊過程，透過數百個微小的隨機步驟逐步將純雜訊轉化為圖像。
訓練穩定性	訓練可能較為複雜，若估計的速度場不夠準確，訓練可能不穩定；但現代方法如Rectified Flow已解決許多問題。	訓練極其穩定，去噪預測損失簡單且表現良好，多年來不斷完善。
分佈靈活性	可以學習任意來源分佈和目標分佈之間的映射，實現更廣泛的應用，如圖像到圖像的轉換。	通常需要高斯分佈作為來源分佈來構建特定的機率路徑。
控制機制	透過改變參考集來引導預訓練模型，實現免訓練的控制，無需微調或輔助網路。	傳統上依賴微調、輔助網路或測試時搜尋，或使用分類器自由引導（Classifier-free guidance）。

流匹配模型旨在學習一個連續的速度場，該速度場將樣本從雜訊分佈傳輸到資料分佈。
它透過求解常微分方程（ODEs）來定義確定性路徑，這與擴散模型通常涉及隨機微分方程（SDEs）形成對比。
學習目標是透過回歸速度場來訓練模型，通常使用均方誤差損失函數。
「Follow the Mean」透過調整後驗分佈的「終點均值」（endpoint mean）來控制生成過程，該終點均值是給定帶雜訊插值點的資料點後驗分佈的均值。
參考均值引導（Reference-Mean Guidance, RMG）透過從參考庫計算閉合形式的終點均值校正來實現，並將其應用於凍結的預訓練模型。
半參數引導（Semi-Parametric Guidance）則透過一個顯式的均值錨點和一個學習到的殘差細化器來實現相同的概念。
流匹配中的速度場指向終點均值，因此移動此均值也會改變生成的樣本分佈。
流匹配可以被視為通用流基生成模型的一個子類，其目標是使用傳輸映射Ψ將基礎分佈傳輸到目標分佈。

生成模型將實現更精確且免訓練的內容控制。

「Follow the Mean」的參考均值引導機制允許透過範例直接調整生成結果，而無需額外訓練，這將簡化內容創作流程。

流匹配技術將加速生成式AI在即時應用中的普及。

流匹配模型固有的高效率採樣能力，結合參考引導的靈活控制，使其非常適合需要快速響應和動態調整的應用場景。

生成模型將朝向基於資料適應而非參數更新的方向發展。

該論文強調透過改變參考集來引導預訓練模型，而非依賴傳統的微調或輔助網路，預示著模型適應性將更多地透過資料互動實現。

2022

Rectified Flow論文發表，提出透過「reflow」過程學習更直的生成路徑。

2023

Lipman等人發表原始的Flow Matching論文，奠定流匹配生成模型的基礎。

2023-11

「Guided Flows for Generative Modeling and Decision Making」論文將分類器自由引導整合到流匹配模型中。

2024-01

劍橋MLG部落格發布流匹配介紹，闡述其結合連續正規化流（CNFs）和擴散模型（DMs）的優勢。

2024-12

Google AI團隊發表「Diffusion Meets Flow Matching」，闡明擴散模型與流匹配在數學上的等價性。

2026-05-12

「Follow the Mean: Reference-Guided Flow Matching」論文在alphaXiv上發布。

Follow the Mean：新型參考引導流匹配技術