Exploring Transforming Autoencoders for Dissertation Research

•Transforming Autoencoders (TAEs) 旨在解決卷積神經網路 (CNNs) 的局限性，特別是其透過最大池化 (max-pooling) 丟失關鍵位置和關係資訊的問題，這阻礙了對物體實體姿態和特徵之間關係的理解。
•TAEs 的核心創新是「膠囊」(capsule) 概念，每個膠囊不僅輸出一個標量激活值，還輸出一個「實例化參數」(instantiation parameters) 向量（例如姿態、光照、變形），描述視覺實體如何呈現，使網路能夠保持對變換的「等變性」(equivariance) 而非僅僅不變性。
•Geoffrey Hinton 等人於 2011 年發表的原始 Transforming Auto-Encoders 論文為膠囊網路奠定了基礎，其架構旨在學習輸出實例化參數向量的特徵，這被認為是處理位置、方向、尺度和光照變化的更有前景的方法。
•儘管最初的 TAE 架構在 2011 年可能因硬體限制和缺乏高效演算法而面臨挑戰，但後來在 2019 年出現的 Stacked Capsule Autoencoders (SCAEs) 等進展，透過明確參數化仿射變換，在無監督物體分類方面展現了具有競爭力的結果。

TAEs 由多個「膠囊」組成，每個膠囊學習識別並空間定位一個視覺實體。
每個膠囊包含兩個主要層：一個「識別層」(recognition layer) 和一個「生成層」(generation layer)。
識別層的輸出包括：
- 其學習到的視覺實體的 x 和 y 座標（或更複雜的變換矩陣，如 3x3 仿射變換）。
- 一個門控值 p，表示該實體存在的機率。
生成層以轉換後的 x 和 y 座標（或轉換後的矩陣 TA，其中 T 是已知的變換矩陣）作為輸入。
它輸出一個「部分」圖像。
每個膠囊輸出的部分圖像會乘以其門控值 p，然後與所有其他部分圖像結合，生成最終的轉換圖像。
網路可以訓練來預測完整的 2D 仿射變換（平移、旋轉、縮放和剪切）。
訓練過程涉及前向傳播、透過反向傳播計算梯度，以及透過隨機梯度下降更新參數，將重建的輸出 y 與轉換後的目標 x' 進行比較。
TAEs 的目標是讓識別單元將輸入映射到一個動態為線性的表示，然後生成單元在膠囊姿態線性變換後映射回觀察域。
TAEs 追求「等變性」，即實例化參數應隨特徵的變換而可預測地改變。

Transforming Autoencoders 的研究興趣可能會重新興起。

自 2011 年以來，計算能力的提升和新的演算法洞察可能會克服先前的實作挑戰，使原始概念更具探索的可行性。

TAEs 的等變性原則和向量輸出（膠囊）將繼續影響更穩健和可解釋的神經網路架構的發展。

這些概念直接解決了傳統 CNNs 在理解空間關係和物體變換方面的局限性，這對於進階電腦視覺任務至關重要。

未來的研究可能會專注於將 TAE 概念與現代 Transformer 架構或先進的自監督學習方法相結合。

基於 Transformer 的自編碼器（如 MAE）已經利用自注意力機制來捕捉複雜的依賴關係，將其與 TAE 明確的變換處理相結合可能會產生強大的模型。

1980s

Geoffrey Hinton 引入了自編碼器 (Autoencoders) 的概念。

2011-06

Geoffrey E. Hinton、Alex Krizhevsky 和 Sida I. Wang 發表了《Transforming Auto-Encoders》論文，奠定了膠囊網路的基礎。

2017

Sabour 等人引入了「膠囊間動態路由」(Dynamic Routing Between Capsules)，被視為膠囊網路的正式定義，並在 TAEs 的基礎上發展。

2019

Stacked Capsule Auto-encoders (SCAEs) 被引入，結合了 TAEs 和 EM Capsules 的思想，在無監督物體分類方面取得了競爭性成果。

2021-11

發表了《Quantised Transforming Auto-Encoders》論文，研究如何在深度網路中純粹從數據實現對任意變換的等變性。

探索用於論文研究的 Transforming Autoencoders