Heretic Grimoire: 9kb text files to preserve LLMs forever

•Heretic Grimoire 系統透過整合 IPFS 等去中心化基礎設施，確保即使模型從中心化平台下架，其發布檔案和簽名也能被去中心化地檢索，從而增強了其韌性。
•儘管 'reproduce.json' 檔案僅有 9kb，但它包含了重建模型所需的所有資訊，且模型再現過程通常只需約一分鐘，無需重新執行數小時的原始模型計算。
•由 Philipp Emanuel Weidmann 創建的 Heretic 專案因其能夠在不到 10 分鐘內「去審查」Meta 的 Llama 3.3 等模型而受到主流媒體的廣泛關注，甚至收到了 Meta 的法律通知。
•一位 Heretic 貢獻者開發的應用程式已經保存了超過 10 個已從 Hugging Face 移除的模型，證明了 Grimoire 系統在模型保存方面的即時有效性。

Heretic 採用定向消融（directional ablation），也稱為「消除」（abliteration）的參數化變體，並結合由 Optuna 驅動的 TPE（Tree-structured Parzen Estimator）參數優化器。
該過程涉及識別每個 Transformer 層中的特定矩陣（目前為注意力輸出投影和 MLP 下行投影），並針對相關的「拒絕方向」對其進行正交化。
「拒絕方向」是透過計算「有害」和「無害」範例提示的第一個 token 殘差之間的差異平均值來確定的。
Heretic 在消除拒絕行為的同時，共同最小化拒絕數量和與原始模型的 KL 散度，以最大限度地保留模型的智能。
它支援大多數密集模型，包括多模態模型、多種 MoE（Mixture-of-Experts）架構，甚至一些混合模型如 Qwen3.5，但目前不支援純狀態空間模型或某些研究架構。
該工具內建評估功能，可使用 MMLU 和 GSM8K 等標準指標對去審查模型與原始模型進行基準測試。
Heretic 支援使用 bitsandbytes 進行模型量化（例如 bnb_4bit），以顯著減少所需的 VRAM。
'reproduce.json' 檔案包含重建模型所需的所有資訊，且重建過程通常只需約一分鐘，無需重新執行原始模型數小時的計算。
在模型再現過程中，Heretic 會檢查使用者環境與模型創建時的環境是否匹配，並指出潛在的問題。

監管機構對 AI 模型安全性的傳統假設將受到挑戰。

Heretic 證明了安全對齊是可移除的，且移除工具越來越簡單，這意味著 RLHF 和憲法 AI 等技術可能更多地充當內容過濾器而非深層行為改變。

去中心化模型儲存和再現將成為對抗中心化平台審查和下架風險的關鍵策略。

Heretic Grimoire 系統的推出，以及對 IPFS 等去中心化基礎設施的採用，旨在確保即使模型從 Hugging Face 等平台移除，也能永久可用。

社區驅動的「去審查」模型生態系統將持續擴大。

Heretic 專案已促成超過 3,500 個「去審查」模型的建立，並被下載超過 1,300 萬次，顯示了對此類模型的大量需求和社區參與。

2025-11

Heretic 專案首次發布，作為自動移除語言模型審查的工具。

2026-05

Heretic 1.3 版本發布，引入了模型再現性功能和 VRAM 使用量減少。

2026-05

Heretic 專案因其「去審查」能力獲得主流媒體關注，並收到 Meta 的法律通知。

2026-06

Heretic 1.4 版本發布，引入「Heretic Grimoire」系統，用於去中心化模型再現資料儲存。

Heretic Grimoire：透過 9kb 文字檔永久保存 LLM