DeepSeek addresses model hallucinations caused by special characters

DeepSeek的模型架構基於Transformer，並進行了深度優化，例如引入稀疏注意力機制和動態路由網絡以提升效率和性能。
DeepSeek-V3和DeepSeek-V4採用了混合專家（MoE）架構，其中DeepSeek-V3總參數達6710億，每次激活370億參數。DeepSeek-V4則有8或16個專家。
DeepSeek-V3還整合了多頭潛在注意力（Multi-head Latent Attention, MLA）技術，這是一種記憶體優化策略，用於壓縮和儲存Key和Value張量，以降低KV Cache的記憶體佔用。
DeepSeek-V4引入了壓縮稀疏注意力（Compressed Sparse Attention, CSA）等先進架構創新，顯著降低了記憶體成本，實現了高效的長上下文處理，並支援高達100萬詞元的上下文窗口。
模型幻覺的根本原因之一在於LLM處理文本的方式，特別是詞元化（tokenization）方案，特殊字符可能干擾此過程，導致模型難以區分用戶輸入和系統指令。
針對此類問題的緩解策略包括輸入淨化（input sanitization）、對抗性訓練（adversarial training）和輸出過濾（output filtering）。

AI模型將更注重輸入魯棒性與安全性。

特殊字符引發的幻覺問題凸顯了模型對惡意或非預期輸入的脆弱性，促使開發者加強輸入處理和安全訓練。

模型訓練將納入更複雜的特殊字符處理與對抗性訓練數據。

DeepSeek已表示將通過針對性訓練來增強模型對特殊字符的識別與處理能力，這將成為未來模型優化的重要方向。

開源模型社群將受益於此類問題的公開與解決方案的分享。

DeepSeek作為開源AI的領軍者，其問題的公開與修復經驗將為其他開源模型提供寶貴的參考，共同提升行業標準。

2023-07

DeepSeek公司成立，由幻方量化創立。

2024-01

DeepSeek LLM（包含7B/67B Base和Chat版本）及DeepSeek-Coder發布。

2024-12

DeepSeek V3發布，採用MoE架構，性能對標GPT-4o，並在FP8訓練和多詞元預測方面取得突破。

2025-01

DeepSeek-R1發布，專注於推理能力，定義了「慢思考」技術標準，並透過GRPO和純強化學習進行優化。

2025-08

DeepSeek V3.1 (Terminus) 發布，重點修補中英混合輸出問題並增強Function Calling能力。

2026-05-19

DeepSeek發布關於特殊字符引發模型幻覺的說明，澄清不涉及安全或隱私問題，並承諾進行技術修復。

DeepSeek 說明特殊字符引發模型幻覺之技術原因