DeepSeek Clarifies 'Random Output' Bug as Model Hallucination

📊 競品分析▸ Show

模型/公司	模型類型	總參數量 (Activated)	上下文長度	訓練成本	開源狀態	主要優勢/備註
DeepSeek-V2	MoE	236B (21B)	128K	相較DeepSeek 67B節省42.5%	開源	經濟高效的訓練與推理，KV快取大幅壓縮，吞吐量提升
DeepSeek-V3	MoE	671B (37B)	128K	低於600萬美元	開源	訓練效率高，單token成本比GPT-4低95%以上，性能與GPT-4o相當
DeepSeek-R1	MoE (推理優化)	670B (未知)	128K	較低	開源	推理能力強，性能與GPT-4及o1相當，但幻覺率高於V3
DeepSeek-Coder-V2	MoE	236B (21B) 或 16B (2.4B)	128K	未知	開源	程式碼智能任務性能與GPT-4 Turbo媲美，支援338種程式語言
OpenAI GPT-4	密集型	未公開 (估計1.7T)	8K-128K	超過1億美元	閉源	廣泛的通用能力，市場佔有率高，推理能力強
Google Gemini	密集型/MoE	未公開	1M-2M (Gemini 2.0 Pro)	未知	閉源	多模態能力強，上下文視窗大，推理速度快
Anthropic Claude	密集型	未公開	200K	昂貴	閉源	分類準確性高，長文本處理能力強
Meta Llama 3	密集型	8B, 70B	8K	未知	開源	支援多模態，推理能力增強，詞彙量擴大

混合專家 (MoE) 架構: DeepSeek模型（如V2、V3、R1、Coder-V2）主要採用MoE架構，透過動態選擇部分專家子網路來處理輸入，以提高效率和可擴展性。
多頭潛在注意力 (MLA): 這是一種創新的注意力機制，透過將鍵值 (KV) 快取壓縮為潛在向量，顯著減少KV快取需求，從而提高推理效率。
DeepSeekMoE: 專為經濟高效的訓練和推理設計的MoE架構，包含細粒度專家分割、共享專家隔離以及透過額外損失項進行負載平衡的策略。
多token預測 (MTP) 訓練目標: DeepSeek-V3採用此訓練目標，允許模型一次預測多個token，以強化訓練訊號並提升整體性能。
FP8 混合精度訓練: DeepSeek-V3利用FP8精度進行訓練，以在計算限制下實現擴展定律。
128K 上下文長度: DeepSeek-V2、V3、R1和Coder-V2均支援128K的長上下文處理能力，其中DeepSeek-R1透過YaRN技術從V3-Base繼承並擴展上下文長度。
旋轉位置嵌入 (RoPE): 用於位置編碼。
預歸一化 (Pre-normalization): 在每個Transformer子層之前使用RMSNorm。
專家並行化 (Expert Parallelism): 將專家分佈在多個GPU上，以實現可擴展的訓練。
設備級token丟棄策略: DeepSeek-V2在MoE負載平衡中引入此策略，當token數量超過設備容量時，會丟棄多餘的token。
群組相對策略優化 (GRPO): DeepSeek-V2在RLHF階段採用GRPO演算法，取代了傳統的DPO。

DeepSeek將持續投入於提升模型對異常輸入的魯棒性。

官方已明確表示將透過針對性訓練來增強模型對特殊字符的識別與處理能力，這表明對此類問題的持續關注和改進。

AI模型幻覺問題將促使業界更重視訓練數據的品質與模型接地氣能力。

此次事件再次凸顯了AI幻覺的普遍性及其潛在風險，將推動開發者在模型訓練中更加注重數據的全面性、無偏性及真實世界知識的整合。

DeepSeek的開放原始碼策略將繼續對AI市場產生顛覆性影響。

DeepSeek以其低廉的訓練成本和開放原始碼模型，已證明其能與頂級閉源模型競爭，這將鼓勵更多創新並可能促使整體AI服務成本下降。

2023-07

DeepSeek公司由梁文鋒創立

2023-11

DeepSeek LLM（7B/67B參數）作為開源模型發布

2024-05

DeepSeek-V2聊天機器人模型發布，因成本效益在中國市場廣受歡迎

2024-12

DeepSeek-V3發布，這是一個擁有671B參數的MoE模型

2025-01

DeepSeek-R1推理模型及其聊天機器人應用程式推出，並在1月27日成為美國iOS App Store下載量最高的應用程式

2026-04

DeepSeek-V4預覽版發布，具備百萬字超長上下文處理能力

DeepSeek 回應「亂回」漏洞：確認為模型幻覺而非安全問題