EXAONE 4.5 33B 模型現上 Hugging Face

🔑 增強重點摘要

• •EXAONE 4.5 由 LG AI Research 開發，強調其在韓語與英語雙語處理能力上的顯著優化，旨在提升企業級應用中的語言準確性。
• •該模型採用了 LG 獨有的數據處理技術，特別針對專業領域（如法律、醫療、金融）的知識檢索與生成進行了強化，以減少幻覺並提高事實準確度。
• •EXAONE 4.5 引入了更高效的架構設計，在保持 33B 參數規模的同時，透過優化的注意力機制（Attention Mechanism）顯著降低了長文本推理時的顯存佔用。

🛠️ 技術深入

• •架構：基於 Transformer 的解碼器架構，針對混合專家模型（MoE）或密集模型進行了特定優化以平衡推理速度與精度。
• •量化支持：原生支持 FP8 格式，旨在利用 NVIDIA H100 等現代 GPU 的 Tensor Core 加速，同時提供 GGUF 格式以兼容 llama.cpp 等本地推理引擎。
• •上下文窗口：支持擴展的上下文長度，通過改進的 RoPE（Rotary Positional Embeddings）技術實現，以處理長文檔分析任務。
• •訓練數據：使用了 LG 自有的多模態數據集，包含大量經過清洗的專業領域文獻與代碼庫。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線