開源LLM紅隊與安全研究基準測試

🔑 增強重點摘要

• •Qwen2.5-Coder-32B-Instruct 被駭客用於 LAMEHUG 惡意軟體，透過 Hugging Face API 產生基於描述的命令，用以收集受害者系統資訊並透過 SFTP 或 HTTP 外洩[1][5]。
• •該模型訓練資料包含超過 5.5 兆 tokens，涵蓋 92 種程式語言，比例為 70% 程式碼、20% 文字、10% 數學，來源自 GitHub 儲存庫、拉取請求與 Kaggle 資料集[4]。
• •在評估基準如 HumanEval（164 個 Python 任務）、MBPP（974 個程式問題）與 LiveCodeBench（超過 600 個程式問題）中表現優異，涵蓋程式碼生成、完成、推理與除錯能力[4]。

🛠️ 技術深入

• •架構：密集 Transformer，32.5 億參數，64 層，支持最高 131,072 tokens 上下文長度[2]。
• •關鍵技術：RoPE（Rotary Position Embedding）位置編碼、SwiGLU 激活函數、RMSNorm 正規化、Attention QKV bias[2]。
• •部署效能：使用 vLLM 時，平均 21.32 tokens/秒，256 tokens 文字生成延遲 10.32 秒，冷啟動時間 40.17 秒[2]。
• •輸入/輸出：文字輸入（字串格式），支援 max_tokens、repetition_penalty（預設 1.18）、temperature（預設 0.6）、top_p、top_k 等參數[2][6]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線