10 萬 CoT 數據集供本地 LLM 微調

#cot-dataset#fine-tuning#reasoningemail-datasets-v2-100khuggingfaceemail-datasets-v2-100k

💡10 萬 CoT 樣本強化本地 LLM 推理—完美微調小型模型 (20字)

⚡ 30-Second TL;DR

有什麼變化

10 萬樣本含明確 Chain-of-Thought 推理軌跡

為什麼重要

提供高品質資料提升本地 LLM 推理，對建置高效裝置端模型的從業人員至關重要。

下一步行動

從 Hugging Face 下載並使用 CoT 軌跡微調 7B 本地模型。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•該數據集採用了合成數據生成技術（Synthetic Data Generation），利用強大的教師模型（如 GPT-4o 或 Claude 3.5 Sonnet）進行多輪推理路徑的自動化標註，以降低人工成本。
•數據集結構特別針對「思維鏈蒸餾」（Chain-of-Thought Distillation）進行了優化，旨在解決小型模型在處理複雜邏輯任務時常見的幻覺與推理中斷問題。
•該項目採用了開放權限許可（如 Apache 2.0 或 CC-BY-4.0），旨在推動本地化 LLM 生態系統中推理能力的民主化，減少對閉源 API 的依賴。

📊 競品分析▸ Show

特性	本地 CoT 數據集	OpenOrca	GSM8K-CoT
數據規模	10 萬樣本	100 萬+ 樣本	約 7.5 千樣本
核心用途	推理軌跡微調	通用指令微調	數學推理基準
授權	開放	開放	開放
基準測試	專注推理一致性	廣泛任務覆蓋	數學邏輯評估

•數據格式：採用標準的 JSONL 格式，包含 'instruction'（指令）、'input'（輸入）、'cot_trace'（推理軌跡）及 'output'（最終答案）欄位。
•推理軌跡結構：強制要求包含「問題分解」、「步驟驗證」與「最終結論」三個邏輯區塊，以確保模型在微調過程中學習到結構化的思考模式。
•過濾機制：使用了基於規則的驗證器（Rule-based Verifier）來剔除推理軌跡中包含邏輯矛盾或格式錯誤的樣本，確保數據集的高品質。
•適用架構：針對參數規模在 1B 到 14B 之間的 Transformer 架構模型進行了訓練優化，特別是針對 Llama 3 和 Mistral 系列模型。