🇭🇰SCMP Technology•最新收集於 30m
中國 AI 的下一個瓶頸：高品質訓練資料
💡中國 AI 競賽的限制可能來自資料品質，而不只是先進晶片取得能力。
⚡ 30-Second TL;DR
有什麼變化
中國 AI 開發者正逐漸耗盡高品質中文訓練資料。
為什麼重要
對模型開發者而言，若合適的中文資料日益稀缺，單純擴充運算資源可能無法帶來同等的能力提升。企業可能需要加大對資料授權、品質過濾、合成資料及多語言訓練策略的投資。
下一步行動
立即稽核中文語料庫，檢查授權狀態、去重程度、來源品質及基準測試表現，再擴大模型訓練規模。
誰應關注：Researchers & Academics
關鍵要點
- •中國 AI 開發者正逐漸耗盡高品質中文訓練資料。
- •資料取得能力正與先進晶片限制並列為戰略性瓶頸。
- •資料短缺可能威脅中國大規模訓練下一代 AI 模型的能力。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •中國政府已開始推動「公共數據資源開發利用」政策，試圖將政府部門與國有企業持有的數據轉化為可供 AI 訓練的標準化數據集。
- •由於中文互聯網內容存在大量的「數據孤島」與封閉生態（如微信、淘寶），導致爬蟲技術難以獲取高品質的公開訓練語料。
- •合成數據（Synthetic Data）技術被視為緩解數據荒的關鍵，中國頂尖 AI 實驗室正加大對模型自我生成數據與數據增強技術的研發投入。
- •數據清洗與標註成本在中國 AI 產業鏈中佔比顯著提升，企業正轉向自動化標註工具以降低對人工標註的依賴。
- •學術界與產業界正合作建立「中文高品質語料庫聯盟」，旨在建立統一的數據標準與版權交易機制，以解決數據來源合法性問題。
🛠️ 技術深入
- 數據過濾技術：採用基於困惑度（Perplexity）與分類器（Classifier）的過濾算法，剔除低質量文本與垃圾信息。
- 合成數據生成：利用強模型（如 Qwen 或 DeepSeek 系列）生成邏輯推理數據，並通過反饋循環（Feedback Loop）進行質量篩選。
- 數據增強：應用多模態對齊技術，將圖像、視頻與文本描述進行配對，以擴充多模態模型的訓練數據庫。
- 數據去重：使用 MinHash 與 LSH（局部敏感哈希）算法處理大規模語料庫，防止模型過擬合重複數據。
🔮 前景展望AI analysis grounded in cited sources
合成數據將佔據中國 AI 訓練數據總量的 40% 以上。
由於高品質自然語言數據獲取困難，模型自我生成的合成數據將成為擴展模型規模的主要途徑。
數據合規與版權審查將成為中國 AI 企業上市的必要條件。
隨著監管趨嚴，數據來源的合法性與隱私保護將直接影響企業的商業化進程與合規性評估。
⏳ 時間線
2023-05
中國國家互聯網信息辦公室發布《生成式人工智能服務管理辦法（徵求意見稿）》，強調訓練數據來源的合法性。
2024-01
中國工業和信息化部等部門發布指導意見，明確提出構建高質量工業數據集以支持 AI 發展。
2025-03
多個中國 AI 領軍企業聯合發布中文高品質數據標準，試圖解決行業內數據格式不統一的問題。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： SCMP Technology ↗