New Open Multilingual Dataset for AI Development

•該數據集以 CC0-1.0 公共領域授權發布，顯著降低了法律使用障礙，促進了其在 AI 研究與開發中的廣泛採用和創新，這與其他需要遵守原始許可條款的許可代碼數據集形成對比。
•與 GitHub 之前發布的 CodeSearchNet 等主要專注於程式碼的數據集不同，這個新數據集特別包含來自 README、Issue 和 Pull Request 的多語言開發者內容，為 AI 模型提供了更豐富的開發者工作流程和自然語言上下文理解。
•此數據集旨在支援 AI 研究，延續了 GitHub 在開放數據方面的歷史，例如 2019 年發布的 CodeSearchNet 挑戰，該挑戰提供了六種程式語言的六百萬個開源函數，用於程式碼檢索研究。

📊 競品分析▸ Show

特性/數據集名稱	內容類型	授權模式	規模/語言數量 (若有)
GitHub 全新多語言數據集 (本文)	README、Issue、Pull Request (多語言開發者內容)	CC0-1.0 (公共領域)	儲存庫層級數據集，多樣化語言
The Stack (BigCode Project)	程式碼檔案、GitHub Issue、元數據 (358 種程式語言)	寬鬆許可 (需遵守原始許可條款)	超過 6.4 TB
GitHub Code (Hugging Face: codeparrot/github-code)	程式碼檔案 (32 種程式語言，60 種擴展)	多種許可 (例如 ISC)	1 TB，1.15 億個程式碼檔案
CodeSearchNet (GitHub)	函數與相關文檔 (Go, Java, JavaScript, PHP, Python, Ruby)	開源許可	600 萬個函數
Hugging Face Datasets Hub	各種 AI 任務的數據集 (音頻、視覺、NLP 等，467 種語言和方言)	各異	數百個數據集，規模各異
Google Research Datasets (GitHub)	各種 AI 任務的數據集 (例如 AI 術語詞彙表、多語言 LLM 偏差數據集)	各異 (例如 CC BY 4.0)	數量和規模各異

CC0-1.0 授權將加速 AI 模型在理解開發者溝通方面的研究與開發。

公共領域專用權消除了法律障礙並簡化了數據使用，與具有更複雜許可條款的數據集相比，促進了更廣泛的採用和創新。

基於此數據集訓練的 AI 模型將能更好地理解開發者工作流程和軟體專案中的自然語言上下文。

透過包含 README、Issue 和 Pull Request，該數據集提供了超越程式碼本身的豐富上下文資訊，使 AI 能夠掌握程式碼變更和專案討論背後的『原因』和『方式』。

該數據集可能催生更複雜的多語言 AI 工具，用於程式碼審查、文檔生成和專案管理。

來自各種開發者互動的多樣化多語言內容為訓練 AI 提供了基礎，使其能夠在不同的語言環境中協助處理需要程式碼和自然語言理解的任務。

2019-09

GitHub 推出 CodeSearchNet 挑戰，並發布包含六百萬個開源函數的數據集，用於程式碼檢索研究。

2022-03

GitHub Code 數據集 (codeparrot/github-code) 從 Google BigQuery 上的公共 GitHub 數據創建。

2022-11

BigCode Project 發布 The Stack 數據集，包含超過 6TB 的寬鬆許可開源程式碼。

2023-06

研究報告《GitHub 上的開放數據：釋放 AI 潛力》強調 GitHub 是 AI 研究開放數據的主要託管平台。

2026-03

GitHub 宣布更新 Copilot 互動數據使用政策，從 4 月 24 日起，Copilot 免費、專業和專業+ 用戶的互動數據將預設用於訓練 AI 模型，除非用戶選擇退出。

2026-06

GitHub 發布全新的開放多語言儲存庫層級數據集，包含來自 README、Issue 和 Pull Request 的內容，並採用 CC0-1.0 授權。

用於 AI 開發的全新開放多語言數據集