Search

Tag: #open-source-llm20 results

🔬

Nanochat 對 Llama 從頭訓練比較

一位研究人員分享使用 Nanochat 在歷史資料上進行預訓練和 SFT 的成功經驗,但指出其與 transformers 的相容性差。考慮切換至 Llama 架構與 Hugging Face 的 trainer,以提升互通性和開源可存取性,用於更大資料集。尋求最佳選項建議,包括 Nanochat 匯出腳本。

Reddit r/MachineLearningCommunityApr 24#open-source-llm
Page 2 of 2