難以作弊程式碼基準測試揭露 LLM 極限

增強重點摘要

• •EsoLang-Bench包含五種冷門程式語言：Brainfuck、Befunge-98、Whitespace、Unlambda和Shakespeare，每種語言各80題問題（每難度等級20題）。[1]
• •論文於2026年3月發布（arXiv:2603.09678），作者為Sharma等人，並提供GitHub儲存庫(https://github.com/Lossfunk/EsolangBench)供重現實驗。[[7]](#cite-7)[8]
• •基準強調僅輕鬆難度題目有解題成功，中高難度及額外困難題目所有模型均為0%，Kimi K2在Befunge-98僅得1.2%。[1]

技術深入

• •基準使用類似HumanEval風格的問題，每語言80題，分為Easy、Medium、Hard、Extra-Hard四級，每級20題。
• •評估配置包括零樣本（Zero-shot）和三樣本少樣本（3-shot ICL），僅Easy級有成功率，中高級全0%。
• •測試語言經濟上不理性，避免預訓練資料洩漏，專注真實程式碼推理而非記憶。
• •GitHub儲存庫提供完整基準實現和模型評估腳本。[8]

前景展望基於引用來源的 AI 分析

時間線