Evaluating Large Language Models Trained on Code(论文)
按原文结构转述 Chen 等 2021 年 Codex 论文:HumanEval、pass@k、微调与限度。
Chen 等,2021,Evaluating Large Language Models Trained on Code。在公开 GitHub 代码上微调 GPT,得到 Codex。独立的生产版本驱动 GitHub Copilot 与 API。同篇论文交出的考卷见 HumanEval。
原文:arXiv:2107.03374(HTML、PDF)。
按原文结构转述 Chen 等 2021 年 Codex 论文:HumanEval、pass@k、微调与限度。
在公开代码上继续训练 GPT,写出可运行的函数。编码 Agent 的模型侧前提;核心不是运行时,评测停在函数级。