编程AI评估任务扩展至322个……三项考试分数占比相同

区块链文库报道：

Artificial Analysis 调整编码代理评估体系：任务量增至 322 项，评分标准全面升级

知名 AI 分析机构 Artificial Analysis 近日宣布，对其编码代理（Coding Agent）评估任务的数量进行了扩充，从原有的 290 个增加至 322 个。此次调整主要涉及代码仓库修改测试的任务量增加，以及命令行工作测试中评分验证器的更新。

截至 14 日，Artificial Analysis 在最新公开的“编码代理指数 v2.1”方法论中指出，该指数将三项测试的得分按相同权重进行汇总。与简单将所有任务得分相加取平均值不同，这种方法避免了因某项测试任务数量较多而赋予其过高权重的偏差，确保了评估的公平性。

v2.1 版本构成与评估逻辑

新的 v2.1 版本由以下三个部分的任务组成，总计 322 个任务：

• FrontierCode-AA 2.0： 评估开源仓库的修改能力，包含 132 个任务。
• Terminal-Bench 4.1： 考察命令线环境下的多步骤操作能力，包含 66 个任务。
• SWE-Atlas-QnA-AA： 评估阅读代码库并回答问题的能力，包含 124 个任务。

每个任务的评估基于三次尝试的结果。该指数不仅关注单一模型的正确率，更综合反映了代理在不同类型工作中的整体表现。

代码修改测试任务显著增加

总任务数增加的主要原因在于 FrontierCode 测试的升级。在之前的 v2.0 版本中，FrontierCode v1.1 仅包含 100 个任务；而在 v2.1 版本中，FrontierCode-AA 2.0 扩展至 132 个任务。其他两项测试的任务数量保持不变，因此全部 32 个新增任务均来源于此。

FrontierCode-AA 2.0 的核心评估标准是：实际应用于开源仓库的代码变更，是否具备被维护者合并的价值。如果未能通过必要检查，或者使用了外部来源的所谓“正确答案”代码，该尝试将被记为零分。

命令行测试验证器重构

Terminal-Bench 4.1 保持了与 4.0 版本相同的 66 个任务和执行环境，但对评分验证器进行了重大改进。针对代理在命令行中执行多步骤操作所生成代码的评分过程得到了全面优化。

具体而言，代理生成的代码将在具有较低权限的独立进程中运行，以确保安全性与隔离性。同时，修正了此前可能导致正确解决方案被错误淘汰的验证条件。Terminal-Bench 团队表示，除了发布新版本外，他们还使用新的验证器对存储在 4.0 版本中的历史结果进行了重新评分。这意味着，两个版本之间的差异不仅体现在任务数量上，也体现在评分机制的根本变化上。

问答测试保持稳定

SWE-Atlas-QnA-AA 保持 124 个任务不变。与直接修改代码不同，该测试侧重于评估代理阅读代码库内容并准确回答问题的能力。在 v2.0 和 v2.1 版本中，该部分的任务数量保持一致。

成本计算方式调整与排名解读

Artificial Analysis 还调整了单次任务的成本计算方式。新的计算方法结合了模型供应商报告的令牌（Token）使用量与实际观测到的缓存命中率。由于评估任务、部分评分规则及成本估算公式发生了变化，不同版本间的分数差异不能简单地完全归结为模型性能的优劣。

此外，公开排名表中的每一项并非仅代表单一模型，而是代表特定的“代理配置”，包括推理设置和执行工具。即使使用相同的底层模型，不同的工具和配置组合也会导致最终得分的差异。

本报道旨在客观反映评估方法论的演进。继此前报道关于“奖励黑客”行为零分处理的 v1.4 版本修订后，本次 v2.1 版本进一步细化了代码修改和命令行操作的评分标准，旨在提供更精准、更贴近实际开发场景的代理能力评估。