大模型评测应该看哪些指标 💬 去评论
优先看 Terminal-Bench 3.0/4.0、DeepSWE v1.1、NL2Repo-Bench、Agents’ Last Exam 这几项,因为它们最贴近真实编码/Agent 工程场景;GPQA、HLE 这类纯知识题参考价值较低。
应该重点看的
Terminal-Bench 3.0 / 4.0
- 测的是模型在真实终端环境里完成多步骤任务的能力(装环境、调命令、debug)
- 版本号越新代表任务越难、越贴近真实运维/开发场景
- 注意看这张表里各模型在 2.1→3.0→4.0 的分数跳水幅度,能看出旧基准是否已经“刷满”、失去区分度(比如 DeepSeek V4-Pro 从 87.9 掉到 12.4,说明 2.1 已经饱和,3.0/4.0 才是真实差距)
DeepSWE v1.1
- 类似 SWE-bench 思路,测真实仓库级 bug 修复
- 直接对应“修 issue、提 PR”这类日常工作
NL2Repo-Bench
- 测从自然语言需求生成完整仓库/项目的能力
- 对应“从零搭项目”场景,比单函数生成更接近实际开发
ProgramBench
- 综合编程任务基准,可作为辅助交叉验证
Agents’ Last Exam
- 测复杂多步 agent 任务,是当前公认较难、较少被“刷分”污染的基准
- 分数普遍偏低(20-30 分段)说明区分度还在,可信度较高
Automation-Bench / HLE (w/tools)
- 测带工具调用的实际执行能力,而不是纯知识问答
- 更接近你实际用模型跑 agent pipeline 的场景
可以次要参考的
Codeforces / MathArena Apex
- 反映纯算法/竞赛编程能力,和“写业务代码”相关度有限,除非你的场景涉及大量算法题
CyberGym / SEC-Bench Pro / ExploitGym
- 安全/漏洞相关,除非你做安全工程,否则跟你的场景关系不大
参考价值较低,不建议作为主要依据
GPQA Diamond / HLE(纯文本)
- 测的是学术知识问答,和写代码/工程能力关联弱2
Chartography / BabyVision / ZeroBench-main
- 带(w/tools)且名字看是多模态/图表理解类,除非你的 pipeline 涉及图像输入,否则不用看
看这张表时的额外注意点
- 星号(
*)标注的 HLE 只测了纯文本子集,和别家全模态测试的 HLE 分数不是同一口径,不能直接横向比 - “-” 代表未测试,不代表该模型该项差,不要误读成 0 分
- Terminal-Bench 从 2.1 到 4.0 的分数断层是关键信号,说明这几个版本可能是同一系列基准的“加难重制版”,应把最新版本(4.0)当作主要参考,旧版本仅做趋势参考
正文来自 GitHub issue,评论请前往原文。