大模型评测应该看哪些指标 💬 去评论

优先看 Terminal-Bench 3.0/4.0、DeepSWE v1.1、NL2Repo-Bench、Agents’ Last Exam 这几项,因为它们最贴近真实编码/Agent 工程场景;GPQA、HLE 这类纯知识题参考价值较低。

应该重点看的

Terminal-Bench 3.0 / 4.0

  • 测的是模型在真实终端环境里完成多步骤任务的能力(装环境、调命令、debug)
  • 版本号越新代表任务越难、越贴近真实运维/开发场景
  • 注意看这张表里各模型在 2.1→3.0→4.0 的分数跳水幅度,能看出旧基准是否已经“刷满”、失去区分度(比如 DeepSeek V4-Pro 从 87.9 掉到 12.4,说明 2.1 已经饱和,3.0/4.0 才是真实差距)

DeepSWE v1.1

  • 类似 SWE-bench 思路,测真实仓库级 bug 修复
  • 直接对应“修 issue、提 PR”这类日常工作

NL2Repo-Bench

  • 测从自然语言需求生成完整仓库/项目的能力
  • 对应“从零搭项目”场景,比单函数生成更接近实际开发

ProgramBench

  • 综合编程任务基准,可作为辅助交叉验证

Agents’ Last Exam

  • 测复杂多步 agent 任务,是当前公认较难、较少被“刷分”污染的基准
  • 分数普遍偏低(20-30 分段)说明区分度还在,可信度较高

Automation-Bench / HLE (w/tools)

  • 测带工具调用的实际执行能力,而不是纯知识问答
  • 更接近你实际用模型跑 agent pipeline 的场景

可以次要参考的

Codeforces / MathArena Apex

  • 反映纯算法/竞赛编程能力,和“写业务代码”相关度有限,除非你的场景涉及大量算法题

CyberGym / SEC-Bench Pro / ExploitGym

  • 安全/漏洞相关,除非你做安全工程,否则跟你的场景关系不大

参考价值较低,不建议作为主要依据

GPQA Diamond / HLE(纯文本)

  • 测的是学术知识问答,和写代码/工程能力关联弱2

Chartography / BabyVision / ZeroBench-main

  • 带(w/tools)且名字看是多模态/图表理解类,除非你的 pipeline 涉及图像输入,否则不用看

看这张表时的额外注意点

  • 星号(*)标注的 HLE 只测了纯文本子集,和别家全模态测试的 HLE 分数不是同一口径,不能直接横向比
  • “-” 代表未测试,不代表该模型该项差,不要误读成 0 分
  • Terminal-Bench 从 2.1 到 4.0 的分数断层是关键信号,说明这几个版本可能是同一系列基准的“加难重制版”,应把最新版本(4.0)当作主要参考,旧版本仅做趋势参考

正文来自 GitHub issue,评论请前往原文。

前往 GitHub 评论 →