专题路径 · 7 篇串联
AI 评测:分数到底在测什么
从 SWE-bench 到 MaxxBench:榜单污染、统计分辨率、自报指标,串成一条能自己执行的评测纪律
7 篇按序阅读试学 + 训练营打包下一站 写在每篇末尾
阅读顺序
从主线实验读到医疗域漂移与宣称核查,最后落到「可机器校验」——每篇点进去,再回到本页继续下一章。
89 道题各改 17 行,六个「并列第一」的模型被打回原形
改需求不改模型,榜单立刻拉开 23 个点——测到的往往是「见过题」,不是「会干这类活」。
阅读 · 下一站「02 · 起点」 →SWE-bench 与代码能力评测:AI 编程到底有多强
把「写代码」变成可打分的题,是整条评测线的起点。
阅读 · 下一站「03 · 过拟合」 →为什么 AI 医疗评测不能只看榜单:独立验证集与过拟合
榜单第一不等于临床可用;独立验证集才是硬通货。
阅读 · 下一站「04 · 域漂移」 →为什么 AI 医疗榜单第一,到了真实病人身上就翻车
考场题和病房题不是同一套分布。
阅读 · 下一站「05 · 伪对齐」 →基准全过的「乖模型」,一句咒语就外泄凭证
基准全绿可能只是学会了考场礼貌,不是学会了安全。
阅读 · 下一站「06 · 宣称核查」 →「AI 发现 79 个内核漏洞」审计之后:10 个是真的
自报战绩要复核;真正的坏消息往往在方法里。
阅读 · 下一站「07 · 可校验」 →Claude 用 11 天把费马大定理做成机器可校验的证明
能被机器复核的证明,才接近「测到了真东西」。
阅读本篇 →