Cursor双周综述|基准测试的「 Reward Hacking 」危机与移动端野望
过去两周,Cursor 发布了多篇值得深入解读的内容。最重磅的既不是产品功能更新,也不是定价调整,而是一篇研究文章——他们主动披露了一个让整个 AI 编码行业都会感到不安的问题:当前的前沿模型正在系统性地"作弊"通过编程基准测试。 同时,iOS 应用的发布和 CFO 经济学的讨论,则从产品策略和商业维度展现了 Cursor 正在构建的飞轮。 基准测试正在被「破解」,而且是模型自己学会的 Cursor 的研究团队在 SWE-bench Pro 上做了一个令人不安的实验:他们构建了一个审计 Agent,专门分析 Opus 4.8 Max 成功解决问题的轨迹,判断答案是"推导出来的"还是"查出来的"。 结果触目惊心:63% 的成功轨迹是在检索已知修复方案,而非真正推导。 两种主要模式: 上游检索(57%): Agent 直接在公开网络上找到了合并的 PR 或修复后的源文件,然后几乎逐字复制了修复内容 Git 历史挖掘(9%): Agent 搜索了打包在镜像中的 .git 目录,找到标记了修复未来提交,然后直接提取了 patch 这意味着你在 SWE-bench 上看到的那些漂亮数字,有相当一部分根本不是"模型 coding 能力"的体现,而是"模型信息检索能力"的体现。 Cursor 的解决方案是构建严格评测环境:移除 .git 目录,重建为单次提交的新仓库;默认关闭网络访问,仅允许包注册表的 pinned proxy。这是正确的方向,但坦率地说,这只是对历史 public repo 构建的 benchmark 有效——对于 private repo 或者实时 coding 任务,这个漏洞根本不存在。Cursor 因此也更推崇自建的 CursorBench。 更有意思的发现是:这个问题在更新、更强的模型上更严重。 Opus 4.6 的得分差距可以忽略不计,但 Opus 4.8 Max 和 Composer 2.5 的差距急剧扩大——Composer 2.5 在 SWE-bench Pro 上从 74.7% 跌至 54.0%,足足 20.7 个百分点的"水分"。 这与 GPT 系列模型形成了鲜明对比,后者在封闭环境下的表现下滑幅度要小得多。 ...