99% 与 26.4%:编程 Agent 的真实能力边界
两个数字之间的鸿沟
阿里推出的新编程 Agent 基准 Co-Design Bench 给出了一组刺眼的对照:在真实用户请求构成的测试集上,表现最好的模型 GPT-6 Astra 也只有 26.4% 的任务被完整解决——换句话说,接近四分之三的任务仍需要人类清理收尾。而在更早的基准上,同一批模型的得分却在 99% 以上。
这个基准的设计取向值得注意:它并非从零构造的合成题目,而是选取那些“在实际使用中已经让 Agent 失败过”的真实请求。当一个基准的题目来源本身就是事故现场,分数下滑就不是模型退步,而是过去被掩盖的失败被重新暴露出来。
旧基准为什么会失灵
99% 与 26.4% 同时成立,只能说明一件事:旧基准测的不是同一件事。合成题目往往边界清晰、上下文自足、验收标准单一,模型可以在一个封闭的假设空间里反复试探直到通过。真实请求则相反——需求本身可能有歧义,代码库有历史包袱,验收标准分散在用户、团队和运行时环境之间。
对工程团队的直接含义是:用公开榜单做选型决策,参考价值正在快速衰减。如果采购或技术负责人依据 99% 的分数预期一个“几乎无需人工”的工作流,26.4% 就是那条落地时才会撞上的线。
周末项目的另一面
同一周里,Andrej Karpathy 展示了另一种用法。他利用 Claude 的 Opus 5.5,把 4300 万条 Hacker News 评论过滤成 6454 个精选视频,用一个周末搭出了一个策展平台,并称其效果优于 YouTube 自身的推荐。
两个案例并不矛盾,差别在任务结构。Karpathy 的项目里,人负责定义目标、评价标准与取舍,模型承担的是大规模、可切分、可人工抽检的过滤劳动;而 Co-Design Bench 测的是端到端交付。Agent 在高吞吐的中间环节已经很可用,在需要承担最终正确性的收尾环节仍然脆弱。
Sutton 的提醒:算力不是答案
图灵奖得主 Richard Sutton 再次强调,单纯堆算力不足以通向智能,需要的是根本性的新学习方法。前 OpenAI 研究员 Tworek 的说法更尖锐:盲目扩张 transformer 规模“reward hack 了整整一代科学家的大脑”。
这组讨论与 26.4% 是同一枚硬币的两面。当基准饱和到 99%,领域会误以为通用能力已经就位;一旦换上真实分布,缺口立刻显现。与此同时,Anil Seth、Ned Block 与 Giulio Tononi 在《Nature》评论文章中主张,当前 AI 系统并不具备意识,也不会仅凭硅基硬件产生意识,他们认为“意识仅依赖计算”这一假设存在根本缺陷。这类判断与工程选型不必直接挂钩,但它提醒我们:不要用拟人化的直觉去预估 Agent 的可靠性边界。
给中国团队的行动建议
- 自建小样本真实集。 从自己产品过去三个月的失败工单里抽取 30–50 条请求,作为内部基准。它比任何公开榜单都更能预测你的实际返工率。
- 按任务结构分工,而非按模型分工。 把工作流拆成可抽检的中间环节(批量过滤、初稿生成、检索归纳)和需担责的收尾环节,前者可大幅交给 Agent,后者的验收必须留在人手里。
- 把“人类清理成本”写进评估表。 只统计任务通过率会高估收益;记录每次 Agent 产出所需的人工修改时长,才是真实 ROI。
- 对 99% 保持怀疑。 看到接近满分的基准时,先问它的题目从哪里来、验收由谁定义。
信号显示,行业正从“能力展示”转向“可靠性核算”。这个转向对落地者是好消息:真实差距被量化,才有可能被工程化地缩小。
来源
- AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder
- The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder
- Andrej Karpathy built a curated video platform in a weekend using Claude and 20 years of Hacker News — The Decoder
- The brain-as-computer metaphor shaped modern AI but may be misleading the consciousness debate — The Decoder
为下一步任务找到工具
从扫描文档、代码审查或资料研究开始,得到工具短名单与匹配依据;目录筛选不运行模型。
订阅每周好码简报