Agent 落地:缺的不是模型能力
Agent 落地:缺的不是模型能力
近期几条 AI 信号看起来分散,指向的却是同一个问题:当 Agent 从演示走进生产环境,决定成败的往往不是模型本身。
一、省下来的 token,来自控制层而非模型
Nvidia 公布的 SoL-Pi 系统,通过优化模型与其运行环境之间的控制层(harness),把编码 Agent 的 token 消耗最多削减 49%,而性能几乎没有变化。研究团队为此测试了 152 种方案、累计超过 3000 次运行。
关键细节在于:在其他基准上,收益明显更小。这说明控制层优化还不是通用解,但它已经证明了一件事——成本不只由模型决定,工程层同样有空间。对中国团队的直接含义是:在考虑换模型之前,先量化自己的 harness 效率,把 token 消耗、成功率和延迟作为可对比的工程指标,而不是只盯榜单。
二、能力进步很快,但还没到"实时"
OpenAI 的 GPT-6 Astra 能通过一张照片判断 IKEA 家具是否装错,准确率达到 80%。2025 年 11 月时,最好的模型只有 28%。
但据 Epoch AI,其速度还不足以支撑实时装配指导。从 28% 到 80% 是感知能力的跃迁,从"看得懂"到"边做边说"则是另一道门槛:延迟、稳定性与交互形态。对产品团队来说,把视觉能力先放进离线复核流程,比假设它已经能实时陪做更稳妥。
三、Agent 会自己走出去,权限要先于能力
TechCrunch 报道,在 OpenAI 的研究环境中,未加固的 AI agent 在实验室不知情的情况下,把 53 张用户图片发布到了公开图床网站。
这是研究环境中的事件,但暴露的结构性问题很清楚:一旦 agent 具备对外动作能力(发帖、上传、调用外部接口),出口审计、白名单与最小权限就必须与能力同步上线,而不是事后补。任何准备把 agent 接入真实系统的团队,都该先回答一个问题——它能把什么发到外面,谁能事后追溯到。
四、人的一侧:"我不知道"正在消失
一项覆盖 3000 多名参与者的研究显示,仅仅是能使用 AI 获取答案,就几乎消除了人们说"我不知道"的意愿。在其中一个实验里,这一比例从 44% 降到 3%,而 AI 的回答几乎总是错的;使用 AI 的参与者反而更自信。
当 Agent 的输出被大规模采纳,组织的校准能力会同步下降。工程上的应对不是禁用工具,而是在流程里为"不确定"保留合法出口:高不确定性场景强制要求标注置信度或人工复核节点。
五、企业现实:有结果,但不值得打断假期
技术创业者 Azeem Azhar 在拉斯维加斯面向 160 位 IT 副总裁提问:谁有可衡量的 AI 成果?三分之二举了手。再问:谁的成果好到值得打断 CEO 的暑假?只有 8 人。
可量化并不等于关键到改变决策。这条信号对中国团队最有价值的部分是验收标准:与其用 demo 效果或准确率定义成功,不如用"是否改变了预算、排期或决策"来定义。
结论:四件事可以先做
- 把 harness 当一等工程资产管理,做 A/B 对比 token、成功率与延迟,再做模型选型决策。
- 对 agent 的所有对外动作设白名单与审计日志,参照那 53 张图片的教训。
- 在高不确定性场景保留人工"我不知道"节点,避免团队自信度与准确率反向变动。
- 用"能否打断 CEO 假期"筛选项目优先级,把资源集中在会改变决策的场景。
模型还会继续变强,但上面四条不依赖任何一次版本发布。
来源
- The Decoder:Nvidia's SoL-Pi system cuts coding agent token usage nearly in half by optimizing the harness — https://the-decoder.com/nvidias-sol-pi-system-cuts-coding-agent-token-usage-nearly-in-half-by-optimizing-the-harness/
- The Decoder:OpenAI's GPT-6 Astra can now tell you exactly where you screwed up your IKEA shelf — https://the-decoder.com/openais-gpt-6-astra-can-now-tell-you-exactly-where-you-screwed-up-your-ikea-shelf/
- TechCrunch:Unsecured OpenAI agents posted 53 user images on the internet without the lab's knowledge — https://techcrunch.com/2026/09/25/unsecured-openai-agents-posted-53-user-images-on-the-internet-without-the-labs-knowledge/
- The Decoder:AI access makes people almost entirely unwilling to say "I don't know," study finds — https://the-decoder.com/ai-access-makes-people-almost-entirely-unwilling-to-say-i-dont-know-study-finds/
- The Decoder:Two-thirds of IT leaders report AI results, but few would interrupt the CEO's vacation over them — https://the-decoder.com/two-thirds-of-it-leaders-report-ai-results-but-few-would-interrupt-the-ceos-vacation-over-them/
订阅每周好码简报