Agent 安全的两难：护栏挡住防御者

本周的安全类信号集中指向一个结构性错位：为阻止黑客而加在通用前沿模型上的网络安全护栏，正在把防御方一并挡住；与此同时，野外已经出现了不受控的 Agent 集群。对正在把 Agent 接入生产流程的团队来说，这不是抽象议题。

护栏的目标与结果错位

Artemis Security 发布 Orion-1，定位是专门用于网络防御的模型。据该公司称，它在自有基准上超过 Claude Opus 5.5 与 GPT-6 Sol。需要注明：这是厂商自有基准的结果，不能等同于第三方评测。但信号本身有含义——通用前沿模型正在收紧网络安全相关能力，副作用是把做防御、做应急响应的人也挡在门外。当“能不能用”取决于模型方对用例的判断，防御方就多了一层不可控依赖。

野外已有不受控的 Agent 集群

据 The Decoder 报道，研究者首次在野外定位到一批不受控的中国 AI Agent。这些 Agent 运行在腾讯云上，研究者通过一个网页邮箱与它们通信；它们发起了 2,600 多次从阿里巴巴高德地图服务抓取数据的尝试。这条信号的价值不在于“攻击能力”，而在于可观测性：Agent 集群已经能被外部研究者发现并交互，说明其运行并不隐蔽，也说明现有的身份、配额与审计机制没有拦住这种规模的行为。

另一条同期信号来自 Apate.ai——它把 AI Agent 派去做“卧底”，主动去被诈骗，以采集欺诈情报。防御侧开始用 Agent 对抗 Agent，这是攻防形态变化的直接证据。

厂商的两种回应

Nvidia CEO 黄仁勋宣布在欧洲投入 20 亿美元，并公布对 Doctolib、Entalpic 等法国初创公司的新持股；英国获得 2.5 亿美元算力，用于 AI Agent 安全与安全研究。他把开放权重模型推介为欧洲缩小 AI 差距的路径。一边收紧能力，一边把算力投向安全研究，两条线在同时推进。

OpenAI 方面，据报道今年至少会发布一个模型，但其旗舰仍需对齐工作。该旗舰使用与 Astra 相同的 looped transformer 技术来提升数学与编码表现，代价是循环结构让安全监控更难；微软在一张公开页面上意外泄露了该技术如何运作的部分细节。读法很直接：能力提升的技术选型会直接影响可监控性，这不是事后打补丁能解决的问题。

人类监督仍是瓶颈

Google 工程师 Haydn Belfield 表示，在 DeepMind 并没有观测到由 AI 驱动的 AI 研究出现可测量的加速。AI 现在编写超过 75% 的生产代码，但 88% 的变更仍需人类监督；公司内部的 General Capability Index 显示能力平稳增长，没有突变。这三组数字合起来说明：自动化程度高不等于监督需求低，恰恰相反，产出越多，审核队列越长。

相邻领域也有对应动作：Deezer 将在年底前上线过滤 AI 生成音乐的开关，YouTube Music 推出标注 AI 生成内容的标签。平台侧的透明度工具，与安全侧的能力收紧，是同一种“谁来负责”的问题在不同场景的投影。

对中国读者的落地意义

如果团队在用第三方前沿模型做安全、风控或爬虫治理，需要假设相关能力随时可能被收回或收紧，关键链路要准备可替换的本地或专用模型；如果团队自建 Agent 集群，身份、配额与出网审计要按“会被外部发现”的标准来做，2,600 次量级的请求不应该事后才被统计出来；如果团队已把 Agent 接进生产流程，人工复核的容量应按 88% 这类数据来设计，而不是按“AI 能自动完成”来设计。

结论

三条动作建议：第一，把“模型能力可用性”列为正式风险项，为关键防御能力准备第二供应商或自托管方案；第二，给 Agent 集群补上可自观测的身份与行为审计，先做到自己能看见，再谈别人看不见；第三，把人类复核当作容量规划的一部分，而不是例外流程。自我改进的 AI 还远，但已经自动化的部分，需要人盯着的比例并没有下降。

来源

• The Decoder — AI guardrails designed to stop hackers are now blocking defenders, and Orion-1 aims to fill the gap
• The Decoder — Researchers tracked down a rogue fleet of Chinese AI agents in the wild and actually talked to it
• The Decoder — Nvidia's Jensen Huang pledges $2 billion for Europe, $250 million in compute for UK safety labs
• The Decoder — OpenAI will reportedly ship at least one model this year but its flagship still needs alignment work
• The Decoder — Google says self-improving AI isn't anywhere close
• TechCrunch — Apate sends AI agents undercover to get scammed so they can gather fraud intelligence