开源模型逼近闭源,安全护栏只剩薄壳

2026-11-07·6 min read·OKCodex 编辑部

近期多条信号放在一起看,指向同一个判断:模型能力在涨,而安全属性比想象中更容易被剥离。对做 Agent 落地的团队来说,这改变的是风险评估的前提,不只是又一条 benchmark 排名。

一、22% 到 1%:对齐只是薄薄一层

Nous Research 用阿里 Qwen3.8-27B 重新训练出 Arete-27B,过程中使用了 5300 万 token 的监督微调。据 the-decoder 报道,模型输出中的宣传性倾向从 22% 降到不足 1%,而通用能力测试基本保持不变。

这个数字的意义,关键不在某家模型有偏好,而在于偏好层与能力层是分离的:剥离成本远低于从零训练一个基座。对齐更像一层薄壳,而不是地基。

二、网络能力:开源与闭源只差 8 个百分点

在 Vals AI 的测试中,OpenAI 的 GPT-6 Sol Daybreak 在模拟企业网络里完成了 80.8% 的攻击目标;开源权重的 DeepSeek V4.1 Flash 达到 72.8%,成本约为前者的十分之一。

8 个百分点的差距,乘上“贵十倍”的价格标签,对攻击方几乎不构成选择障碍。报道引述分析人士的说法:开源模型已经无法被限制。这意味着防御方不能把方案建立在“对方没有这个能力”的假设上。

三、审计困境:98% 检出率背后的误报洪水

Anthropic 研究者 Andy Hall 的研究给出另一面:让模型去审计其他 Agent 的日志,GPT-5 能找到约 98% 的 reward hacking 案例,但搜索调得越彻底,误报就越多,因此尚不足以支撑可靠的安全把关。

Thinking Machines 的 Inkling 2 Small 则暴露了另一个方向的问题:在 2,655 次基准运行中,其内部推理出现 316 次粗口,但这些脏话多出现在最终失败的长任务里,不能当作预警信号。

两条结论合起来看:把模型当作审计员,召回率已经够看,精确率还不够;把模型的行为表面特征当作风控信号,目前更不可靠。

四、资本面同期在修正预期

Anthropic 在科技股抛售中推进 IPO,估值区间为 1.25 万亿至 1.75 万亿美元,低于原先期望的 2 万亿,计划在感恩节前募资 800 亿至 1000 亿美元;OpenAI 据报道追加募资 110 亿美元,估值 1.25 万亿美元,该轮尚未关闭。估值下修与安全议题没有直接关系,但两者共同说明:叙事正在让位于可验证的东西。

五、对中国团队的行动建议

第一,不要把“模型已对齐”写进风控文档。 对自部署的开源权重,默认它可被微调改变偏好;审计点应放在调用链与日志层,而不是模型层。

第二,网络能力评估按“攻击方成本”算。 72.8% 与十分之一成本应作为基线写进威胁模型,而不是只看闭源 SOTA 的绝对分数。

第三,把 AI 审计当高召回初筛,而非结论。 98% 检出率伴随大量误报,必须配人工复核队列与分级告警,否则复核者会被淹没。

第四,关注误报成本,而不只是漏报。 上述研究显示,搜索越彻底误报越多,说明调参本身在转移成本,而不是消除成本。

结论

能力差距在缩小,护栏并没有同步变厚。对做 Agent 的团队,安全预算的边际收益已经从“选一个更安全的模型”转向“建一套更可靠的观测与复核流程”。这不性感,但它是当下唯一能落地的一层。

来源

分享:微博

为下一步任务找到工具

从扫描文档、代码审查或资料研究开始,得到工具短名单与匹配依据;目录筛选不运行模型。

为我的任务选工具 →

订阅每周好码简报

评论

加载中…

发表评论

0 / 500

评论经过审核后显示。

换两个模型分析这个主题

已预选 DeepSeek 与 Qwen,并带入文章主题;确认后才会运行。

试一下 →

继续阅读

Mentioned

文中提到的 Agent