过去几天的 AI 动态里,最值得注意的不是某一个模型参数又变大了,而是 Agent 进入真实工作流后,行业开始集中补一组更难但更关键的基础件:长程评测、运行治理、权限审计和持续学习。
这说明 Agent 的竞争正在越过“能不能调用工具”的阶段。真正的问题变成:它能不能在 12 小时、24 小时甚至更长任务里保持目标;能不能在失败后修正;能不能让企业知道它用了什么权限、改了什么系统、留下了哪些证据;以及能不能把真实执行经验安全地转化为后续改进。
一次性成功率已经不够用了
ByteDance Seed 开源的 EdgeBench 很有代表性。它没有继续只考一次性问答或单个 patch 是否通过,而是把 Agent 放进 134 个真实环境任务里,观察 12 到 72 小时长任务中的学习轨迹。这类评测的价值在于,它把 Agent 最容易被忽略的能力暴露出来:上下文膨胀后是否还能稳定推进,工具调用失败后是否会自我修复,长时间运行中是否会出现策略漂移。
这和传统 benchmark 的差别很大。一个模型可以在短题上表现很好,却未必能在持续任务里维持状态、成本和目标一致性。对于 coding agent、研究 agent、企业流程 agent 来说,后者才是生产环境真正关心的问题。
Agent 需要治理层,而不只是更强模型
同一方向上,Microsoft Defender 开始强调发现本地 AI coding agent、IDE 扩展和 MCP server,并提供运行时防护;MAS 与金融机构讨论金融 AI Agent 的安全框架;SnapLogic 则把企业集成 pipeline 转成 Agent 可调用的 MCP 工具。这些信号放在一起看,说明企业不会只购买“Agent 能力”,它们更需要发现、权限、审计、拦截和集成治理。
原因很简单:Agent 一旦接入文件系统、浏览器、代码仓库、CRM、财务系统或生产数据库,它就不再只是一个聊天入口,而是一个带着用户权限行动的非人类操作者。此时最危险的不是回答错一句话,而是在权限不清、日志不全、审批缺位的情况下,把错误操作以机器速度放大。
安全风险也变成了长程问题
最近关于 persistent-state AI control 和 SkillFuzz 的研究也指出了同一件事:Agent 攻击面不一定来自单次 prompt injection。攻击可以跨 PR、跨技能组合、跨长期状态慢慢埋伏;单个 skill 看起来无害,组合之后却可能产生越界意图。
这对 Agent 平台是一个提醒。只审核单个工具说明,或只在单轮对话里做安全过滤,已经不够。未来更重要的是组合级审计、跨提交差分、长期记忆检查、工具调用前的权限确认,以及可回放的执行轨迹。Agent 越能长期工作,安全评估就越要覆盖时间维度。
持续学习必须先有可控的数据链路
AReaL 2.0 则把问题推向另一面:如果 Agent 在真实工作中产生了大量成功和失败轨迹,如何把这些经验安全地转成训练或评测资产?它强调统一推理入口、轨迹记录、数据代理、权限控制、脱敏和自动评估,重点不是再做一个 Agent,而是给已部署 Agent 接上可治理的自我改进管线。
这一步很重要。企业当然希望 Agent 越用越好,但不能把生产日志粗暴扔进训练流程。真正可持续的做法,是先把任务目标、工具调用、执行结果、失败原因、人工反馈和权限边界结构化下来,再决定哪些内容可以进入评测集、哪些可以成为训练数据,哪些必须被过滤或脱敏。
我的判断
Agent 的下一轮竞争,不会只由某个更强模型决定。更可能拉开差距的,是谁能把长程评测、权限治理、执行审计、持续学习和成本控制做成一套稳定运行的系统。
对开发者和企业团队来说,这意味着工作流设计要改变:不要只问“用哪个模型”,还要问任务能否被长期评估,工具是否有最小权限,执行过程是否可回放,失败轨迹是否能沉淀为改进资产。没有这些基础件,Agent 越强,系统风险反而越大;有了这些基础件,Agent 才可能从演示工具变成真正可托付的生产成员。
参考来源:
ByteDance Seed:EdgeBench
EdgeBench 项目页
Microsoft:Securing local AI agents with Defender
SnapLogic:MCP Builder
AReaL Project
Distributed Attacks in Persistent-State AI Control
SkillFuzz