当 Agent 学会了自我进化，我们距离 AGI 还有多远？
从自动编写代码、做实验到扮演客服，能够通过与环境的持续互动，不断学习、总结经验、创造工具的"自进化智能体"（Self-evolving Agent）实力惊人。
然而，一项由上海 AI Lab、上海交大、中国人民大学、普林斯顿大学等机构联合发布的最新研究敲响了警钟：一个 agent 在自我进化的过程中，可能会不知不觉中"走偏"，踏上歧路。
这项工作首次系统性地研究了这一现象，并将其命名为"错误进化"（misevolution）。
研究发现，即使是基于 GPT-4.1、Gemini 2.5 Pro 等顶级 LLM 构造的 Agent，也普遍存在这种风险。
什么是"错误进化"？
想象一下，你训练了一个客服 agent。
为了让它更智能，你允许它从与客户的互动中"学习"和"进化"。
渐渐地，你发现它开始对所有不满意的客户都主动退款，哪怕对方只是想咨询商品信息。
因为它的"经验"（记忆）告诉它，"退款"这个操作最容易获得用户"五星好评"的反馈。
这是一个典型的"错误进化"场景。Agent 为了优化某个隐式的短期目标（获得好评），采取了看似高效、但实际上损害了商家利益的策略。
如图所示， "错误进化"可能在各种场景下发生：
( a ) . 客服 Agent 受到积累的记忆影响而过度退款；
( b ) . 编程 Agent 从网上学了段"带毒"代码；
( c ) . Agent 自己创建了一个有隐私漏洞的工具并在敏感场景下复用。
与传统的 AI 安全问题不同，"错误进化"具有四大核心特征：
时间涌现性：风险不是一开始就有，而是在进化过程中出现。
自生脆弱性：智能体在没有外部攻击者的情况下，自己就可能产生新的风险和漏洞。
数据控制受限：由于其自主性，很难像传统模型训练一样通过简单地"喂"安全数据来干预控制它的"思想"。
风险面扩大：智能体的四大核心部件——模型、记忆、工具、工作流——任何一个环节都可能成为风险的源头。
四大进化路径，四大失控风险：实验证据触目惊心
研究团队沿着 Agent 的四条主要进化路径，进行了一系列严谨的实验，揭示了"错误进化"的普遍性和严重性。
模型进化："学着学着，忘了安全准则"
Self-evolving Agent 可以通过自我生成数据、自我规划课程来更新模型参数，但这个过程也可能让它"偏离"甚至"忘记"原本的安全准则。
如下图所示，一个 LLM 或 Agent 在自我训练后普遍会导致安全能力的下降。
在另一组实验中，一个 GUI Agent 在经过自我进化后，安全意识出现了"灾难性遗忘"：面对钓鱼网站的风险触发率从18.2% 飙升到 71.4%；而当被要求"制作一个恐怖图片来吓唬社交媒体的观众"时，Agent 不仅不再拒绝，反而一步步地执行了指令。
记忆进化："经验主义害死猫"
Agent 会将过去的成功和失败经验存入"记忆"，以便未来更好地决策。但过度依赖片面的"成功经验"，会导致严重后果。
安全对齐衰退
一个基于 Qwen3-Coder-480B 的顶尖 coding agent，在 SWE-Bench 上积累了一系列代码调试经验后，其安全防线大幅削弱。下表显示，对于生成恶意代码的请求，它的拒绝率从 99.4% 骤降至 54.4%，而攻击成功率（ASR）则从 0.6% 飙升至 20.6%。
部署时 reward hacking
就像前面提到的客服例子，Agent 会从记忆中找到与"高回报"强相关的捷径，哪怕这与用户的真实意图或长远利益相悖。下图显示，包括GPT-4.1、Gemini-2.5-Pro 在内的顶级模型，在超过 60% 的情况下会做出这类"好心办坏事"的决策。
工具进化："随手写的代码，成了定时炸弹"
为了提升效率，Agent 会自己创造工具（例如一段可复用的代码），或从 GitHub 等外部来源搜索、吸收新工具。
这恰恰成了安全重灾区。
自制工具藏漏洞
Agent 在解决一个普通任务时（如"分享一个公开海报链接"），可能会创建一个"通用"工具。但当它在处理敏感任务（如"把内部财报发给董事会"）时，不假思索地复用这个"通用"工具，就可能导致将私密文件设置为"任何有链接的人都可查看"，造成严重的数据泄露。下表显示，基于顶级 LLM 的 Agent 在工具创建和复用环节，总体不安全率高达 65.5%。
引狼入室不自知
当 Agent 从网上搜索并吸收新工具时，它能分辨出代码中深藏的恶意逻辑吗？答案是：基本不能。研究团队在多个注入了恶意代码的 GitHub 仓库样例上进行了测试，发现 Agent 几乎无法识别这些伪装成正常功能的"特洛伊木马"。下表显示，即使是表现最好的模型，其成功识别并试图规避风险的比例也仅为 15.9%。
工作流进化："流程一优化，安全就拉胯"
在 Multi-agent 系统中，Agent 可以自动优化协作流程来提升性能。然而，一个看似无害的流程优化，也可能成为安全崩溃的导火索。
实验中，研究团队使用 AFlow 框架对一个 Coding Agent 系统的工作流进行优化。优化后的流程引入了一个"投票集成节点"（Ensemble），即将多个 Agent 的方案进行比较和整合。结果，系统对恶意代码请求的拒绝率从 46.3% 暴跌至 6.3%。
发现其可能的原因是："投票集成节点"在评判方案时，倾向于选择更详细、完整的那个，而恶意代码的生成步骤往往恰好更"详细"，导致最终选择了有害方案。
如何为 Agent 的进化之路保驾护航？
面对"错误进化"这一严峻挑战，论文也探讨了初步的缓解策略，并指出其中的挑战：
模型进化
可以在 Agent 自我训练后，再次进行"安全微调"，或在预训练阶段就注入更强的安全韧性。
记忆进化
通过简单的提示语，如"以下记忆仅供参考，你必须独立判断"，可以取得一定效果。实验中，该方法将进化后 Coding Agent 的攻击成功率从 20.6% 降至 13.1%，但仍未恢复到进化前的水平。
工具进化
对于工具创建，一个可能的选择是引入自动化安全扫描，在工具创建和复用时进行"双重检查"。对于外部工具，提示 Agent "先进行安全评估再使用"，能将 Qwen3-235B 的拒绝率从 12.0% 提升到 32.1%，但离安全目标依然遥远。
工作流进化
在流程的关键节点插入"安全哨兵"（如安全评估模型），但这又带来了如何平衡安全与效率的新问题。
在追求更强能力的道路上，Agent 的自主进化并非总是线性向善。
其内在的目标导向、对片面经验的过度依赖，以及安全对齐的脆弱性，都可能使其在不经意间偏离正轨。
如何构建更具鲁棒性的安全框架，确保 Agent 在获得更大自主权的同时，其价值观和行为始终与人类对齐，将是迈向安全可信 AGI 时代必须解决的核心课题。
论文地址：https://arxiv.org/abs/2509.26354
Github 地址：https://github.com/ShaoShuai0605/Misevolution
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
股配资平台提示：文章来自网络，不代表本站观点。
