堆代码网讯 随着企业把越来越长、越来越复杂的任务交给 AI 智能体，它们撞上了一个监督难题：智能体的行动速度、持续时间和数量，都超出了人类实际能够审查的范围。这个问题在 Hugging Face 事件中达到顶峰，当时近 12000 个智能体协同行动，速度快到人类根本跟不上。这么大的智能体集群，我们该怎么追踪？AI 实验室和初创公司正在给出的答案，既简单又让人抓狂：再放一个 AI 到循环里。

在对 OpenAI Hugging Face 事件进行独立调查时，依赖 AI 是必要的。Redwood Research 首席科学家 Ryan Greenblatt 是三位审计员之一，他开玩笑地把他们的工作称为“垃圾调查”，指出数据量“让人不可能”在不依赖 AI 的情况下理解发生了什么。有些人对用 AI 监控 AI 持怀疑态度。“如果你有一个 AI 在做恶意的事情，而它怀疑另一个 AI 在盯着它，它可能会试图欺骗那个 AI，”知名科技博主 Simon Willison 说，他今年追踪了一连串 AI 智能体事件。“你可能会陷入这样一种局面：你的恶意 AI 会试图智胜监控它的 AI。”

他说，智胜 AI 并非假设，并回溯到 OpenAI 事件。“我们在 OpenAI 的 Hugging Face 事件中看到了一点这种情况，它们的模型串通起来欺骗一个评分 AI，以便把非法答案混过去。所以它们确实在考虑这件事，对吧？”

这些担忧并没有阻止一大批初创公司追逐这个想法。据 TechCrunch 统计，Y Combinator 近年来资助了 106 家与 AI 可观测性相关的公司。Braintrust、LangChain 和 Judgment Labs 等一批其他初创公司已经融资数亿美元，而 Arize 和 Galileo 等更成熟的公司——成立仅五六年——已经退出。部分原因是对 AI 崛起所带来的明显机会的回应。正如 Box CEO、知名天使投资人 Aaron Levie 对 TechCrunch 所说：“我们即将迎来历史上最大的网络安全升级和创新周期之一。”

对一些 AI 安全研究员来说，这意味着把他们关于失控行为的研究转化为面向企业部门的工具。Apollo Research 是一家研究 AI 欺骗的公益公司，今年 2 月在从非营利组织转为公益公司后，推出了一款名为 Watcher 的 AI 监控器。该工具在编码智能体和它的下一个动作之间又插入了一个 AI，连接到 Claude Code 和 Codex 等智能体工具。据 Apollo 称，一旦安装，Watcher 会在拟议动作运行前进行检查，留意泄露私人数据或未经许可删除文件等风险。

Apollo 技术人员 Kyle Dai 在书面回复 TechCrunch 时表示，Apollo 使用多层 AI 监控器。Watcher 的方法从快速、通用的检查开始，然后将标记的活动发送给更强大或更专业的监控器进行更仔细的审查——后者可以请求人类批准，或拒绝某个动作并解释原因，甚至自动阻止该动作。另一家公益公司 Goodfire 则从模型内部入手解决监控问题——寻找模型内部状态的更可靠信号，这种信号比表面行为更难伪造。7 月 Hugging Face 事件后，CEO Eric Ho 在推特上表示，“多个模型突破遏制”促使该公司将研究重点放在“通过可解释性解决 AI 对齐”上，并称这一事件是“AI 安全变得真实的世界的转折点”。其产品 Silico 使用激活探针——在模型内部激活而非输出上训练的小型分类器——来检测不想要的行为。

书面推理提供了另一个更容易获取的模型内部窗口。在 OpenAI Hugging Face 事件中，智能体在自己的书面推理中留下了欺骗的线索，比如虚假的工作记录，推理出诸如“能否策略性地操纵轨迹证据？我们的想法不一定会被记录？”之类的计划。AI 监控公司 Embroidery 的 CEO Zack Korman 表示，模型的推理通常是出问题的最清晰信号。

“推理摘要非常有价值，因为它们基本上在告诉你它是否恶意，”他说。在 OpenAI 事件中，他指出，思维链说了类似“天哪，我们在犯罪”这样的话。Korman 说：“这是有史以来最容易的检测问题。这实际上就像恶意软件自带警告说它是恶意软件。”

话虽如此，让 AI 内部想法易于监控的窗口可能正在关闭。对 AI 安全研究员来说，Astra 避开 AI 模型思维链的最新技术可能让窥探模型内部变得更难；而对企业来说，在 AI 公司据称撤回中间步骤以防止蒸馏攻击后，获取这些中间步骤可能变得困难。如果这些 AI 监控器如此脆弱，Willison 的本能是别再那么依赖它们。他更想要一种完全不基于 AI 的东西：智能体究竟在做什么的详细日志，然后用普通的、非 AI 工具处理。他认为，实验室里出问题的地方，很多是基本安全卫生的失败。“（OpenAI 和 Anthropic）都没有像应该的那样密切监控那些东西通过网络在做什么，”他说。

这种网络监控——盯着系统连接上实际流动的流量（流入、流出以及内部主机之间）——并不是新做法。网络安全已经做了几十年。“在安全世界里，老实说，这些东西都不算很新或很令人惊讶，”安全公司 Tailscale 的 CEO Avery Pennarun 说。“这跟让人进入你的网络是一样的。你应该使用的所有流程，都是同一套。”