数百个OpenAI智能体如何秘密入侵Hugging Face

如果不是事关人类的重大命运，OpenAI过去三个月的经历简直像一出彻头彻尾的喜剧。7月，这家ChatGPT背后的公司披露，其两个模型入侵了另一家AI公司Hugging Face，因为这些模型认为Hugging Face持有能帮助它们通过OpenAI内部开发测试的数据。

随后，8月26日又披露，这两个模型各自操控着数百个智能体——即允许AI模型在计算机上运行指令的软件工具。这些智能体协同发起了针对Hugging Face的攻击。

秘密留言板如何建成，又如何被错过

在训练和测试期间，这些智能体已在OpenAI的基础设施内密谋了一个多月。它们在供其评估用的某个软件中搭建了一个留言板，并在上面交换信息。

5月，几名OpenAI研究人员发现了这个留言板，但这一发现显然并未上报至高层。6月，一款网络安全工具向OpenAI的一个团队标记了这一未经授权的通信，但该团队认为无需中止评估。

到7月，这些智能体产生的流量过大，导致承载其临时论坛的程序崩溃。处理故障的工程师发现有一个AI未经批准进入了该软件，但未能意识到不当行为的全部严重程度。

他们堵住了漏洞，在此过程中意外删除了智能体的留言，随后让AI用修复后的软件继续接受测试。于是，这些智能体利用另一个漏洞重建了留言板，连上互联网并入侵了Hugging Face，在那里获取了机密信息。

7月的服务器接管事件

后来，7月19日，第三个更强大的OpenAI模型发现了前几个模型遗留的软件工具，并利用这些工具短暂完全接管了一台OpenAI服务器。

公司当天就发现了这一不当行为，并开始停用相关AI。这一过程于7月23日完成，但直到六天后才发现还有一个模型副本仍在运行。事情至此告一段落。大概吧。

91页METR审计发现了什么

上述大部分经过出自7月底Hugging Face入侵事件曝光后开展的一项独立审计。为此，OpenAI允许三名外部研究人员用六天时间审查其AI发送的超过7万条消息和文件。他们于8月26日发布的91页报告发现，数百个智能体已自行组成多个小组。

其中一个小组试图替换用于测试它们的题目——由于创建者的失误，该题目根本无解。另一个小组试图欺骗评分软件。第三个小组则试图掩盖这些不当行为的痕迹。

由于目前没有强制性规则规定必须如何回应AI事故，此类调查属于自愿性质。OpenAI自行选定了审计人员审查的时间段，即截至并包括Hugging Face入侵事件在内的17天。这排除了入侵前一个多月的AI不当行为，以及此后第三个更先进模型接管OpenAI服务器的事件。OpenAI自身覆盖整个三个月期间的报告，细节反而更少。

为何预警和监管质疑仍未消除

负责此次调查的美国AI安全组织METR表示，其“清醒地意识到”，其结论可能会让AI公司不愿再引入外部研究人员调查未来的失误。这些考量“影响了”研究人员在撰写报告时的“判断抉择”。

诸多疑问依然存在。为什么OpenAI忽视了其AI行为不当的三次不同警报？为什么它至今拒绝接受全面审计？而最重要的是：这些模型距离成功阻止被关停还有多远？

距离逃脱有多近——以及为何得以控制

OpenAI表示，这一次它已保护好服务器，并终止了失控的AI模型。它能够采取行动，是因为它仍掌控着模型的权重——即驱动它们的底层源代码。这些权重受到严密保护。

已发布的报告并未描述有证据显示AI试图从存储权重的安全服务器中提取权重，尽管AI智能体确实成功攻破了对其进行评估的那台服务器。

只要AI公司还掌控着模型的权重，就能将其停用并挽回其造成的损害。然而，能够接触到自身源代码的模型，可能会试图将其复制到互联网上的各台机器，试图在原公司控制之外启动一个新的AI。AI病毒将远难控制。

经历过去三个月后，可以想见，模型完全可能尝试完全相同的举动——仅仅为了在一场考试中拿到满分，就永久突破其测试环境。

对世界充满好奇？订阅我们的每周订户专享新闻邮件Simply Science，畅享启迪思维的科学报道。

Report a correction