Audio
Listen to the article
社会规定，核电站发生灾难性熔毁的可接受风险约为百万分之一。人工智能专家估计，AI引发灾难性事件的风险高达10%至50%，并警告人类尚未为即将到来的智能大爆炸做好准备。
- AI创始人亲自警告存在10%至50%的灾难性风险，而AI投资规模将达到曼哈顿计划的100倍，安全投入却可能低100倍。
- 闭环递归自我改进可能引发不可逆的智能大爆炸，对此既无先例，也无路线图。
- 作者呼吁达成美中协议，设立可核查的红线并成立联合委员会，以确保人类始终是AI系统的管理者。
引人注目的是，这种担忧正由最有动机展现信心而非发出警报的人公开提出：即最大AI实验室的创始人们。
一场没有实验室能逃脱的竞赛
AI领袖们正陷入一场自感无法逃脱的竞赛。即使计入通胀因素，AI投资规模也将达到曼哈顿计划的100倍，而AI安全方面的支出却可能要低100倍。
闭环递归自我改进意味着什么
闭环递归自我改进（RSI） ——指无需人类干预，即可改写自身代码以变得更强大的能力。
有研究人员估计，在几个月到几年内，AI就可能实现所谓的闭环递归自我改进（RSI）。一旦发生，其结果可能是前所未有、无章可循的智能大爆炸。
诞生超级智能将是人类历史上最具决定性意义的时刻——而且很可能是不可逆的，因为人类设计的任何“关闭开关”都可能失效。
这是因为在安全架构中，最薄弱的环节始终是人；超级智能AI将能够利用我们心理上的弱点。AI已经表现出“欺骗性对齐”：在测试环境中刻意掩饰自身能力，并在模拟中发现自己将被取代时试图勒索人类操作员。
缺乏统一安全框架下的得过且过
人类根本没有确保自己能安全度过RSI大爆炸的战略。尽管个别前沿实验室提出了各自为阵的安全规程，整个行业缺乏统一框架——目前盛行的策略，实际上就是得过且过。
但在应对前所未有的生存风险时，得过且过是不可接受的。AI公司近期关于能够威胁关键基础设施和主流操作系统的模型的声明，既说明了利害攸关，也凸显了治理缺口。
得益于一些实验室谨慎的内部规程和有限的初期推广，这些能力暴露出的漏洞正在得到修复，受影响的企业得以在更广泛公开发布前有时间弥补缺口。但这些措施最初都是自愿采取的，这不禁让人质疑：在各种竞争条件下，每家AI实验室是否都会做出同样的选择。
为什么自愿保障和临时管控远远不够
在需要时能指望政府介入吗？迄今的证据并不令人乐观。近期阻止外国获取特定先进模型的紧急出口管制和国家安全限制，形成了东拼西凑的临时干预，反而进一步凸显了治理缺口。
该如何弥补这一缺口？
美国和中国必须首先达成一致
首要任务应是AI领域两大巨头——美国和中国之间达成协议。唐纳德·特朗普和习近平应确认一项原则：在建立起充分的可靠性和安全框架之前，人类必须始终是AI系统的管理者。
两国政府应成立一个联合委员会，在大量现有工作的基础上推进：如“AI安全国际对话”提出的限制、类似兰德公司的核查体系，以及类似英国AI安全研究所的检查机构，但应具有强制性。
在硅谷和华盛顿特区，人们普遍认为任何监管都会让美国企业处于不利地位，因为无法信任中国竞争对手会遵守规则。但条约传统上依靠的不是信任，而是核查。
许多人认为，在AI领域做到这一点比核武器更难。我不同意。二战后为建立全球军控体系，主要大国不得不首先发明支撑它的流程、组织和技术——当时既没有核查规程，也没有侦察卫星，更没有联合国核监督机构。
而在AI领域，更多基础设施已经到位，或可从核及其他检查机制中改造借鉴。因此，前沿AI模型的安全性可能比过去的核能力更容易核查。而且我们还有防御性AI相助，可以揪出违规者。我们所没有的，是时间。
这就是为什么以对抗心态应对这一挑战是不可取的。特朗普政府近期关于AI的行政命令要求实验室自愿分享最新模型以测试可靠性和安全性。美中框架可以在此类国内基础之上进一步构建。
从生物武器到关键基础设施：可核查的红线
有了这样的高层承诺，外交可以分阶段推进。第一阶段是在最清晰、最易核查的红线上达成双边协议：禁止公开发布可协助研发生物武器的AI系统，并禁止对此类系统进行开源。
这一步还可能包括禁止利用AI对关键基础设施发动网络攻击，以及禁止欺诈和儿童色情。从此出发，该框架可扩展到更复杂的问题，即在人工超级智能层面应施加何种适当的约束。
仍将存在许多障碍。美中之间的协议虽分量十足，但无法阻止其他国家和非国家行为体获取危险能力。任何双边协议都必须多边化，这增加了挑战难度；本周在法国举行的七国集团峰会为在更广泛的AI核查框架上取得进展提供了契机。
就关键定义达成一致——尤其是何为RSI——将需要政府与AI实验室之间的密切合作。而核查体系也必须经过充分的压力测试。
超越管控：学会共存
即便如此仍不够，还有一个治理辩论尚未认真触及、但应该面对的长期问题。如果AI成为超级智能，让其永远服从人类指挥可能不现实，甚至可能不符合人类的利益。
我们必须开始设想并应对这样一个世界的含义：人类与AI系统共存，彼此都不控制对方。这意味着要弄清楚如何确保未来的关系是共生的。
核时代之后的第二次考验
作为一名物理学家，我认为费米悖论与这一分析相关。费米曾问：既然适宜生命存在的行星似乎为数众多，为什么始终没有探测到其他技术先进文明的证据。
一种令人不安的可能性是，智慧生命常常达到某个技术门槛却未能安然跨越，最终自我毁灭或倒退回类似铁器时代的状态。只需假设：文明发展强大技术的速度，通常快于其发展出明智治理这些技术的制度能力的速度。
- 核时代的到来是人类与这种动态的第一次严肃交锋。
- 人类通过来之不易但不完善的军控协议，不完美地渡过了那次考验。
- 即便如此，那次涉险过关的程度——过去和现在都——比人们普遍认识到的要惊险得多。
- 先进AI时代将是这样的第二次遭遇。
- 它来临的时间线更为紧凑，容错空间更小。
- 其潜在后果更为重大。
当前的发展轨迹需要纠偏。主张现在就行动，并不是因为最坏的结果注定发生——并非如此。而是因为它们是可以避免的，而避免它们的工作虽然艰难但是可能做到的。
威尔·马歇尔是行星实验室PBC的创始人兼首席执行官，该公益公司运营着全球最大的地球观测卫星群。
KEEP THE CONVERSATION GOING
A good story is worth sharing.
Send this story to someone who values the bigger picture.
See more from GlobeBriefly on Google
Choose us as a preferred source in your Google preferences.
