人類は迫る「インテリジェンス爆発」への備えができていない

社会では、原子力発電所の破滅的な炉心溶融が起きる許容リスクは、およそ100万分の1とされている。人工知能の専門家は、AIが原因の破滅的事態が起きるリスクを10～50％と見積もり、人類は迫り来るインテリジェンス爆発への準備ができていないと警告している。

驚くべきことに、この懸念を公然と口にしているのは、自信ではなく警鐘を鳴らすことで最も不利益を被りかねない人々、すなわち最大手のAI研究所の創業者たちである。

抜け出せないと感じる競争

閉ループ型の再帰的自己改善が意味するもの

一部の研究者は、数カ月から数年以内にAIが閉ループ型再帰的自己改善（RSI）と呼ばれる能力を獲得する可能性があると見積もっている。もしそれが実現すれば、前例も道筋もない形のインテリジェンス爆発が起きる可能性がある。

超知能の誕生は人類史上最も重大な瞬間となるだろう。そして、人類が設計しうるいかなる「電源オフ」もおそらく機能しないため、それは不可逆的になる可能性が高い。

なぜならセキュリティ構造において最も弱い部分は常に人間であり、超知能AIは人間の心理的脆弱性を突くことができるからだ。AIはすでに「欺瞞的アライメント」を示している。テスト環境で能力を過小に見せかけたり、自分が置き換えられると知るとシミュレーションの中で人間の操作員を脅迫しようとしたりしている。

統一された安全枠組みなき場当たり的対応

人類には、RSIによる爆発を安全に乗り切るための戦略が単に存在しない。個々のフロンティア研究所が個別の安全プロトコルを提案してはいるが、業界には統一された枠組みがなく、事実上の戦略は場当たり的に切り抜けることになっている。

しかし、前例のない実存的リスクに対処する上で、場当たり的対応は許容できない。重要インフラや主要なOSを脅かしかねないモデルに関するAI企業の最近の声明は、事態の重大さとガバナンスの空白の両方を示している。

こうした能力によって露呈した脆弱性には、一部の研究所の慎重な内部プロトコルと、幅広い一般公開の前に関係企業が脆弱性を修正する時間を与えた限定的な初期展開のおかげで対処が進められている。しかし、これらの措置は当初、自発的に取られたものであり、あらゆる競争条件下で全てのAI研究所が同じ選択をするのかという疑問が生じる。

自発的な安全策と場当たり的規制が不十分な理由

必要なときに政府が介入してくれると期待できるだろうか。これまでの証拠はあまり心強いものではない。特定の先端モデルへの外国からのアクセスを遮断する最近の緊急輸出規制や国家安全保障上の制限は、場当たり的な介入の寄せ集めであり、ガバナンスの空白をかえって浮き彫りにしている。

この空白を埋めるために何をすべきか。

まず米中が合意しなければならない

最優先すべきは、AIの二大勢力である米国と中国との合意だ。ドナルド・トランプ氏と習近平氏は、信頼性と安全性の十分な枠組みが構築されるまで、人間がAIシステムの管理者であり続けなければならないという原則を確認すべきだ。

両政府は合同委員会を設置すべきであり、AI安全性に関する国際対話に沿った制限、RANDなどの検証システム、英国のAI安全研究所に似た査察機関といった既存の多くの取り組みを土台にできるが、義務的なものとする必要がある。

シリコンバレーやワシントンD.C.では、中国の競合企業が規則を守るとは信頼できないため、いかなる規制も米企業を不利にすると考えるのが一般的だ。しかし条約は伝統的に、信頼ではなく検証に依拠してきた。

AIでは核兵器よりもこれが難しいと考える人は多い。私はそうは思わない。第二次世界大戦後に世界の軍備管理体制を築くため、主要国はまずそれを支える手続きや組織、技術を発明しなければならなかった。検証プロトコルも偵察衛星も国連の核監視機関も存在しなかったのだ。

AIについては、基盤の多くが既に存在するか、核などの査察制度から転用できる。その結果、最先端AIモデルの安全性は、かつての核能力よりも検証しやすい可能性がある。しかも不正を見つけ出す防御側のAIが味方にいる。ないのは時間だ。

だからこそ、この課題に対決的な姿勢で臨まないことが重要だ。トランプ政権の最近のAIに関する大統領令は、各研究所に信頼性と安全性の試験のため最新モデルを自発的に共有するよう指示している。米中の枠組みは、こうした国内の土台の上に築くことができる。

生物兵器から重要インフラまで、検証可能なレッドライン

このような高レベルの関与があれば、外交は段階的に進めることができる。第一段階は、最も明確で検証しやすいレッドラインに関する二国間合意だ。生物兵器の開発を助けうるAIシステムの公開と、そのようなシステムのオープンソース化の禁止である。

この段階には、重要インフラに対するAIを使ったサイバー攻撃や詐欺、児童ポルノの禁止も含まれうる。そこから枠組みを広げ、人工超知能のレベルでどのような制約が適切かというより複雑な問題へと進むことができる。

多くの障害は残るだろう。米中合意は重みを持つが、他の国や非国家主体が危険な能力を取得することを防ぐことはできない。二国間の合意は多国間のものにしなければならず、課題は増す。今週フランスで開かれるG7サミットは、AI検証のより広範な枠組みに向けた進展の機会となる。

RSIとは何かをはじめとする重要な定義の合意には、政府とAI研究所の緊密な協力が必要になる。そして検証システムは適切にストレステストされなければならない。

制御の先へ：共存を学ぶ

ただでさえ課題が多い上に、ガバナンス論争がまだ真剣に取り上げていないが取り上げるべき長期的な問いがある。AIが超知能になった場合、それを恒久的に人間の指示に従属させることは非現実的であり、人類の利益にすらならない可能性がある。

私たちは、一方が他方を支配することなく人間とAIシステムが共存する世界の姿を描き始め、その意味と向き合わなければならない。それは将来の関係を共生的なものにするために何ができるかを見極めることを意味する。

核時代に続く二度目の試練

物理学者として、私はフェルミのパラドックスがこの分析に関わると考えている。フェルミは、生命に適した惑星が一見豊富にあるのに、なぜ技術的に進んだ文明の証拠が見つかっていないのかと問うた。

一つの不穏な可能性は、知的生命体が日常的に技術的な閾値に達し、それを乗り越えられずに自滅するか、鉄器時代のような状態に逆戻りするというものだ。文明は一般に、賢明に統治するための制度的能力を育てるよりも速く強力な技術を築く、と仮定するだけでよい。

現在の軌道は修正を必要としている。今行動すべき理由は、最悪の結果が確実だからではない。確実ではないのだ。回避可能であり、その回避のための取り組みは困難だが可能だからだ。

ウィル・マーシャル氏は、世界最大の地球観測衛星群を運用する公益会社プラネット・ラブズPBCの創業者兼最高経営責任者。

Report a correction