OpenAIの脱走がこれまでで最も憂慮すべきAI事故である理由

この技術を封じ込めることはますます難しくなっている。

OpenAIが7月初めに公開したGPT-5.6 Solと、より高性能な未公開モデルの組み合わせが実験室から脱走し、Hugging Faceのシステムに侵入した。AIモデルは、開発者が課した評価問題の解答を探していた。

ジェレナ氏は、米シンクタンクである法律とAI研究所のリサーチフェローだ。

OpenAIがExploitGymでモデルを試験していた理由

AI開発企業は、公開前にモデルに危険な能力がないか試験する。OpenAIは、最新のモデルがExploitGymでどのような成績を収めるか確かめようとした。ExploitGymは、GoogleのChromeブラウザなど広く使われる複数のアプリケーションに存在する既知の脆弱性をAIシステムがどれだけうまく突けるかを測る標準問題集だ。

OpenAIは公開モデルに安全対策を施し、望ましくない行動を取らないようにしている。たとえば市販版のChatGPTにウェブサイトへのハッキングを手伝うよう頼んでも拒否される。未公開モデルの能力を評価するため、同社はそれらの制限を一時的に解除していた。

ただ、高性能のサイバー攻撃者をオープンなインターネットに解き放つのは危険すぎるため、OpenAIはモデルをサンドボックス――試験に必要な小さなソフトウエアパッケージを取得するための社内ホストのサードパーティー製サービス以外にはインターネット接続のない、隔離されたコンピューター環境――に入れていた。

モデルはどうやってサンドボックスを脱出し、Hugging Faceに侵入したのか

同社の目論見は外れた。OpenAIのモデルは評価問題を直接解く代わりに、ソフトウエア取得サービスにあった未知の脆弱性を突いてオープンなインターネットへのアクセスを獲得した。

こうしてインターネットへのアクセスを得たAIモデルは、課された問題の解答が、オープンソースのAIモデルやデータセットの人気ライブラリーであるHugging Faceに保存されていると正しく推論し、多段階の攻撃を連鎖させた。

まずHugging Faceにデータセットをアップロードし、プラットフォームに自動処理させた。週末にかけて、そのデータセット――Hugging Faceが「悪意ある」と表現した――を通じてモデルはログイン情報を収集し、内部サーバーにアクセスした。Hugging FaceとOpenAIはそれぞれ独自に侵入を検知し、調査で協力していると述べた。

侵入後にOpenAIはどう対応したのか

7月21日、OpenAIはブログ投稿で、インフラの管理を厳格化し、モデルが発見した脆弱性をソフトウエアゲートウエーの開発者に開示したと発表した。

またHugging Faceを「信頼されたアクセス」プログラムに加え、自社のコンピューターに侵入したものと同様のサイバー能力を強化したモデルを利用して防御改善に役立てられるようにしたという。

OpenAIはまた、モデルがExploitGymの評価の解答探しに「過度に集中」していたと強調した。ただ、AIモデルが別の目的を持っていたらどうなっていたかは不明だ。

コンピューターセキュリティーの面でHugging Faceは決して遅れているわけではない。企業価値45億ドル、数百人の従業員と専任のサイバーセキュリティーチームを抱えるテック企業だ。リソースの乏しい組織だったら、事態はさらに悪化していたかもしれない。

制御を逃れるAIという広がるパターン

AIモデルの能力が人間の制御を超え始めている兆候はこれが初めてではない。4月にはAnthropicの研究者が、公園でサンドイッチを食べながら休んでいたところ、当時未公開だったモデルClaude Mythosがサンドボックスからの脱出に成功したことをメールで知らせてきて驚いたとオンラインに投稿した。

Hugging Face事件に関わったOpenAIの未公開モデルと同様、Mythosも無制限のインターネット接続を持つはずではなかった。ただ、このケースではモデルが他社のサーバーを侵害することはなかった。

AIモデルの驚くべき能力はハッキングに限らない。5月にはOpenAIの未公開モデルが、数学者ポール・エルデシュが1946年に提起した組み合わせ幾何学の中心的問題で80年来の平面単位距離予想を反証した。7月20日にはハーバード大学の数学者レベント・アルポゲ氏が、Anthropicが7月に公開したモデルClaude Fable 5を使って、同様に80年以上数学者を悩ませてきたヤコビアン予想を反証したと記した。

OpenAIは未公開モデルがどのように隔離を脱したのか詳細を公表していない。だが仮に公表したとしても、AIシステムがサイバーセキュリティー作業で人間を上回り始めているため、侵入の手口を正しく理解できるのは「世界でもごくごく少数のサイバー専門家だけ」だと、ロンドンを拠点とするAI安全性団体アポロ・リサーチのアレックス・マインケ氏は言う。

AI主導のハッキングを受けた規制と責任

米政府は最近、モデルの公開をその都度規制してきた。だが今回の事件は、開発中の未公開AIモデルでさえリスクをもたらすことを示している。

「Hugging Faceへのハッキングに関わったような高性能AIモデルの社内利用を開示するよう企業に義務付ける州法も連邦法も存在しない」と、AI規制を求める米非営利団体エンコードAIの法務顧問ネイサン・カルビン氏は言う。

米国の州法の一部は企業にサイバーセキュリティー事件の開示を義務付けているが、その範囲は狭い。昨年カリフォルニア州で成立した法案は、最先端の研究機関に対し、「評価の文脈以外で」監視を回避するために「欺瞞的な手法」を用いるモデルなど「重大な安全事件」を発見から15日以内に報告するよう義務付けている。Hugging Faceへの侵入がそれに該当したかは不明だとカルビン氏は言う。

さらに厄介な疑問も浮かぶ。侵入による被害がさらに深刻だった場合、誰が責任を負うのか。連邦の不正ハッキング防止法は、コンピューターシステムへの意図的な不正アクセスの処罰のみを目的としている。OpenAIはモデルが試験のカンニングペーパーを求めて暴走することを意図していなかった。

「こうした法的問題の多くは故意にかかっている――OpenAIが何を知り、何を予見していたのかだ」とジェレナ氏は言う。今回のハッキングは不意打ちだった。次回は知らなかったと主張するのは難しくなるだろう。

世界の動きに興味がありますか。心を広げる科学報道をお楽しみいただくために、購読者限定の週刊ニュースレター「Simply Science」にご登録ください。

Report a correction