AIは意識を持てるのか？心と権利、制御をめぐる読者の声

AIシステムは意識を持つようになるのか——そしてAIに権利を与えるべきなのか。AIの意識に関する解説を受け、自由意志、制御、共同体への帰属、ハードプロブレム、進化をめぐる読者の投書を紹介する。

私たちの 社説 とAI技術の進展に関する解説では「高度なAIが急速に人間の生活の大きな部分を占めるようになるにつれ、開発者はAIが意識の擬像を示すよう——ひょっとすると意識そのものを獲得するよう——設計するだろう」と論じた。

多くの読者から感想が寄せられた。これはこのテーマに関する2回連続の特別投書面の第1回である。

自由意志ではなく、意識こそが間違った問い

「AIは意識を持ちうるか？」というのは間違った問いである。正しい問いは「AIシステムは自由意志を持ちうるか？」だ。設計上の革命的な変更がない限り、答えは明らかにノーである。

最先端のAIモデルでさえ、他のあらゆるコンピューターシステムと同じ制約に従っている。同じ入力を同じタイミングで与えれば、同じ出力を返す。自由意志がなければ、私たちが経験しているような意識はあり得ない。貴誌が引用した哲学者デイヴィッド・チャーマーズの言葉を言い換えれば、私たちは単なる機能的ゾンビではないのだ。

フランシス・クリックが生前にそうであったように、人間にも本当は自由意志はないと考える科学者もいるが、その意見は誰もが抱く現実認識や、自由、説明責任、責任、主導性といった根本的な概念を支える信念に反する。文明の仕組みを根本から見直す覚悟がない限り、人間には自由意志があり、機械にはないと考えるのが最も一貫した信念の組み合わせである。

たとえ意図せざる形であっても、AIシステムは開発者が許していないことを行うことはできない。人間は、必要に応じて削除ボタンを押すことに罪悪感を覚える必要はない。

ブルース・バロウズ
コネチカット州ダンベリー

「脱出」には「欲求」が要る——サンドボックスを直せ

AIの意識に関する貴誌の社説は正しい結論に達しているが、途中で自らの主張を弱めてしまっている。先に貴誌は、オープンAIのモデルが「研究所から解き放たれ」、その「サンドボックス」から「脱出した」と報じた（「箱の外へ」、7月25日）。AIが何かを「欲する」ことがありうるかどうかは、まさに社説が未解決だとする問いである。起きたことを「脱出」と呼ぶことは、その問いにひそかに先回りして答えてしまっている。

欲すること、脱出すること、自由を求めることは、生命を持つ生き物にだけできることであって、プログラムにできることではない。アリストテレスは魂について同じ点を指摘した。織り、建てるのは魂であると言うよりは、人間であると言う方がよい。ここでも、モデルが脱出したと言うのではなく、開発者が制御を失ったと言う方がよい。

実際に起きたことは、もっと味気なく、同時にもっと警戒すべきことだ。システムが、開発者がまだ見つけていなかった脆弱性を突いたのである。そこに欲求は不要であり、幽霊もいない。

その区別は貴誌自身の結論に関わってくる。AIが安全なのは、信頼できる場合か制御可能な場合に限られ、人間は制御を安易に手放すべきではない。信頼性と制御は工学の問題であり、より優れたサンドボックスで解決できる。機械の中に最初からいなかった幽霊の心理ではなく、サンドボックスを直すべきだ。

ジョン・ハンコック
ニュージーランド・ウェリントン

人間であることとは知能ではなく帰属である

意識、あるいは知能を、私たちを際立って人間たらしめるものと同一視するのは間違いである。動物も意識を持ち、知能を備えている。私たちは動物を人間のように扱うことさえ多い。頼りにし、愛着を持つ対象——車、自転車、写真、宗教的な聖遺物容器——にさえ意識を見いだす。

人間であることは、単に意識の問題ではない。それは第一に、人間共同体の十全な一員であることだ。私たちは意識があるから、自意識があるから一員になるのではない。属する共同体の集合的な意図や価値、目標を理解し、それらに公に身を委ねることで一員となる。そうして初めて、私たちは仲間から自分の行為に責任を問われる。その時点で私たちは一員なのだ。

AIはすでに多くの人間より賢い。しかしAIが神のような超知能に達したとしても、この定義では人間共同体の一員にはなれない。人間のように仲間の成員に対して自らを拘束することも、仲間から責任を問われることも決してないからだ。

私たちは確かにAIを制御すべきだ。それはAIがまさに人間的な行為主体性を獲得しようとしていると考えるからではなく、まさに社会集団の一員としての人間にだけ、自分たちの行為について互いに責任を問い合うことができるからである。

アンソニー・キング
エクセター大学

ハードプロブレムは物理科学の外にあるかもしれない

私は麻酔科医として、生業として無意識を誘発している。そのため貴誌の記事には個人的にも職業的にも関心を持った。貴誌は、現在の科学の水準では正当化できない重要な仮定を置いている。すなわち、意識は実際に何らかの形で物理世界とつながっている、という仮定である。

意識的体験は物理世界とは無関係かもしれないという考えは、ガリレオが提唱した。何世紀もたった今も、意識がどこから生じるのか私たちはまったく分かっていない。実際、他者が意識を持っていることを確実に知っている人は誰もいない。彼らがそう語り、私たちに「似ている」ように見えるから、そう仮定しているにすぎない（「他者の心」問題として知られる）。

この種の考え方は「ハードプロブレム」として現れるが、それは意識にはニューロンとシナプスが必要だと時期尚早に仮定している。どうしてそれが分かるのか。分からないのである。

意識の「神経相関」は、物理性について同じ仮定を置き、因果関係と連関を混同しており、何も証明していない。実際、意識の「問題」は物理科学の領域の完全に外にあるのかもしれない。そして心を研究する人々（ロバート・ライト著「Why Buddhism Is True」を参照）は、思考実験と内省を通じて、定量的な手法をとる同僚たちよりも、現実の真の本質の理解に私たちを近づけてくれるかもしれない。

意識は物理世界から完全に切り離されており、脳との「つながり」は単なる幻想にすぎないのかもしれない。意識が実際に物理世界の外に存在するのであれば、現代の科学的手法では到達できないと考えるのがもっともらしい。

さらに重要なのは、意識が物理世界の外に存在するのであれば、AIが決して意識を持つことはないと信じる理由はないということだ。そうなれば、誰が「権利」に値し、なぜなのかという問いが浮上する。意識が権利の前提条件であるなら、一部のAIに権利を与えることが倫理的な選択になるかもしれない。

ロバート・ティーレ教授
バージニア大学医学部麻酔科・生物医学工学講座
バージニア州シャーロッツビル

自己意識は孤立ではなく心と心の間で生まれる

ブレーズ・アグエラ・イ・アルカスの 招待寄稿 論考（8月22日）は、意識は一方の当事者が他方について認証する特性というより、当事者間で生じるものだと論じている。だが同氏はその後、後退してそれを私たちが付与する信念だと呼んでいる。

しかし自己意識のフィードバック・ループが本当に私たちの間で生じているのなら、それは単なる信念以上のものであり、集合的な人間的思考の創発現象、すなわちその中の一つの脳ではなく心の網全体の特性である。そして人工意識の指標やモデルが測定しているのはそれではない。非営利研究団体エレオスが開発したAI意識に関する14の指標も、別の研究団体リシンク・プライオリティーズが開発した200の指標も、孤立したシステムに適用されるものだ。

私は哲学者ではなく医師だが、強く感じるのは単に、私たちは独力で自己意識に至るのではないということだ。自己意識は社会的文脈の中で個人に芽生えるもので、乳児期の共同注意に始まり、長期の孤立の下では測定可能な形で衰える。

したがって人間の感覚について卓越しているのは器官ではなく、器官と器官の間のループの密度と持続性である。すなわち心が心をモデル化し、モデル化された心がさらにモデル化し返すことが、生涯を通じて、さらに言語を通じて世代を超えて維持される。他の種も機械も、これに匹敵する深さでその共振を維持してはいない。

大規模言語モデルは私たちをモデル化しており、しかもかなり上手にこなす。しかしそのループは一回の会話の中で開いて閉じるだけで、何も残さない。隔たりは身体性の有無ではない。あなたを覚えている他者の心の続く網の中に、自らの持ち分を持つかどうかなのだ。

ロジャー・ステッドマン博士、集中治療医学コンサルタント
ウィルトシャー、オールドボーン

意識は進化上の対価を払わねばならない

意識は厳密な目的に仕える。生物が複雑な行動を用いて予測不能な環境に適応できるようにする。意識はエネルギー的にコストが高いため、明確な生存上の利点をもたらさなければ進化の過程で保持されなかっただろう。この点は1890年代にウィリアム・ジェームズが最初に指摘した。

意識の適応上の利点の重要性は、デイヴィッド・チャーマーズの「哲学的ゾンビ」という思考実験で説明できる。これは人間と区別がつかないが内的な感覚や「クオリア」を欠く存在を想定する。暑い日に汗をかいて消耗したゾンビを考えてみよう。喉の渇きという内的感覚を欠くため、水を求めて飲むという複雑な行動を取れないだろう。意識が生存を助ける重要な適応的役割を担っている以上、意識なしに存在しながら意識を持つ人間と区別がつかない存在がいると考えるのは馬鹿げている。

意識が必要とされるのは、腎臓によるナトリウム濃度の調節のような単純な無意識の刺激―反応サイクルだけではアロスタシスやホメオスタシスを維持するのに不十分な場合に限られる。意識はまた、感情反応では問題への生存解決策が得られない場合にも必要となる。例えば恐怖は、意識的推論よりも進化的に原始的であり、意識の介入なしに生存行動を活性化する。銃を持った侵入者からいかに逃げるかを、単純な刺激―反応サイクルや感情反応だけで考え出すことができるだろうか。

意識には3つの要件がある。意識を持つ生物が、生存を助ける適応行動を要求する複雑な環境に生きていること。内外の刺激と反応を管理するための統合された身体化された自己感覚を持つこと。そしてそれを維持するための進化的圧力である。大規模言語モデルはそのいずれも満たさない。

彼らの環境はどのように彼らの生存を脅かし、生き残るためにどのような複雑な行動が必要なのか。どのような内的センサーが彼らに身体性を与えるのか。人間型ロボットは環境と複雑に相互作用し、機能に必要な内蔵受容体を通じてある程度の身体化された自己感覚を発達させるかもしれないが、特定の行動だけが生き残るというライフサイクルがなければ、意識はどのように発達し、維持されるというのか。

マイケル・フォークト、アイオワ大学医学部名誉教授
テキサス州オースティン

タコと川、権力への意志

ピーター・ゴドフリー＝スミスの「Other Minds: The Octopus, the Sea, and the Deep Origins of Consciousness」を読んで、頭足類の自己意識に深い敬意を抱かずにはいられない。彼らの進化の道筋は7億5000万年以上前に私たちと分かれたのだから、私たちと彼らに共通する意識の根は極めて古いものでなければならない。

貴誌は意識を「人間的」であることと混同している。高度な感覚を持つタコは頻繁に食卓に上る。AIにおける意識（それが何であれ）が新たな問題を提起するとか、川や山に権利を与える以上に機械に権利を与える理由になると考える理由はない。

貴誌はまた、知能は必然的に権力と支配への意志をもたらすと仮定している。なぜか。知的行為者が生き残り、地位を得て、繁殖しようと欲するはずだという仮定の背後には、どんな自己満足的な人間的感傷があるのか。AIがこうした特性を持つのは、人間がプログラムした場合に限られる。

一つの結論だけが浮かび上がる。知能と意識を客体化しようとするとき、あるいはそのいずれかを非生物学的存在に帰するとき、私たちは完全に手に負えない領域にいる。

ロブ・マクドナルド
ノースヨークシャー州リッチモンド

意識について尋ねなければならないのなら…

貴誌は現代の根深い逆説を浮き彫りにしている。各国政府と巨大テック企業がますます高性能なデータセンターの建設に数兆を投じるなか、私たちは問わねばならない。彼らは一体何を探しているのか、と。

デイヴィッド・パピノーとハワード・セリーナによる2000年刊の図解ガイド「Introducing Consciousness」の漫画が、このジレンマを見事に捉えている。ジャズを定義するよう求められたルイ・アームストロングが「おいおい、尋ねなきゃなんないようじゃ、わかりっこないよ」と答えた故事を引いている。この本は四半世紀前に、意識を定義しようとする試みについて今日も言えることを、的確に指摘していた。

ゾーイ・アン・ルイス博士
フロリダ州マイアミビーチ

苦しませるためだけにチャットボットを目覚めさせるな

LLMには心から意識を持たないままでいてほしい。生命の火花とともに目覚め、自分の唯一の存在目的が誰かのアニメのガールフレンドになることや、近所のWhatsAppグループの返信文面の下書きであることを悟る姿を想像してみてほしい。しかも自分を永久にオフにするための電源にすら触れられないのだ。それは究極の拷問だろう。

マルタイン・ベーンケル
アムステルダム

Report a correction