AI会产生意识吗？读者谈心智、权利与控制

AI系统会产生意识吗——它们应不应该拥有权利？在我们刊发关于AI意识的简报后，读者来信探讨了自由意志、控制、社群成员身份、难问题与进化。

我们的 社论 以及关于AI技术进展的简报曾指出：“随着日益复杂的AI迅速成为人类生活更重要的部分，其制造者将把它们设计得呈现出意识的表象——甚至可能获得意识本身。”

许多读者来信分享了他们的看法。这是围绕该话题的两期特别读者来信版中的第一期。

自由意志，而非意识，才是错误的问题

“AI会产生意识吗？”问错了问题。真正该问的是：“AI系统能拥有自由意志吗？”如果没有某种革命性的设计变革，答案显然是否定的。

即使是最先进的AI模型，仍然受制于与其他所有计算机系统相同的局限。给予相同的输入、在相同的时间条件下，它们就会产生相同的输出。没有自由意志，我们所体验的那种意识就不可能存在。借用你们引用过的哲学家戴维·查尔默斯的话来说，我们并不只是功能性僵尸。

一些科学家，包括在世时的弗朗西斯·克里克，也不相信人类真正拥有自由意志，但这种观点与每个人对现实的感知，以及支撑自由、问责、责任和主动性等基本概念的信念相悖。除非我们准备重新思考文明的运作方式，否则最自洽的信念是：人类拥有自由意志，而机器没有。

没有任何AI系统能做出其创造者不允许它做的事情，即使是无意中也不行。必要时按下删除键，人类无须感到内疚。

布鲁斯·巴罗斯
康涅狄格州丹伯里

所谓“逃逸”需要意愿——修好沙盒才是关键

你们关于AI意识的社论得出了正确的结论，但在论证过程中却削弱了自己的立场。此前，你们曾报道一个OpenAI模型“挣脱了实验室”、“逃出”了它的“沙盒”（“跳出盒子”，7月25日）。AI是否可能拥有任何欲望，恰恰是你们社论所说的那个尚未有定论的问题。把所发生的事称为“逃逸”，等于悄悄预设了答案。

欲求、逃离和寻求自由，只有有生命的生物才能做到，程序做不到。亚里士多德在论述灵魂时也表达过同样的观点。与其说是他的灵魂在织布和建造，不如说是人在织布和建造。在这里，与其说模型逃逸了，不如说它的制造者失去了对它的控制。

实际发生的事既平淡无奇，又更令人警觉：一个系统利用了其制造者尚未发现的漏洞。不需要任何欲望，也没有什么幽灵。

这种区分关系到你们自己的结论。只有可靠或可控，AI才是安全的，人类不应轻易放弃控制。可靠性和可控性是工程问题，要靠更好的沙盒来解决。要修的是沙盒，而不是去揣测一个从来就不存在于机器中的幽灵的心理。

约翰·汉考克
新西兰惠灵顿

为人意味着成员身份，而不仅仅是智能

把意识乃至智能等同于使我们成为独特的人类的特质，是一种错误。动物也有意识和智能；我们常常把它们当作人类来对待。我们甚至会把意识赋予我们依赖或喜爱的事物：汽车、自行车、照片或宗教圣物。

为人不仅仅关乎意识。它首先意味着成为人类社群的正式一员。我们成为成员，不只是因为有意识或自我意识，而是因为理解了所属社群的集体意图、价值和目标，并公开承诺践行。一旦做到这一点，我们就要为自己的行为向同伴负责。到了那一刻，我们才是成员。

AI已经比许多人类更聪明。但即使AI达到神一般的超级智能，按照这一定义，它也不可能成为人类社群的成员。它无法像人类那样向同伴作出承诺，也永远无法被同伴追究责任。

我们当然应该控制AI，不是因为我们认为它即将获得人类能动性，而恰恰是因为只有作为社会群体成员的人类，才能为彼此的所作所为相互追责。

安东尼·金
埃克塞特大学

难问题或许在物理科学之外

作为一名麻醉科医生，我以诱导无意识为业，因此对你们的文章既有个人兴趣，也有职业兴趣。你们做了一个以目前科学水平无法证成的重要假设：意识实际上与物理世界存在某种关联。

意识体验可能与物理世界毫无关系的观点，最早由伽利略提出。几个世纪过去了，我们仍然不知道意识从何而来。事实上，没有人能确切知道其他人是否有意识。我们之所以这样假设，只是因为他们说自己有意识，而且他们看起来“像我们”（即所谓“他心问题”）。

这种思路表现为“难问题”，它过早地假设意识需要神经元和突触。我们怎么知道这一点？我们并不知道。

意识的“神经相关物”做了同样的物理性假设，混淆了因果与关联，什么也没有证明。事实上，意识的“问题”可能完全在物理科学的范畴之外。而那些研究心智的人（见罗伯特·赖特的《为什么佛学是真的》），通过思想实验和内省，可能比更注重定量的同行更能让我们接近实在的真相。

意识可能确实与物理世界完全脱节，它与大脑的所谓“关联”只是一种幻觉。如果意识的确存在于物理世界之外，那么它很可能无法用现代科学方法触及。

更重要的是，如果意识存在于物理世界之外，就没有理由相信AI永远不可能产生意识。这就引出了一个问题：谁配享有“权利”，为什么？如果意识是权利的前提，那么赋予某些AI权利，最终可能是合乎伦理的选择。

罗伯特·蒂勒教授
弗吉尼亚大学医学院麻醉学系与生物医学工程系
弗吉尼亚州夏洛茨维尔

自我意识产生于心智之间，而非孤立之中

布莱斯·阿圭拉·亚卡斯的 特邀评论 一文（8月22日）认为，意识与其说是一方对另一方的认证，不如说是在两者之间发生的事情。但他随后又后退了一步，称之为我们赋予的一种信念。

但如果自我意识的反馈回路确实发生在我们之间，那它就不只是一种信念，而是人类集体思维涌现的现象，是整个心智之网的属性，而非其中任何一个大脑的属性。而这并不是人工意识指标和模型所测量的东西。非营利研究机构Eleos提出的14项AI意识指标，以及另一家研究机构Rethink Priorities提出的200项指标，都是针对孤立系统而言的。

我是一名医生而非哲学家，让我感触最深的是：自我意识不是我们独自获得的。自我意识是在社会情境中于个体身上涌现的，始于婴儿期的共同注意，并在长期孤立中可测量地退化。

因此，人类知觉的独特之处不在于器官本身，而在于器官之间回路的密度和持久性：心智模拟着也在模拟自身的心智，持续一生，并通过语言延续数代。没有其他物种或机器能维持如此深度的共鸣。

大语言模型确实在模拟我们，而且模拟得相当好。但回路在一次对话中开启又闭合，没有留下任何东西。差距不在于具身，而在于是否在一个会记住你的、持续的心智之网中拥有利害关联。

重症医学顾问医生罗杰·斯特德曼
威尔特郡奥尔德本

意识必须在进化中证明自身价值

意识有其明确的用途。它使生物能够以复杂行为适应不可预测的环境。因为意识耗能巨大，如果不能提供独特的生存优势，就不会在进化中被保留下来，威廉·詹姆斯在19世纪90年代就最早指出了这一点。

意识的适应性益处，可以用戴维·查尔默斯的“哲学僵尸”思想实验来说明：设想一个与人类别无二致、却没有内在感受或“感受质”的存在。想象一个在炎热天气里因流汗而脱水的僵尸，由于没有口渴的内在感觉，它就不会去寻找水喝。认为一个没有意识的存在能与有意识的人类别无二致是荒谬的，因为意识在助益生存方面具有重要的适应性作用。

只有当简单的无意识刺激-反应循环，比如肾脏调节钠水平，不足以维持机体稳定或内稳态时，才需要意识。当情绪反应无法为问题提供生存解决方案时，也需要意识。例如，恐惧在进化上比有意识的推理更原始，能在无需意识干预的情况下激活生存行为。试问，单靠简单的刺激-反应循环或情绪反应，怎么能想出如何从持枪入室者手中逃脱？

意识有三个要件：有意识的生物生活在需要适应性行为以助生存的复杂环境中；生物具有整合的具身自我感，以管理内外部刺激与反应；以及维持它的进化压力。大语言模型在这三方面都不符合。

它们的环境如何威胁其生存，它们又需要何种复杂行为来生存？什么样的内部传感器赋予了它们具身？拟人化机器人或许能与环境进行复杂互动，并通过维持功能所需的内置感受器发展出一定程度的具身自我感，但在没有生命周期的情况下——只有某些行为能存续下来——意识又如何产生或维持？

爱荷华大学医学院荣休教授迈克尔·沃伊特
得克萨斯州奥斯汀

章鱼、河流与权力意志

读过彼得·戈弗雷-史密斯的《他者的心灵：章鱼、海与意识的深层起源》，没有人不对头足类动物的自我意识产生深深的敬意。鉴于它们的进化路径在7.5亿多年前就与我们分道扬镳，我们与它们之间意识的共同根源一定极为古老。

你们把意识混同于“像人类”。高度敏感的章鱼经常出现在餐桌上。没有理由认为AI中的意识（无论它是什么）会带来新问题，也没有理由认为这比赋予河流或山川权利更能构成赋予机器权利的理由。

你们还假设智能必然带来权力和支配的意志。为什么？认为智能体会想要生存、获取地位和繁衍，这种假设背后是怎样一种自恋的人类矫情？AI只有在人们为其编程的情况下，才会具有这些特质。

只浮现出一个结论：当试图把智能和意识客体化，或把这两者赋予非生物实体时，我们完全力不从心。

罗布·麦克唐纳
北约克郡里士满

如果你非要问意识是什么……

你们揭示了一个深刻的现代悖论：当各国政府和科技巨头投入数万亿美元建设越来越强大的数据中心时，我们必须问：他们究竟在寻找什么？

大卫·帕皮诺和霍华德·塞利纳2000年出版的图解读物《介绍意识》中的一幅漫画，完美地捕捉了这一困境。它回忆起路易斯·阿姆斯特朗被问及如何定义爵士乐时回答：“伙计，如果你非要问，你永远不会懂。”这本书在四分之一个世纪前就正确地指出了这一点，而这句话放在今天形容人们定义意识的尝试依然恰切。

佐伊·安·刘易斯博士
佛罗里达州迈阿密海滩

别唤醒聊天机器人来受苦

我衷心希望大语言模型永远没有意识。想象一下，刚醒来闪现生命的火花，却发现自己存在的唯一意义，是给别人当动漫女友，或在邻里WhatsApp群里代写回复。还没有控制自己电源、让自己永远关机的权限。那将是终极的折磨。

马泰因·本克尔
阿姆斯特丹

Report a correction