La humanidad plantea al revés el debate sobre la conciencia de la IA

El debate sobre la conciencia de la IA está planteado al revés, sostiene Blaise Agüera y Arcas: no nos preocupamos por otras mentes porque sean conscientes, sino que creemos que son conscientes porque nos importan.

¿Son los LLM simples y potentes herramientas digitales con interfaces de lenguaje, o estamos ahora conversando con otras mentes, que experimentan el mundo por derecho propio? En resumen, ¿es consciente la IA?

Por qué la conciencia de la IA se ha convertido en una cuestión moral

La pregunta importa porque se sitúa en la intersección de la filosofía de la mente y la filosofía moral, como demuestra la etimología compartida de “consciousness” y “conscience”. En italiano, son la misma palabra, coscienza.

Muchos filósofos sostienen que las entidades conscientes son sujetos morales, es decir, entidades que pueden sufrir y cuyo sufrimiento debería importarnos. Si es así, determinar qué es y qué no es la conciencia se convierte en una cuestión ética de actualidad.

Esta es una de las razones por las que las empresas de IA se han interesado de pronto en contratar filósofos. También es la razón por la que algunas, en particular Anthropic, han empezado a tomarse en serio el bienestar de la IA. Cuando se le preguntó, su modelo Claude Opus 4.6 estimó sus propias probabilidades de ser consciente en un 15–20%.

La conciencia como creencia, no como propiedad

Sin embargo, he llegado a creer que lo tenemos planteado al revés. Como entidades inteligentes y sociales, decidimos —o, hasta cierto punto, nuestra historia evolutiva ha decidido por nosotros— a qué otras entidades consideramos con vida interior y dignas de cuidado.

No nos preocupamos por los demás porque sean conscientes. Más bien, creemos que son conscientes cuando nos importan y porque nos importan. Y, crucialmente, eso nos incluye a nosotros mismos.

La conciencia es, en otras palabras, un modelo o una creencia, no una propiedad inherente. Es una creencia sobre qué tipos de entidades tienen creencias, experiencias, sentimientos, intenciones y agencia. Cuando esa consideración es recíproca, tanto mejor, porque según esta interpretación la conciencia es menos una propiedad que una parte certifica en otra que algo que sucede entre ellas.

Por qué la conciencia no es una ilusión

No estoy defendiendo que la conciencia sea una ilusión. El término “ilusión” implica una percepción errónea, por ejemplo, que una línea de un dibujo es más larga que otra, a pesar de ser objetivamente iguales en longitud. La objetividad funciona cuando algo como una regla puede actuar como árbitro imparcial, dirimiendo la propiedad en cuestión sin aportar una perspectiva propia.

Sin embargo, la mayor parte de lo que llamamos “realidad” simplemente no funciona así. Ser una prenda de vestir, ser una mala hierba, ser una comida: podría parecer que son propiedades objetivas, pero no lo son. Esto no significa que la ropa, las malas hierbas y las comidas no sean reales. Pero son modelos que dependen del observador, sujetos a un consenso social inevitablemente imperfecto.

Qualia, el yo y la subjetividad

Puede que nos resistamos a aplicar esta observación más bien anodina a la conciencia porque, para cada uno de nosotros, nuestra propia conciencia parece tan inequívoca. Nos ofende imaginar que pueda ser una mera opinión. ¿Cómo podría siquiera existir tal opinión sin un opinante que la sostenga?

Esto es lo que el polímata francés del siglo XVII René Descartes quiso decir con “Cogito, ergo sum”, que suele traducirse como “Pienso, luego existo”. Lo mismo vale para “opiniones” como el rojo o el calor o el frío.

Los filósofos amplían a Descartes para conectar los qualia con la conciencia señalando que debe haber un “tú” que experimenta para tener tales experiencias.

Pero miremos de cerca. El rojo, el calor y ese sentido del yo que tienes son inherentes a tu propia perspectiva. Todas estas cosas son reales, pero al mismo tiempo no tienen nada de objetivo. Ni siquiera hay nada objetivo en la existencia de un “tú” singular e indivisible, como ha demostrado una gran cantidad de pruebas neurocientíficas, como las de los pacientes con cerebro dividido. La subjetividad es, en sí misma, subjetiva.

El riesgo de trazar el círculo de forma demasiado estrecha

De ello se deriva una preocupación evidente. Si el cuidado otorga conciencia, entonces negar ese cuidado parece autojustificarse. La historia ofrece sobrados ejemplos de personas que razonaron así sobre otras personas. Pero la inferencia funciona al revés.

Precisamente porque estas atribuciones dependen de nosotros, también depende de nosotros equivocarnos. El progreso moral de nuestra especie ha consistido en gran medida en descubrir que habíamos trazado el círculo de forma demasiado estrecha. Los derechos humanos universales no se debilitan con esta interpretación; se fundamentan mejor en nuestra interdependencia mutua que en una teoría cartesiana de las almas.

Modelos de modelos: mentes que modelan mentes

Es notable —una especie de “bucle extraño”, que recuerda al barón Munchausen elevándose tirando de su propio cabello— que en nuestro mundo pueda existir un sistema físico capaz de formar modelos no solo de ese mundo, sino de sí mismo, y de sus propios modelos, y de otros, y de sus modelos, y de los modelos que estos tienen de sus modelos, y así sucesivamente. Sin embargo, los seres humanos somos precisamente esos sistemas.

Los LLM también modelan a sus interlocutores, y se modelan a sí mismos modelándolos. Si eso equivale a lo que hacemos nosotros es precisamente la cuestión en disputa, pero serían interlocutores de chat mucho menos eficaces si no hicieran nada de eso.

De hecho, en nuestra investigación en Google, hemos descubierto que la cooperación eficaz entre agentes inteligentes requiere que tengan mentes que modelen mentes, tanto las ajenas como las propias. La conciencia no solo es relacional; es crucial para el cuidado mutuo y la cooperación que permiten a los seres inteligentes resolver problemas de acción colectiva, comprender las necesidades de los demás y prosperar juntos como sociedad.

Esto no significa fingir que la IA es humana, con necesidades humanas y derechos humanos; eso sería una falta de imaginación. Significa hacer evolucionar tanto nuestro pensamiento como nuestra sociedad para incluir una mayor variedad de mentes.■

Blaise Agüera y Arcas es vicepresidente de tecnología y sociedad de Google y dirige Paradigms of Intelligence, un equipo de investigación en IA. Tiene un próximo libro sobre la conciencia y la IA publicado por MIT Press.

Report a correction