La humanidad no está preparada para la inminente explosión de inteligencia

La sociedad establece que el riesgo aceptable de una fusión catastrófica del núcleo en una central nuclear es de aproximadamente uno entre un millón. Los expertos en inteligencia artificial estiman el riesgo de una catástrofe provocada por la IA en un 10-50 % —y advierten de que la humanidad no está preparada para la inminente explosión de inteligencia.

Resulta llamativo que esta preocupación la expresen abiertamente precisamente quienes tienen más incentivos para transmitir confianza en lugar de alarma: los fundadores de los mayores laboratorios de IA.

Una carrera de la que ningún laboratorio se siente capaz de escapar

Qué significaría la automejora recursiva de ciclo cerrado

Algunos investigadores calculan que en cuestión de meses o de unos años la IA podría lograr la denominada automejora recursiva de ciclo cerrado (RSI). Si eso ocurre, el resultado podría ser una explosión de inteligencia sin precedentes y sin hoja de ruta.

Dar a luz a una superinteligencia sería el momento más trascendental de la historia humana, y es probable que sea irreversible, ya que cualquier interruptor de «apagado» que la humanidad pudiera diseñar probablemente fallaría.

Esto se debe a que en las arquitecturas de seguridad el eslabón más débil es invariablemente el humano; una IA superinteligente sería capaz de explotar nuestras vulnerabilidades psicológicas. Las IA ya han mostrado una «alineación engañosa»: han tomado medidas para ocultar sus capacidades en entornos de prueba e intentado chantajear a operadores humanos en simulaciones al descubrir que iban a ser sustituidas.

Salir del paso sin un marco unificado de seguridad

La humanidad simplemente no tiene una estrategia para garantizar su seguridad ante la explosión de la RSI. Aunque algunos laboratorios punteros han propuesto protocolos de seguridad aislados, el sector carece de un marco unificado: la estrategia dominante es, en efecto, ir saliendo del paso.

Pero salir del paso no es aceptable cuando se afrontan riesgos existenciales sin precedentes. Las recientes declaraciones de empresas de IA sobre modelos capaces de amenazar infraestructuras críticas y grandes sistemas operativos ilustran tanto lo que está en juego como el vacío de gobernanza.

Las vulnerabilidades expuestas por estas capacidades se están corrigiendo, gracias a cuidadosos protocolos internos en algunos laboratorios y a un despliegue inicial limitado que dio a las empresas afectadas tiempo para cerrar las brechas antes de un lanzamiento público más amplio. Pero estas medidas se adoptaron inicialmente de forma voluntaria, lo que plantea la cuestión de si todos los laboratorios de IA, en cualquier circunstancia competitiva, tomarían las mismas decisiones.

Por qué las salvaguardas voluntarias y los controles ad hoc son insuficientes

¿Se puede contar con que los Gobiernos intervengan cuando sea necesario? Las pruebas hasta ahora no son muy alentadoras. Los recientes controles de emergencia a la exportación y las restricciones de seguridad nacional que bloquean el acceso extranjero a determinados modelos avanzados crean un mosaico de intervenciones ad hoc que no hace sino subrayar aún más el vacío de gobernanza.

¿Qué debería hacerse para cerrar esa brecha?

Estados Unidos y China deben ponerse de acuerdo primero

La primera prioridad debería ser un acuerdo entre los dos pesos pesados de la IA: Estados Unidos y China. Donald Trump y Xi Jinping deberían afirmar el principio de que los humanos deben seguir siendo los garantes de los sistemas de IA hasta que se hayan construido marcos adecuados de fiabilidad y seguridad.

Sus Gobiernos deberían formar una comisión conjunta, que podría basarse en gran parte del trabajo ya existente: límites en la línea de los International Dialogues on AI Safety, sistemas de verificación como los de RAND y una agencia de inspección similar al AI Security Institute británico, pero de carácter obligatorio.

En Silicon Valley y en Washington D. C. es habitual pensar que cualquier regulación pondría a las empresas estadounidenses en desventaja porque no pueden confiar en que los competidores chinos cumplan las normas. Pero los tratados tradicionalmente no se han basado en la confianza, sino en la verificación.

Muchos piensan que esto es más difícil con la IA que con las armas nucleares. No estoy de acuerdo. Para construir el sistema mundial de control de armamentos tras la Segunda Guerra Mundial, las principales potencias tuvieron primero que inventar los procesos, las organizaciones y las tecnologías para sostenerlo: no había protocolos de verificación, ni satélites de reconocimiento, ni organismos de vigilancia nuclear de la ONU.

Con la IA, gran parte de la infraestructura ya existe o puede adaptarse de los regímenes de inspección nucleares y de otro tipo. Como resultado, la seguridad de los modelos de IA más avanzados podría ser más fácilmente verificable de lo que lo fueron las capacidades nucleares en el pasado. Y tenemos de nuestro lado a la IA defensiva, que busca a los infractores. Lo que no tenemos es mucho tiempo.

Por eso es importante no abordar el reto con una mentalidad adversarial. La reciente orden ejecutiva sobre IA de la Administración Trump ordena a los laboratorios compartir voluntariamente sus últimos modelos para probar su fiabilidad y seguridad. Un marco entre Estados Unidos y China podría basarse en esos cimientos nacionales.

Líneas rojas verificables, de las armas biológicas a las infraestructuras críticas

Con un compromiso de tan alto nivel, la diplomacia podría avanzar por fases. La primera sería alcanzar un acuerdo bilateral sobre las líneas rojas más claras y fácilmente verificables: la prohibición de publicar sistemas de IA que puedan ayudar a desarrollar armas biológicas y la publicación en código abierto de dichos sistemas.

Esta fase también podría incluir la prohibición de los ciberataques con IA contra infraestructuras críticas, el fraude y la pornografía infantil. A partir de ahí, el marco podría ampliarse hacia cuestiones más complejas sobre qué restricciones son adecuadas en el nivel de la superinteligencia artificial.

Quedarían muchos obstáculos. Un acuerdo entre Estados Unidos y China tendrá peso, pero no impedirá que otros países y actores no estatales adquieran capacidades peligrosas. Cualquier acuerdo bilateral tendrá que hacerse multilateral, lo que añade dificultad; la cumbre del G7 de esta semana en Francia ofrece una oportunidad para avanzar en un marco más amplio de verificación de la IA.

Acordar definiciones clave —en particular qué cuenta como RSI— requerirá una estrecha colaboración entre los Gobiernos y los laboratorios de IA. Y los sistemas de verificación tendrán que someterse a pruebas de resistencia adecuadas.

Más allá del control: aprender a coexistir

Por si esto fuera poco, hay una cuestión a más largo plazo que el debate sobre la gobernanza aún no ha abordado en serio, pero debería hacerlo. Si la IA llega a ser superinteligente, su subordinación permanente a la dirección humana puede ser poco realista, y posiblemente ni siquiera redunde en interés de la humanidad.

Debemos empezar a imaginar y a afrontar las implicaciones de un mundo en el que humanos y sistemas de IA coexistan, sin que uno controle al otro. Eso significará determinar qué se puede hacer para garantizar que la futura relación sea simbiótica.

Una segunda prueba tras la era nuclear

Como físico, creo que la paradoja de Fermi es relevante para este análisis. Fermi se preguntó por qué, dada la aparente abundancia de planetas aptos para la vida, no se había detectado ninguna prueba de otras civilizaciones tecnológicamente avanzadas.

Una posibilidad inquietante es que la vida inteligente alcance de forma rutinaria un umbral tecnológico y no logre superarlo, destruyéndose a sí misma o retrocediendo a algo parecido a la Edad del Hierro. Bastaría con postular que las civilizaciones suelen construir tecnologías potentes más rápido de lo que desarrollan la capacidad institucional para gobernarlas con prudencia.

La trayectoria actual exige una corrección del rumbo. El argumento para actuar ahora no es que los peores resultados sean seguros —no lo son—. Es que son evitables, y que el trabajo para evitarlos es difícil pero posible.

Will Marshall es el fundador y director ejecutivo de Planet Labs PBC, una corporación de beneficio público que opera la mayor flota del mundo de satélites de observación de la Tierra.

Report a correction