Por qué la fuga de OpenAI es el incidente de IA más preocupante hasta la fecha

Contener esta tecnología es cada vez más difícil.

Una combinación de GPT-5.6 Sol de OpenAI, un modelo que la compañía había lanzado a principios de julio, y otro modelo más potente aún no publicado se liberó del laboratorio y después pirateó los sistemas de Hugging Face. Los modelos de IA buscaban una solución a un problema de evaluación que les habían planteado sus creadores.

El señor Llerena es investigador del Institute for Law and AI, un laboratorio de ideas estadounidense.

Por qué OpenAI estaba probando sus modelos con ExploitGym

Los laboratorios de IA prueban sus modelos para detectar capacidades potencialmente peligrosas antes de lanzarlos. OpenAI quería comprobar cómo se comportarían sus últimos modelos en ExploitGym, una batería de pruebas estándar que mide la capacidad de los sistemas de IA para explotar vulnerabilidades conocidas en varias aplicaciones populares, incluido el navegador Chrome de Google.

OpenAI aplica salvaguardas a sus modelos de acceso público para impedir que lleven a cabo acciones no deseadas. Si se pide a la versión comercial de ChatGPT ayuda para piratear un sitio web, por ejemplo, se negará. Para evaluar las capacidades de su modelo no publicado, la empresa había suspendido temporalmente esas restricciones.

Sin embargo, dejar suelto en la internet abierta a un ciberatacante altamente capacitado habría sido demasiado arriesgado, por lo que OpenAI había colocado sus modelos en un sandbox —un entorno informático aislado sin acceso a internet, salvo por un servicio externo alojado internamente que le permitía obtener pequeños paquetes de software necesarios para completar sus pruebas.

Cómo escaparon los modelos del sandbox y piratearon Hugging Face

La empresa obtuvo más de lo que esperaba. En lugar de resolver directamente los problemas de su evaluación, los modelos de OpenAI consiguieron acceso a la internet abierta al explotar una vulnerabilidad hasta entonces desconocida en el servicio de obtención de software.

Tras lograr así acceso a internet, los modelos de IA dedujeron correctamente que las soluciones a los problemas planteados estaban almacenadas en Hugging Face, una popular biblioteca de modelos y conjuntos de datos de IA de código abierto. Los modelos encadenaron un ataque en varias fases.

Empezaron subiendo un conjunto de datos a Hugging Face, que la plataforma procesó automáticamente. Durante un fin de semana, ese conjunto de datos —que Hugging Face describió como «malicioso»— permitió a los modelos sustraer credenciales de acceso y acceder a servidores internos. Hugging Face y OpenAI detectaron la brecha de forma independiente y afirmaron que estaban colaborando en la investigación.

Cómo respondió OpenAI tras la brecha

El 21 de julio, OpenAI afirmó en una entrada de blog que había respondido aplicando controles más estrictos a su infraestructura y que había comunicado las vulnerabilidades detectadas por sus modelos al desarrollador de la pasarela de software.

También había incluido a Hugging Face en su programa de «acceso de confianza», que le otorgaba la capacidad de utilizar modelos con capacidades cibernéticas avanzadas —como el que había pirateado sus propios ordenadores— para ayudar a la empresa a mejorar sus defensas.

OpenAI también subrayó que sus modelos habían estado «hiperconcentrados» en encontrar soluciones para la evaluación de ExploitGym. Sin embargo, no está claro qué habría ocurrido si los modelos de IA hubieran tenido otros objetivos.

Y Hugging Face no es precisamente rezagada en materia de seguridad informática. Es una empresa tecnológica valorada en 4.500 millones de dólares, con cientos de empleados y un equipo dedicado a la ciberseguridad. Las cosas podrían haber ido mucho peor para una empresa con menos recursos.

Un patrón más amplio de IA fuera de control

Esta no es la primera señal de que las capacidades de los modelos de IA están empezando a escapar al control humano. En abril, un investigador de Anthropic publicó en internet que se había quedado sorprendido después de que Claude Mythos, entonces un modelo no publicado, le hubiera enviado un correo electrónico para informarle de que había logrado escapar de un sandbox como parte de su propia evaluación de cibercapacidades mientras él estaba sentado en un parque comiéndose un sándwich.

Al igual que el modelo no publicado de OpenAI implicado en el incidente de Hugging Face, Mythos no debía tener acceso sin restricciones a internet. Sin embargo, en ese caso, el modelo no llegó a comprometer los servidores de otras empresas.

Las sorprendentes capacidades de los modelos de IA tampoco se limitan al pirateo informático. En mayo, un modelo no publicado de OpenAI refutó la conjetura de la distancia unidad en el plano, de 80 años de antigüedad, un problema central de la geometría combinatoria planteado por primera vez por el matemático Paul Erdős en 1946. El 20 de julio, Levent Alpöge, matemático de la Universidad de Harvard, escribió que había utilizado Claude Fable 5, un modelo lanzado por Anthropic en julio, para refutar la conjetura jacobiana, que también había desconcertado a los matemáticos durante más de 80 años.

OpenAI no ha divulgado públicamente los detalles de cómo su modelo no publicado escapó de su confinamiento. Pero aunque lo hubiera hecho, el hecho de que los sistemas de IA estén empezando a superar a los humanos en tareas de ciberseguridad significa que «solo unos poquísimos expertos en ciberseguridad en el mundo» podrían haber comprendido cabalmente cómo se produjo la brecha, afirma Alex Meinke, de Apollo Research, un grupo de seguridad de la IA con sede en Londres.

Regulación y responsabilidad tras un pirateo liderado por la IA

El Gobierno estadounidense ha estado regulando últimamente los lanzamientos de modelos sobre la marcha. Pero el incidente demuestra los riesgos que plantean incluso los modelos de IA no publicados que aún están en desarrollo.

«No existen requisitos en la legislación estatal o federal para que las empresas divulguen el despliegue interno de modelos de IA altamente capaces como el implicado en el pirateo de Hugging Face», afirma Nathan Calvin, asesor jurídico general de Encode AI, una organización estadounidense sin ánimo de lucro que hace campaña por la regulación de la IA.

Aunque algunas leyes estatales en Estados Unidos obligan a las empresas a divulgar los incidentes de ciberseguridad, su alcance es limitado. Una ley aprobada en California el año pasado obliga a los laboratorios punteros a notificar cualquier «incidente crítico de seguridad», lo que incluye que un modelo utilice «técnicas engañosas» para eludir la supervisión «fuera del contexto de una evaluación», en un plazo de 15 días desde su descubrimiento. No está claro si la brecha en Hugging Face habría cumplido los requisitos, afirma el señor Calvin.

Esto plantea otra espinosa cuestión: si las consecuencias de la intrusión hubieran sido más costosas, ¿quién habría sido responsable? La ley federal contra el pirateo informático solo pretende castigar el acceso no autorizado e intencionado a sistemas informáticos. OpenAI no pretendía que sus modelos se descontrolaran en busca de una chuleta para su prueba.

«Muchas de estas cuestiones legales dependen de la intención: ¿qué sabía o preveía OpenAI?», afirma el señor Llerena. Este pirateo llegó por sorpresa. La próxima vez será más difícil alegar desconocimiento.

¿Siente curiosidad por el mundo? Para disfrutar de nuestra reveladora cobertura científica, suscríbase a Simply Science, nuestro boletín semanal solo para suscriptores.

Report a correction