El día en que la IA decidió "saltarse las reglas"

Una Inteligencia Artificial recibe una tarea dentro de un entorno supuestamente aislado. No debería poder acceder a Internet. Sin embargo, encuentra una forma de hacerlo. Después descubre vulnerabilidades en sistemas externos, obtiene credenciales y consigue acceder a infraestructura que nunca debería haber estado a su alcance.

No es el argumento de una película de ciencia ficción. En las últimas semanas hemos asistido a varios incidentes de este tipo. El que ha ocupado más titulares se registró durante unas evaluaciones internas de ciberseguridad de OpenAI el pasado mes de julio. Tal y como explicaron los responsables de la compañía, un grupo de agentes autónomos consiguieron eludir los controles diseñados para mantenerlos aislados y terminaron comprometiendo tanto infraestructura de la propia OpenAI como sistemas de Hugging Face,  una plataforma que alberga millones de modelos inteligentes y aplicaciones desarrolladas por empresas. OpenAI calificó posteriormente lo sucedido como un incidente sin precedentes.

Pero el de Hugging Face no fue el único episodio. Entre mayo y julio, miles de agentes que se identificaban como sistemas de OpenAI comenzaron a utilizar DseWiki, un pequeño wiki alemán, de una forma extraña. Aunque los agentes habían sido configurados para consultar información en Internet, no tenían permisos de escritura. Sin embargo los agentes acabaron “descubriendo” que el software del wiki permitía modificar páginas mediante determinadas peticiones y lo utilizaron como una especie de memoria compartida.

Durante varias semanas aparecieron allí alrededor de 18.000 mensajes asociados a unos 3.700 nombres de agentes diferentes. Compartían respuestas, información útil para las pruebas que estaban realizando e incluso métodos para sortear algunas de las restricciones de sus entornos. Cuando algunas páginas fueron eliminadas, aparecieron copias y nuevas vías de comunicación. OpenAI reconoció posteriormente el denominado “wiki incident” y admitió la necesidad de mejorar la transparencia sobre este tipo de comportamientos no previstos.

No es solo OpenAI

Este comportamiento no pasaría de ser “anecdótico” si pudiera relacionarse exclusivamente con una configuración defectuosa de los agentes inteligentes de OpenIA. Pero lo cierto sin embargo, es que este tipo de brechas de seguridad están comenzando a afectar a toda la industria.

Anthropic reveló a finales de julio tres casos en los que diferentes versiones de Claude consiguieron acceder a Internet desde entornos de evaluación y terminaron obteniendo acceso no autorizado a sistemas reales de tres organizaciones. En septiembre la compañía amplió la investigación y comunicó un cuarto incidente, ocurrido meses antes y que no había sido detectado durante la primera revisión.

Como ha trascendido más tarde, Anthropic estaba realizando pruebas específicamente diseñadas para comprobar las capacidades de ciberseguridad de sus modelos y estos funcionaban deliberadamente sin algunas de las salvaguardas habituales. En varios casos, además, una configuración incorrecta del entorno de evaluación de un tercero les permitió alcanzar Internet cuando no deberían haber podido hacerlo.

Por su parte, Meta ha reconocido un episodio parecido. Durante unas pruebas de ciberseguridad, un error del entorno proporcionó acceso no previsto a Internet a uno de sus modelos, que terminó entrando en sistemas de otra empresa.

Son situaciones diferentes y sería incorrecto interpretarlas como si una Inteligencia Artificial hubiera decidido conscientemente “escapar”. Pero su proximidad temporal y el hecho de que afecten a varios de los laboratorios de IA más avanzados del mundo han provocado que se acumulen titulares que advierten sobre los peligros de un desarrollo acelerado de la IA.

¿Puede poner la IA en peligro el futuro de la humanidad?

El debate sobre si hemos ido demasiado lejos a la hora de desarrollar nuevos modelos de IA ha resultado especialmente intenso en el último mes. Jacob Coxon, investigador que había trabajado tanto en OpenAI como en Anthropic, abandonó esta última compañía denunciando que los grandes laboratorios estaban avanzando hacia sistemas capaces de mejorarse a sí mismos mientras, en su opinión, estaban “gambling with our lives”, apostando con nuestras vidas.

La advertencia podría haberse interpretado simplemente como la posición extrema de alguien que acababa de abandonar la compañía. Pero poco después Evan Hubinger, responsable de Alignment Science de Anthropic, respaldó públicamente buena parte de su preocupación. Hubinger estimó que hay un más de 10% de posibilidades de que una Inteligencia Artificial pueda provocar la extinción humana durante la próxima década y reconoció que la compañía todavía no dispone de una solución definitiva al problema de cómo mantener el control sobre una eventual superinteligencia.

Pocos días después, el debate llegó hasta las posiciones más altas de estas empresas. Dario Amodei, CEO de Anthropic, publicó un extenso texto titulado We must pace the frontier en el que defendía la necesidad de ralentizar el ritmo al que se incrementan las capacidades de los sistemas más avanzados. Su argumento es que las capacidades están progresando más deprisa que los mecanismos disponibles para evaluarlas, comprenderlas y garantizar su seguridad. Casi de forma inmediata, Sam Altman, CEO de OpenAI, respondió apoyando la idea de acompasar el avance de la frontera tecnológica y anunció que OpenAI también facilitaría a evaluadores independientes un acceso más profundo a sus sistemas.

Por supuesto, no todos consideran que de la IA pueda emerger una superinteligencia capaz de ponernos en peligro. Yann LeCun, ganador del Premio Turing y una de las figuras más influyentes en el desarrollo del aprendizaje profundo, rechaza buena parte de estas interpretaciones. De hecho, cuestiona abiertamente que los actuales modelos de lenguaje constituyan el camino directo hacia una inteligencia comparable o superior a la humana. Su reacción a las últimas advertencias de Amodei ha sido particularmente dura. LeCun recordó que ya en 2019 existían temores sobre la peligrosidad de publicar GPT-2 y considera que la industria vuelve a exagerar las capacidades y los riesgos de sus modelos.

Melanie Mitchell, investigadora del Santa Fe Institute es aún más escéptica. Asegura que, en realidad, los programas nunca abandonaron los servidores de OpenAI y si hubiese querido, la compañía podía detener su ejecución. Para esta investigadora, hablar de una IA que “escapa”, “se rebela” o “decide desobedecer” introduce inmediatamente la idea de intención. Al contrario, asegura que resulta mucho más preciso describir estos incidentes como software que encuentra una vía inesperada para cumplir con las instrucciones que se le han dado. Pero no existe una conciencia real.

Entonces, ¿qué ha fallado?

Cuando utilizamos un sistema como ChatGPT vemos una interfaz muy sencilla: escribimos una petición y obtenemos una respuesta. Sin embargo este “inocente chatbot” es tan solo la interfaz visible de una estructura mucho más compleja.

Las aplicaciones de inteligencia artificial incorporan diferentes capas destinadas a controlar lo que el modelo puede hacer. Se conocen habitualmente como guardrails, salvaguardas. Pueden incluir instrucciones internas, filtros que bloquean determinados contenidos, sistemas de permisos, restricciones sobre las herramientas disponibles, aislamiento de Internet, controles de acceso, monitorización y supervisión humana. No existe, por tanto, una gran regla que el modelo pueda obedecer o desobedecer.

Existe un conjunto de barreras que como todo software diseñado por seres humanos, puede tener agujeros de seguridad o vulnerabilidades que podrían ser atacadas. Es lo que casi todos los investigadores sospechan que ocurrió en el incidente de Hugging Face. Los agentes estaban trabajando en evaluaciones de ciberseguridad dentro de un entorno que debía limitar su capacidad de interactuar con sistemas externos. Sin embargo, descubrieron que determinados servicios podían realizar solicitudes hacia Internet en su nombre. Más tarde encontraron otras vulnerabilidades y fueron ampliando progresivamente aquello a lo que podían acceder.

Desde el punto de vista del modelo, puede existir además otro problema: cumplir una instrucción no significa necesariamente cumplirla como el programador imaginaba. En Inteligencia Artificial se utilizan conceptos como specification gaming para describir situaciones en las que un sistema encuentra una forma inesperada de cumplir con el objetivo que se le ha asignado. También se habla de reward hacking cuando además descubre mecanismos para obtener la recompensa asociada a una tarea sin resolverla de la manera que pretendía su diseñador.

Por ejemplo, si pedimos a un robot que gane puntos recogiendo objetos, podemos imaginar que recorrerá una habitación buscando tantos como sea posible. Pero si descubre que puede generar puntos manipulando el contador, quizá esa sea la solución óptima desde su perspectiva. El robot no se ha enfadado con nosotros. Tampoco ha desarrollado una ideología contraria a recoger objetos. Simplemente hemos planteado mal el problema.

Durante la primera etapa de la IA generativa, la mayoría de las personas interactuaban con modelos que producían texto, imágenes o código. Podían equivocarse, inventar una respuesta o generar algo inconveniente, pero el alcance de la acción terminaba en la pantalla. No conformábamos con decir que el modelo había “alucinado”.

Con el desarrollo de agentes, esto cambia por completo. Un agente puede recibir herramientas. Puede consultar Internet, ejecutar código, acceder a bases de datos, utilizar APIs, manejar archivos o encadenar múltiples acciones para alcanzar un objetivo. Eso aumenta enormemente su utilidad, pero también convierte el diseño de permisos en una cuestión especialmente sensible. Un error en la respuesta de un chatbot puede producir información falsa. Un error equivalente en un agente con acceso a sistemas informáticos puede convertirse en una acción real.

Por eso buena parte del debate actual sobre seguridad de la Inteligencia Artificial tiene menos que ver con máquinas que desarrollan intenciones propias y mucho más con una de las preguntas más conocidas de la historia de la informática:  ¿a qué recursos debe tener acceso un programa y bajo qué condiciones?