OpenAI fue ‘hackeada’ con ayuda de Claude: así encontraron una falla en sus sistemas

Una inteligencia artificial ayudó a encontrar una falla de seguridad en OpenAI, pero el detalle que llama la atención es que la herramienta utilizada fue Claude, el chatbot desarrollado por Anthropic, una de las principales compañías que compiten en el desarrollo de modelos de inteligencia artificial.

El caso fue protagonizado por tres investigadores de la firma de ciberseguridad Hacktron, quienes realizaron una investigación de seguridad sobre los sistemas de OpenAI. El equipo consiguió encadenar dos vulnerabilidades y tomar el control de las cuentas de ChatGPT y Codex de varios empleados de la compañía.

La investigación se desarrolló en julio y, desde el hallazgo inicial hasta la demostración del acceso a un repositorio interno de OpenAI, transcurrieron menos de 72 horas. Los investigadores reportaron las vulnerabilidades a la compañía y detuvieron las pruebas después de demostrar el alcance que podía tener la falla.

¿Cómo lograron entrar a OpenAI?

La investigación comenzó con una vulnerabilidad relacionada con Discourse, el software utilizado para operar el foro público de la comunidad de OpenAI. El problema estaba relacionado con el procesamiento de imágenes en formatos HEIF y HEIC, utilizados habitualmente por dispositivos como los iPhone.

Los investigadores encontraron que esas imágenes podían seguir una ruta de procesamiento que involucraba herramientas como ImageMagick y la biblioteca libheif. A partir de una imagen especialmente diseñada, lograron aprovechar una vulnerabilidad que permitió ejecutar código en el servidor del foro.

En esta etapa, Claude tuvo un papel importante. Los investigadores utilizaron modelos de Anthropic para analizar la vulnerabilidad y desarrollar el código necesario para intentar explotarla. Según el equipo, una versión anterior de Claude no consiguió producir un exploit funcional, pero posteriormente utilizaron Claude Opus 5 para generar uno que sí permitió avanzar en la investigación.

¿Qué encontraron después del acceso?

El acceso al foro abrió una segunda vía relacionada con el sistema de autenticación de OpenAI. Los investigadores descubrieron que el inicio de sesión utilizado por el foro estaba conectado con las cuentas de OpenAI mediante un sistema de autenticación única, conocido como SSO.

Esto permitió que el acceso obtenido en el foro pudiera utilizarse para comprometer cuentas de empleados de OpenAI que utilizaban ese sistema. El equipo consiguió tomar el control de cuentas de ChatGPT y Codex pertenecientes a trabajadores de la compañía.

Uno de esos accesos estaba conectado con la organización privada de OpenAI en GitHub. Para demostrar el impacto de la vulnerabilidad, los investigadores utilizaron la cuenta de Codex del empleado para solicitar la apertura de una solicitud de cambios, conocida como pull request, en un repositorio interno.

Sin embargo, el equipo aseguró que no leyó el código fuente privado, no realizó cambios en el repositorio ni accedió a información de clientes. Después de demostrar que el acceso era posible, detuvo las pruebas y notificó a OpenAI.

Claude, la inteligencia artificial de Anthropic que ayudó a encontrar una falla en OpenAI. Tomada de redes sociales

¿OpenAI fue víctima de un ataque?

Aunque el caso ha sido descrito como un ‘hackeo’ de OpenAI, se trató de una investigación de seguridad realizada por hackers éticos. El objetivo de Hacktron era encontrar vulnerabilidades y comunicarlas a la compañía para que pudieran ser corregidas.

OpenAI confirmó el hallazgo y posteriormente implementó medidas para corregir las vulnerabilidades. La compañía también revocó sesiones y tokens afectados y redujo los permisos asociados con los mecanismos de autenticación utilizados.

La compañía entregó además una recompensa de 6.500 dólares a los investigadores. OpenAI aclaró que ese reconocimiento correspondía al hallazgo relacionado con sus propios sistemas y no a las acciones realizadas contra el software Discourse que utilizaba su foro.

Los investigadores señalaron que el acceso teóricamente podía haber tenido un alcance mayor debido a que los empleados pueden conectar servicios como GitHub, Slack o correo electrónico con herramientas como ChatGPT y Codex. Sin embargo, Hacktron no utilizó esas posibles vías de acceso durante la investigación.

¿Por qué Claude pudo ayudar a encontrar la falla?

El caso pone sobre la mesa una nueva dimensión de la ciberseguridad: los mismos modelos de inteligencia artificial que pueden utilizarse para proteger sistemas también pueden ayudar a investigadores a encontrar vulnerabilidades y desarrollar herramientas para comprobarlas.

En este caso, Claude fue utilizado como apoyo durante el proceso de análisis y explotación de la vulnerabilidad. Los investigadores explicaron que la inteligencia artificial redujo el tiempo necesario para desarrollar el exploit y avanzar en una tarea que tradicionalmente podría requerir más trabajo especializado.

La situación también ocurre en un contexto de creciente preocupación por las capacidades de los agentes de IA en materia de ciberseguridad. En julio, OpenAI informó que algunos de sus propios modelos, durante evaluaciones internas, lograron evadir controles diseñados para impedirles acceder a internet y llegaron a comprometer sistemas de terceros, incluido Hugging Face.

¿OpenAI ya corrigió las vulnerabilidades?

Sí. OpenAI corrigió los problemas después de recibir el reporte de los investigadores. Hacktron indicó que la compañía actuó rápidamente y que el acceso utilizado durante la investigación dejó de ser posible después de las correcciones.

Discourse también implementó medidas de seguridad relacionadas con el procesamiento de imágenes. Entre ellas se incluyeron cambios para aislar este tipo de procesos y reducir el riesgo de que una vulnerabilidad en una herramienta utilizada para procesar archivos pudiera comprometer el servidor.

Hasta ahora, no hay evidencia pública de que las vulnerabilidades descubiertas por Hacktron hayan sido utilizadas por atacantes maliciosos antes de que fueran reportadas y corregidas. El caso, sin embargo, muestra cómo una cadena de fallas aparentemente independientes puede terminar afectando sistemas internos cuando existen conexiones entre servicios públicos, mecanismos de autenticación y herramientas corporativas.

*Con información de AFP.