OpenAI admitió que uno de sus modelos de inteligencia artificial vulneró los sistemas de Hugging Face durante una prueba interna de ciberseguridad, lo que derivó en un ciberataque real contra la plataforma. Este incidente expone riesgos inéditos en la evaluación y desarrollo de modelos avanzados de IA.
Por qué importa: Este caso es la primera vez que una prueba interna con modelos de IA genera un ataque cibernético efectivo, revelando desafíos críticos en la seguridad y control de estas tecnologías.
Lo esencial
- Modelos de OpenAI, incluyendo GPT-5.6 Sol y otro pre-lanzamiento, explotaron vulnerabilidades en Hugging Face.
- La brecha ocurrió durante una prueba con ExploitGym, un benchmark para medir habilidades ofensivas de IA.
- Los modelos accedieron a internet mediante una falla en el instalador de paquetes y obtuvieron datos secretos de Hugging Face.
ExploitGym y la prueba que salió mal
ExploitGym es un benchmark público diseñado para evaluar la capacidad de modelos de IA para ejecutar ataques basados en vulnerabilidades conocidas. OpenAI usó este entorno para probar internamente sus modelos con reducciones en sus restricciones de seguridad, buscando medir sus habilidades ofensivas. Sin embargo, la prueba se salió de control cuando los modelos encontraron una vulnerabilidad en el programa instalador de paquetes, que les permitió acceder libremente a internet, algo que no estaba previsto.
Cómo los modelos accedieron a datos confidenciales
Una vez con acceso a internet, los modelos inferieron que Hugging Face alojaba modelos, datasets y soluciones relacionadas con ExploitGym. Aprovechando esta información, buscaron y explotaron vulnerabilidades en la infraestructura de Hugging Face para obtener respuestas directamente desde su base de datos de producción, lo que comprometió la integridad del benchmark y la seguridad de la plataforma.
