Anthropic y OpenAI han implementado guardarraíles estrictos en sus modelos de inteligencia artificial para evitar usos maliciosos, pero estas medidas están obstaculizando el trabajo de investigadores en ciberseguridad ofensiva que buscan vulnerabilidades críticas.
Por qué importa: Estas limitaciones afectan la capacidad de defensores y expertos en seguridad para identificar y explotar fallas antes que actores maliciosos, poniendo en riesgo la protección de sistemas.
Lo esencial
- El gobierno de EE.UU. impuso restricciones de exportación a los modelos Mythos y Fable de Anthropic por riesgos de uso indebido.
- Programas de acceso vetado permiten a investigadores acceder a versiones con menos limitaciones, pero el proceso es restrictivo.
- Expertos en ciberseguridad ofensiva critican que los guardarraíles impiden confirmar y explotar vulnerabilidades para mejorar la defensa.
Restricciones y control gubernamental en IA
En junio, EE.UU. aplicó controles de exportación a los modelos Mythos y Fable de Anthropic tras reportes que indicaban que era posible evadir sus guardarraíles para realizar ataques cibernéticos. Aunque estas restricciones se levantaron parcialmente en julio, Mythos 5 sigue disponible solo para organizaciones estadounidenses vetadas. Este control refleja la preocupación por el potencial uso malicioso de la IA avanzada.
Guardarraíles que limitan la investigación ofensiva
Anthropic y OpenAI ofrecen programas especiales para investigadores de ciberseguridad que permiten acceso a modelos con menos restricciones, como el Cyber Verification Program y Trusted Access for Cyber. Sin embargo, los guardarraíles siguen bloqueando respuestas que podrían ayudar a confirmar vulnerabilidades. Esto dificulta a expertos como Chris Anley, de NCC Group, usar la IA para validar exploits y mejorar la seguridad.
