La tensión entre la seguridad y la innovación
En un entorno donde la ciberseguridad es más crucial que nunca, los investigadores se encuentran en una encrucijada. Las grandes empresas de inteligencia artificial han implementado estrictas restricciones para evitar que sus modelos sean utilizados por hackers malintencionados. Sin embargo, estas mismas limitaciones están obstaculizando el trabajo de los defensores legítimos de redes y de los investigadores en ciberseguridad ofensiva.
En junio, el gobierno de EE. UU. impuso controles de exportación a los modelos de IA Mythos y Fable, desarrollados por Anthropic. Esta decisión fue motivada, al menos en parte, por informes que sugerían que era posible eludir las salvaguardias diseñadas para prevenir ataques cibernéticos. Aunque las restricciones sobre Fable 5 fueron levantadas rápidamente, Mythos 5 sigue siendo accesible solo para organizaciones estadounidenses cuidadosamente seleccionadas.
Los investigadores han criticado abiertamente estas guardrails. Mark Dowd, un reconocido experto en seguridad, expresó su preocupación sobre cómo las decisiones arbitrarias tomadas por grandes corporaciones pueden afectar la seguridad general. Dowd ha pasado décadas descubriendo vulnerabilidades críticas y vendiéndolas a gobiernos occidentales; su experiencia resalta la necesidad de herramientas efectivas para identificar fallos antes que los criminales lo hagan.
Chris Anley, científico jefe del NCC Group, argumenta que solicitar a un modelo de IA que intente explotar una vulnerabilidad es esencial para confirmar su existencia. Sin embargo, si las guardrails impiden esta interacción, se perjudica tanto a los defensores como a quienes buscan mejorar la seguridad del software.
Anley compara esta situación con el uso de un martillo: «No puedes construir una casa sin un martillo; es una herramienta indispensable pero también puede ser utilizada como arma».
Dada la rigidez de estos sistemas controlados, muchos investigadores recurren a modelos de código abierto sin restricciones. Paolo Stagno, CTO en Crowdfense, señala que aunque utilizan modelos avanzados para ingeniería inversa, evitan alimentar datos sensibles a plataformas basadas en la nube debido al riesgo potencial de filtraciones.
Chris Thompson, CEO de RemoteThreat y fundador del Offensive AI Con, advierte sobre el peligro inminente: «Estamos ante una ola masiva de ataques inminentes». Thompson insta a las empresas tecnológicas a abrir sus programas y permitir un acceso responsable mientras se responsabiliza a quienes abusan del sistema. De lo contrario, sostiene que los defensores perderán la carrera contra el crimen cibernético.
