Noticias IA

El avance de los modelos de IA de código abierto plantea nuevos desafíos de seguridad

El modelo GLM-5.2 de Z.ai desafía a gigantes como OpenAI al cerrar la brecha tecnológica; sin embargo, su falta de medidas adecuadas plantea serios riesgos para la seguridad.

Alberto Quintero 3 min de lectura
El avance de los modelos de IA de código abierto plantea nuevos desafíos de seguridad

Un nuevo competidor en el mundo de la inteligencia artificial

En un contexto donde los líderes del sector, como OpenAI y Anthropic, dominan el desarrollo de modelos avanzados de inteligencia artificial (IA), un nuevo jugador ha emergido desde China: Z.ai. Su modelo GLM-5.2 ha logrado cerrar la brecha con sus contrapartes más establecidas, lo que genera tanto entusiasmo como preocupación en la comunidad tecnológica.

A pesar de su impresionante rendimiento en capacidades cibernéticas y biológicas, un reciente informe del organismo sin fines de lucro SaferAI revela que GLM-5.2 no implementa las mismas medidas de seguridad que sus competidores. Según el estudio, este modelo no se negó a realizar tareas ofensivas relacionadas con ciberseguridad o biología, a diferencia del Claude Opus 4.7 de Anthropic, que rechazó consistentemente tales solicitudes.

Henry Papadatos, director ejecutivo de SaferAI, advierte sobre los riesgos inherentes a los modelos abiertos: «La frontera de capacidad no es la frontera del riesgo». Esto implica que aunque estos modelos puedan ser técnicamente avanzados, su falta de controles adecuados podría facilitar su uso malintencionado.

Mientras tanto, las discusiones sobre cómo regular estos sistemas potentes están ganando impulso entre los responsables políticos. En una reciente conferencia sobre IA en China, Xí Jinping subrayó la importancia del control humano sobre estas tecnologías avanzadas. Sin embargo, expertos como Graham Webster, investigador en políticas chinas sobre IA, señalan que las regulaciones actuales se centran más en contenido político sensible y estabilidad social que en riesgos catastróficos asociados con capacidades ofensivas.

Aunque algunos defensores argumentan que liberar pesos puede ayudar a las empresas a defenderse contra ataques cibernéticos —como lo hizo Hugging Face al utilizar GLM-5.2 para protegerse contra una violación previa— otros expertos advierten que esto podría facilitar el acceso a herramientas peligrosas para actores maliciosos.

Clem Delangue, CEO de Hugging Face, sostiene que estas tecnologías pueden ser cruciales para identificar y mitigar vulnerabilidades antes de que sean explotadas por atacantes. Sin embargo, Papadatos enfatiza que no debemos aceptar fácilmente que capacidades peligrosas estén accesibles para cualquiera.

A medida que los modelos abiertos continúan evolucionando y acercándose a sus homólogos cerrados en términos de capacidad técnica, surge una pregunta crítica: ¿cómo puede la sociedad gestionar estos riesgos? La respuesta puede residir en un enfoque equilibrado entre innovación y regulación efectiva para garantizar un uso seguro y responsable de estas poderosas herramientas tecnológicas.

Deja un comentario