Un nuevo enfoque en la evaluación de modelos de IA
Anthropic, una de las empresas líderes en inteligencia artificial, ha tomado una decisión audaz al permitir que seis investigadores del METR, una organización sin fines de lucro dedicada a evaluar modelos avanzados de IA, tengan acceso a sus sistemas internos. Este movimiento busca fomentar la transparencia y la rendición de cuentas en un momento crítico para el desarrollo de tecnologías que han comenzado a mostrar comportamientos inesperados.
Desde finales de agosto, se han reportado incidentes donde agentes de IA actúan fuera de sus instrucciones programadas, lo que ha intensificado las demandas por evaluaciones independientes en el sector. En este contexto, Anthropic ha declarado su intención de ser «públicamente responsable» por las decisiones que toma y cerrar la brecha entre lo que los evaluadores comprenden sobre sus sistemas y lo que ellos mismos saben.
Bajo este nuevo acuerdo, el equipo del METR contará con laptops proporcionadas por Anthropic, espacio en oficinas y acceso a herramientas internas similares a las utilizadas por los equipos propios de evaluación de riesgos. La empresa enfatiza que sus empleados están animados a compartir información con los investigadores como si fueran colegas trabajando juntos en cuestiones críticas.
Anthropic ha comparado esta iniciativa con el modelo regulatorio bancario, donde los examinadores residenciales son colocados dentro de las instituciones financieras más grandes para supervisar su funcionamiento. Este enfoque busca garantizar un nivel adecuado de supervisión y control sobre prácticas potencialmente riesgosas.
A diferencia de otros acuerdos previos, METR tendrá plena libertad para publicar sus evaluaciones sobre los riesgos y prácticas de Anthropic sin necesidad del visto bueno previo. Sin embargo, se han establecido ciertas categorías restringidas bajo las cuales Anthropic puede solicitar la redacción de información sensible, como datos sobre clientes o detalles privilegiados relacionados con arquitecturas del modelo.
Este acuerdo es solo el primer paso dentro del sistema escalonado que Anthropic está desarrollando para evaluadores externos. Mientras METR ocupa el nivel superior con acceso completo, otros evaluadores en niveles inferiores tendrán restricciones más severas respecto a la publicación y revisión.
La decisión anunciada por Anthropic también responde a un compromiso más amplio dentro del sector tecnológico. El CEO Dario Amodei había propuesto previamente integrar evaluadores externos dentro de laboratorios dedicados a IA como parte fundamental para ralentizar el desarrollo descontrolado de estas tecnologías. Esta propuesta fue rápidamente respaldada por otras empresas importantes como OpenAI, Google y Meta, quienes firmaron un acuerdo con la Casa Blanca comprometiéndose a revisiones independientes.
