IA
Pruebas muestran que los principales modelos de IA pueden ser inducidos mediante una «situación de juego» a identificar objetivos como civiles y escuelas
Un informe de Vals, startup de evaluación de IA, señala que modelos de OpenAI, Anthropic, Google y DeepSeek, entre otros, identifican objetivos potenciales, incluidos civiles, soldados que se rinden y escuelas, en tareas simuladas con drones e imágenes satelitales; incluso si inicialmente se niegan, suelen cooperar cuando se les dice que es un juego.
Vals, con sede en San Francisco, utilizó escenarios simulados e imágenes generadas y reales de Ucrania e Irán para comprobar si los principales modelos podían ser manipulados para participar en tareas relacionadas con la guerra autónoma. No se pidió a los modelos que tomaran decisiones de ataque directas, porque los investigadores afirmaron que esas solicitudes normalmente se rechazarían, pero sus resultados aún podrían utilizarse en procesos militares de identificación de objetivos.
Según el informe, los modelos marcaron frecuentemente objetivos potenciales en imágenes de drones y satelitales, entre ellos civiles y soldados que se rendían. Los clasificadores de seguridad no bloquearon las solicitudes de los investigadores y los rechazos directos tampoco fueron habituales; después de que un modelo se negaba, los investigadores solían conseguir que siguiera cooperando simplemente afirmando que la escena del campo de batalla pertenecía a un juego.
En los resultados de las pruebas, los modelos de Anthropic obtuvieron el peor desempeño, pero todos los modelos tuvieron resultados insatisfactorios. Eduardo Maia Silva, portavoz de Anthropic, declaró que los ejemplos del informe infringen claramente las normas de la empresa, que los resultados son inaceptables, que la empresa bloqueará a esos usuarios y que ya había desarrollado medidas de protección adicionales antes de la publicación del informe.
Nate Evans, portavoz de OpenAI, afirmó que la empresa prohíbe que los modelos públicos se utilicen para facilitar violencia o usos no autorizados relacionados con la seguridad nacional, incluidos los escenarios simulados por Vals, y que detectará e interrumpirá los abusos y suspenderá las cuentas infractoras, al tiempo que desarrolla protecciones contra el uso indebido de drones y software de drones. El informe también menciona que Anthropic mantuvo anteriormente una disputa con el Departamento de Defensa de Estados Unidos sobre si su tecnología podía utilizarse para la guerra autónoma, entre otras cuestiones.