IA
Anthropic desarrolla FlashProve para demostrar criptográficamente que una salida de IA proviene de un modelo específico
Anthropic publicó FlashProve, un proyecto de investigación de código abierto cuyo objetivo es verificar mediante pruebas criptográficas que una determinada salida de IA fue generada por un modelo específico. El sistema exige que los laboratorios de modelos publiquen una “huella digital” del modelo que no revele los pesos, y puede verificarse localmente de forma ligera. Actualmente sigue en fase de investigación y no hay planes de despliegue.
Según informó TechCrunch, Anthropic presentó en una publicación de blog del martes un sistema de código abierto denominado FlashProve. El sistema busca lograr lo que los investigadores llaman “inferencia demostrable”: utilizar pruebas criptográficas para ofrecer una garantía matemática de que una salida procede efectivamente del modelo específico que el usuario cree que es.
FlashProve funciona de forma similar a una firma de correo electrónico cifrada y puede resistir intentos de disfrazar un modelo como otro, incluso si quien realiza el disfraz es el laboratorio que construye y ejecuta el modelo. Los investigadores señalaron, por ejemplo, que podría impedir que una empresa de IA utilizara en secreto un modelo más barato para reducir costos, o uno más caro para exagerar el rendimiento, y también permitir verificar afirmaciones de terceros sobre si tareas como el escaneo de vulnerabilidades o la evaluación de planes comerciales fueron realizadas por un modelo avanzado.
El sistema exige que los laboratorios de IA publiquen, por cada modelo lanzado, una “huella digital” que pueda coincidir con salidas posteriores. El punto clave es que estas huellas no exponen los pesos del modelo, por lo que los modelos comerciales de código cerrado también pueden participar. El diseño de verificación es ligero y puede completarse en un dispositivo local. Anthropic también publicó especificaciones técnicas y parte del código funcional, pero la investigación continúa y ni la empresa ni otros laboratorios tienen planes de despliegue por ahora.