IA
Google presenta Agile Deliberation para ayudar a definir clasificaciones subjetivas de imágenes
Google Research presentó el marco Agile Deliberation, que utiliza un proceso interactivo impulsado por grandes modelos para ayudar a los usuarios a definir gradualmente categorías subjetivas como «comida saludable» y gestionar casos límite. El equipo observó la evolución de los conceptos en 18 pruebas con personas reales y afirmó que reduce la fatiga y la ansiedad, con mejores resultados que las líneas de base convencionales.
Otilia Stretcu, científica investigadora de Google Research, y Leijie Wang, estudiante investigadora, presentaron Agile Deliberation. El método aborda el difícil problema de construir clasificadores de imágenes de IA para categorías subjetivas mediante un proceso de deliberación interactiva que guía a los usuarios desde la delimitación de subcategorías hasta la resolución de casos límite, y utiliza un ciclo de optimización impulsado por grandes modelos para construir automáticamente clasificadores precisos y alineados.
El artículo señala que el aprendizaje automático tradicional asume que los anotadores tienen definiciones de categoría claras y estables antes de empezar, lo que funciona para categorías objetivas como señales de stop o perros golden retriever; pero escenarios como comida saludable, obras de arte inspiradoras o moderación de contenidos se ven afectados por el contexto cultural, las creencias personales y los cambios en las políticas operativas. Normalmente, las personas solo aclaran gradualmente los límites, excepciones y matices de un concepto después de ver ejemplos reales.
Agile Deliberation considera la creación de un clasificador subjetivo como un diálogo iterativo: en lugar de hacer que las personas actúen como anotadores estáticos, la IA ayuda a los usuarios a aclarar la definición. El equipo afirma que, al resolver primero la ambigüedad humana, se pueden construir sistemas visuales eficaces, robustos y alineados de forma más sistemática, y ha publicado como código abierto el código y los algoritmos relacionados en GitHub.
En lugar de depender únicamente de bancos de prueba estáticos, el estudio realizó 18 pruebas con personas reales, de 1,5 horas cada una, para observar cómo cambiaban las intenciones de los usuarios al interactuar con un sistema inteligente. El equipo afirmó que los usuarios solo necesitan dar retroalimentación directa sobre imágenes límite, sin tener que ajustar manualmente las instrucciones, lo que redujo significativamente la fatiga y la ansiedad, y el modelo final fue más consistente y tuvo un mejor rendimiento. El proceso se divide en dos fases, delimitación del alcance del concepto e iteración del concepto, y convierte ideas vagas en un plano preciso de instrucciones para el modelo.