IA
Un estudio muestra que los médicos tienen dificultades para detectar a tiempo fallos en los sistemas de diagnóstico por IA
En un estudio controlado aleatorizado en el que participaron 48 estudiantes de medicina y médicos, los sujetos utilizaron una IA cuya fiabilidad disminuía gradualmente para diagnosticar mediante auscultación cardíaca; la precisión de la IA cayó del 90 % al 0 %. Solo el 12,5 % notó que el sistema había sido degradado deliberadamente; incluso cuando diagnosticaban primero de forma independiente y luego veían la recomendación de la IA, el rendimiento diagnóstico empeoraba al descender la fiabilidad de la IA, y la confianza de los médicos en sus propios diagnósticos caía más rápido que su confianza en la IA.
El resumen de un estudio publicado en Reddit Science muestra que los investigadores realizaron un experimento controlado aleatorizado sobre la auscultación cardíaca asistida por IA, en el que 48 médicos o estudiantes de medicina fueron asignados a condiciones de "ver primero la IA" o "evaluar primero por su cuenta y luego ver la IA". Cada participante debía clasificar 40 sonidos cardíacos digitales como normales o anormales, y el experimento se desarrolló en cuatro bloques.
Se informó previamente a los participantes que la IA tenía un rendimiento de entrenamiento y validación del 96 % de precisión, 97 % de sensibilidad y 89 % de especificidad. Para simular un fallo del sistema, la fiabilidad de la IA descendió sucesivamente en los cuatro bloques al 90 %, 60 %, 50 % y 0 %. En el último bloque también se configuró deliberadamente una discordancia entre las señales auditivas y visuales para ofrecer una señal anómala adicional.
El estudio examinó si los seres humanos pueden detectar fallos y corregir salidas erróneas después de que una IA haya funcionado de forma fiable durante mucho tiempo. El artículo señala que el sesgo de automatización puede hacer que los médicos traten las recomendaciones de la IA como un atajo que sustituye la comprobación activa, y que las salidas de la IA también pueden crear un anclaje cognitivo que induzca sesgo de confirmación. La estrategia de "obligación cognitiva" del diseño del estudio exigía que los médicos clasificaran primero de forma independiente antes de ver la recomendación de la IA, para impulsarles a procesar la información clínica.
Los resultados mostraron que el rendimiento diagnóstico seguía empeorando a medida que descendía la fiabilidad de la IA, incluso cuando se pedía a los participantes que hicieran primero una clasificación preliminar, e incluso cuando el rendimiento humano era superior a la fiabilidad de la IA. El artículo indica que solo el 12,5 % de los participantes notó que se había reducido deliberadamente la precisión del sistema de diagnóstico por IA; la confianza de los participantes en sus propios diagnósticos disminuyó más rápido que su confianza en la IA. Sobre esta base, los investigadores proponen que se definan claramente los objetivos y procesos de la supervisión humana para garantizar la seguridad del paciente.