Nueva investigación propone un sistema para determinar la precisión relativa de la IA predictiva en un entorno médico hipotético y cuándo el sistema debería dejar la decisión en manos de un clínico humano. La inteligencia artificial (IA) tiene un gran potencial para mejorar la forma en que las personas trabajan en una variedad de industrias. Pero para integrar herramientas de IA en el lugar de trabajo de manera segura y responsable, necesitamos desarrollar métodos más sólidos para comprender cuándo pueden ser más útiles.
Entonces, ¿cuándo es más precisa la IA y cuándo un ser humano? Esta pregunta es especialmente importante en el campo de la salud, donde la IA predictiva se utiliza cada vez más en tareas de alto riesgo para ayudar a los clínicos.
Hoy en Nature Medicine publicamos nuestro artículo conjunto con Google Research, que propone CoDoC (Complementarity-driven Deferral-to-Clinical Workflow), un sistema de IA que aprende cuándo confiar en herramientas de IA predictiva o dejar la decisión en manos de un clínico para la interpretación más precisa de imágenes médicas.
CoDoC explora cómo podríamos aprovechar la colaboración humano-IA en entornos médicos hipotéticos para obtener los mejores resultados. En un escenario de ejemplo, CoDoC redujo el número de falsos positivos en un 25% en un gran conjunto de datos de mamografía del Reino Unido, en comparación con los flujos de trabajo clínicos comúnmente utilizados, sin perder ningún verdadero positivo.
Este trabajo es una colaboración con varias organizaciones de salud, incluida la Stop TB Partnership de la Oficina de Servicios para Proyectos de las Naciones Unidas. Para ayudar a los investigadores a mejorar la transparencia y seguridad de los modelos de IA para el mundo real, también hemos compartido el código de CoDoC en GitHub.
CoDoC: una herramienta adicional para la colaboración humano-IA
Mejorar los modelos de IA confiables a menudo requiere reformular el funcionamiento interno complejo de los modelos de IA predictiva. Sin embargo, para muchos proveedores de servicios de salud, simplemente no es posible rediseñar un modelo de IA predictiva. CoDoC puede ayudar potencialmente a mejorar las herramientas de IA predictiva para sus usuarios sin requerirles que modifiquen la propia herramienta de IA subyacente.
Al desarrollar CoDoC, tuvimos tres criterios:
- Los expertos no especializados en aprendizaje automático, como los proveedores de servicios de salud, deben poder implementar el sistema y ejecutarlo en una sola computadora.
- El entrenamiento requeriría una cantidad relativamente pequeña de datos, generalmente solo unos pocos cientos de ejemplos.
- El sistema debe ser compatible con cualquier modelo de IA propietario y no necesitará acceder al funcionamiento interno del modelo ni a los datos con los que fue entrenado.
Determinar cuándo es más precisa la IA predictiva o un clínico
Con CoDoC, proponemos un sistema de IA simple y utilizable para mejorar la confiabilidad al ayudar a los sistemas de IA predictiva a "saber cuándo no saben". Analizamos escenarios en los que un clínico podría tener acceso a una herramienta de IA diseñada para ayudar a interpretar una imagen, por ejemplo, examinando una radiografía de tórax para determinar si es necesario realizar una prueba de tuberculosis.
Para cualquier configuración clínica teórica, el sistema de CoDoC requiere solo tres entradas para cada caso en el conjunto de datos de entrenamiento:
- La IA predictiva produce una puntuación de confianza entre 0 (certeza de que no hay enfermedad presente) y 1 (certeza de que hay enfermedad presente).
- La interpretación del clínico de la imagen médica.
- La verdad fundamental de si la enfermedad estaba presente, establecida, por ejemplo, a través de una biopsia u otro seguimiento clínico.
Nota: CoDoC no requiere acceso a ninguna imagen médica.
Diagrama que ilustra cómo se entrena a CoDoC. Aquí, el modelo de IA predictiva existente permanece sin cambios. CoDoC aprende a establecer la precisión relativa del modelo de IA predictiva en comparación con la interpretación de los clínicos y cómo fluctúa esa relación con las puntuaciones de confianza de la IA predictiva.
Una vez entrenado, CoDoC podría integrarse en un flujo de trabajo clínico hipotético futuro que involucre tanto a un IA como a un médico. Cuando una nueva imagen de paciente es evaluada por el modelo predictivo de IA, su puntuación de confianza asociada se introduce en el sistema. Luego, CoDoC evalúa si aceptar la decisión de la IA o posponerla a un médico resultará en la interpretación más precisa.
Diagrama que ilustra cómo se podría integrar CoDoC en un flujo de trabajo clínico hipotético. Durante el entrenamiento, establecemos una "función de ventaja" que optimiza la toma de decisiones de CoDoC. Una vez entrenado, favorece a la IA solamente cuando el modelo es más preciso que el médico (áreas verdes y rojas) y se pospone a un médico cuando el juicio humano es mejor que el de la IA (área gris).
Mayor precisión y eficiencia. Nuestras pruebas exhaustivas de CoDoC con múltiples conjuntos de datos del mundo real, que incluyen solo datos históricos y desidentificados, han demostrado que combinar lo mejor de la experiencia humana y los resultados predictivos de la IA resulta en una mayor precisión que utilizar solo uno de ellos.
Además de lograr una reducción del 25% en falsos positivos en un conjunto de datos de mamografías, en simulaciones hipotéticas donde se permitió que una IA actuara autónomamente en ocasiones específicas, CoDoC pudo reducir en dos tercios el número de casos que necesitaban ser revisados por un médico. También demostramos cómo CoDoC podría mejorar hipotéticamente la clasificación de radiografías de tórax para pruebas adicionales de tuberculosis.
Desarrollo responsable de la IA para la atención médica. Aunque este trabajo es teórico, muestra el potencial de nuestro sistema de IA para adaptarse: CoDoC pudo mejorar el rendimiento en la interpretación de imágenes médicas en diferentes poblaciones demográficas, entornos clínicos, equipos de imagen médica utilizados y tipos de enfermedades.
CoDoC es un ejemplo prometedor de cómo podemos aprovechar los beneficios de la IA en combinación con las fortalezas y experiencia humanas. Estamos colaborando con socios externos para evaluar rigurosamente nuestra investigación y los beneficios potenciales del sistema. Para llevar tecnología como CoDoC de manera segura a entornos médicos del mundo real, los proveedores de atención médica y los fabricantes también deberán comprender cómo los médicos interactúan de manera diferente con la IA y validar los sistemas con herramientas y configuraciones específicas de IA médica.
Más información sobre CoDoC:
