Publicado por Katherine Heller, Científica Investigadora de Google Research, en nombre del equipo CAIR
La inteligencia artificial (IA) y las tecnologías relacionadas de aprendizaje automático (ML) son cada vez más influyentes en el mundo que nos rodea, por lo que es imperativo que consideremos los posibles impactos en la sociedad y en los individuos en todos los aspectos de la tecnología que creamos. Con este fin, el equipo de Contexto en Investigación de IA (CAIR, por sus siglas en inglés) desarrolla métodos novedosos de IA en el contexto de toda la cadena de IA: desde la recopilación de datos hasta la retroalimentación del usuario final. La cadena para construir un sistema de IA generalmente comienza con la recopilación de datos, seguida del diseño de un modelo para que funcione con esos datos, la implementación del modelo en el mundo real y, por último, la compilación e incorporación de la retroalimentación humana. Originado en el ámbito de la salud y ahora expandido a áreas adicionales, el trabajo del equipo CAIR impacta todos los aspectos de esta cadena. Si bien nos especializamos en la construcción de modelos, tenemos un enfoque particular en la construcción de sistemas teniendo en cuenta la responsabilidad, que incluye la equidad, la robustez, la transparencia y la inclusión.
Datos
El equipo de CAIR se enfoca en comprender los datos en los que se construyen los sistemas de ML. Mejorar los estándares para la transparencia de los conjuntos de datos de ML es fundamental en nuestro trabajo. Primero, empleamos marcos de documentación para elucidar las características de los conjuntos de datos y modelos como orientación en el desarrollo de técnicas de documentación de datos y modelos: Hojas de datos para conjuntos de datos y Tarjetas de modelo para informes de modelos.
Por ejemplo, los conjuntos de datos de salud son altamente sensibles pero pueden tener un alto impacto. Por esta razón, desarrollamos Healthsheets, una adaptación contextualizada para la salud de una Hoja de datos. Nuestra motivación para desarrollar una hoja específica para la salud radica en las limitaciones de los marcos regulatorios existentes para la IA y la salud. Investigaciones recientes sugieren que las regulaciones y los estándares de privacidad de datos (por ejemplo, HIPAA, GDPR, Ley de Privacidad del Consumidor de California) no garantizan la recopilación, documentación y uso ético de los datos. Healthsheets tienen como objetivo llenar este vacío en el análisis ético de conjuntos de datos. El desarrollo de Healthsheets se llevó a cabo en colaboración con muchos interesados en roles laborales relevantes, incluyendo clínicos, legales y regulatorios, bioética, privacidad y producto.
Además, estudiamos cómo las Hojas de Datos y las Healthsheets podrían servir como herramientas de diagnóstico que revelen las limitaciones y fortalezas de los conjuntos de datos. Nuestro objetivo era iniciar una conversación en la comunidad y adaptar Healthsheets a escenarios dinámicos de atención médica a lo largo del tiempo.
Para facilitar este esfuerzo, nos unimos a la iniciativa STANDING Together, un consorcio que tiene como objetivo desarrollar estándares internacionales y basados en consenso para la documentación de la diversidad y representación en los conjuntos de datos de salud, así como proporcionar orientación sobre cómo mitigar el riesgo de sesgos que se traduzcan en daños e desigualdades en la salud. Ser parte de esta asociación internacional e interdisciplinaria que abarca organizaciones académicas, clínicas, regulatorias, políticas, industriales, de pacientes y benéficas de todo el mundo nos permite participar en la conversación sobre la responsabilidad en la IA para la atención médica a nivel internacional. Más de 250 interesados de 32 países han contribuido a refinar los estándares.
| Hoja de salud y STANDING Juntos: hacia la documentación de datos de salud y estándares. |
Modelo
Cuando los sistemas de aprendizaje automático se implementan en el mundo real, pueden fallar al comportarse de las formas esperadas, haciendo predicciones incorrectas en nuevos contextos. Estas fallas pueden ocurrir por una variedad de razones y pueden tener consecuencias negativas, especialmente en el ámbito de la salud. Nuestro trabajo tiene como objetivo identificar situaciones donde se puedan descubrir comportamientos inesperados del modelo, antes de que se conviertan en un problema importante, y mitigar las consecuencias inesperadas y no deseadas.
Gran parte del trabajo de modelado del equipo CAIR se centra en identificar y mitigar cuando los modelos están insuficientemente especificados. Mostramos que los modelos que funcionan bien con datos retenidos de un dominio de entrenamiento no son igualmente robustos o justos bajo cambios en la distribución porque los modelos varían en la medida en que se basan en correlaciones espurias. Esto plantea un riesgo para los usuarios y los profesionales porque puede ser difícil anticipar la inestabilidad del modelo utilizando prácticas estándar de evaluación del modelo. Hemos demostrado que esta preocupación surge en varios ámbitos, incluyendo la visión por computadora, el procesamiento del lenguaje natural, la imagen médica y la predicción a partir de registros electrónicos de salud.
También hemos mostrado cómo utilizar el conocimiento de los mecanismos causales para diagnosticar y mitigar problemas de justicia y robustez en nuevos contextos. El conocimiento de la estructura causal permite a los profesionales anticipar la generalización de las propiedades de justicia bajo cambios en la distribución en entornos médicos del mundo real. Además, al investigar la capacidad de vías causales específicas, o "atajos", para introducir sesgos en los sistemas de aprendizaje automático, demostramos cómo identificar casos en los que el aprendizaje de atajos conduce a predicciones en los sistemas de aprendizaje automático que dependen involuntariamente de atributos sensibles (por ejemplo, edad, sexo, raza). Hemos mostrado cómo utilizar grafos acíclicos dirigidos causales para adaptar los sistemas de aprendizaje automático a entornos cambiantes bajo formas complejas de cambio en la distribución. Nuestro equipo está investigando actualmente cómo una interpretación causal de diferentes formas de sesgo, incluyendo el sesgo de selección, el sesgo de etiquetas y el error de medición, motiva el diseño de técnicas para mitigar el sesgo durante el desarrollo y la evaluación del modelo.
| Aprendizaje acelerado: Para algunos modelos, la edad puede actuar como un atajo en la clasificación al utilizar imágenes médicas. |
El equipo de CAIR se enfoca en desarrollar una metodología para construir modelos más inclusivos de manera amplia. Por ejemplo, también tenemos trabajo sobre el diseño de sistemas participativos, que permite a las personas elegir si revelar atributos sensibles, como la raza, cuando un sistema de aprendizaje automático hace predicciones. Esperamos que nuestra investigación metodológica impacte positivamente la comprensión societal de la inclusión en el desarrollo de métodos de inteligencia artificial.
Implementación
El equipo de CAIR tiene como objetivo construir tecnología que mejore la vida de todas las personas a través del uso de la tecnología de dispositivos móviles. Buscamos reducir el sufrimiento causado por condiciones de salud, abordar la desigualdad sistémica y permitir la recopilación transparente de datos basada en dispositivos. A medida que la tecnología de consumo, como los rastreadores de actividad física y los teléfonos móviles, se vuelven centrales en la recopilación de datos para la salud, exploramos el uso de estas tecnologías en el contexto de las enfermedades crónicas, en particular, para la esclerosis múltiple (EM). Desarrollamos nuevos mecanismos de recopilación de datos y predicciones que esperamos revolucionen eventualmente el manejo de enfermedades crónicas de los pacientes, los ensayos clínicos, las inversiones médicas y el desarrollo de medicamentos.
En primer lugar, ampliamos la plataforma de estudios clínicos de código abierto FDA MyStudies, que se utiliza para crear aplicaciones de estudio clínico, para que sea más fácil para cualquier persona realizar sus propios estudios y recopilar datos de buena calidad, de manera confiable y segura. Nuestras mejoras incluyen configuraciones sin necesidad de configuración, para que los investigadores puedan diseñar su estudio en un día, generación de aplicaciones multiplataforma a través de Flutter y, lo más importante, un enfoque en la accesibilidad para que se escuchen todas las voces de los pacientes.
Estamos emocionados de anunciar que este trabajo ahora ha sido lanzado como código abierto como una extensión de la plataforma original de FDA-Mystudies. ¡Tú puedes empezar a configurar tus propios estudios hoy mismo!
Para probar esta plataforma, construimos una aplicación de prototipo, a la que llamamos MS Signals, que utiliza encuestas para interactuar con los pacientes en un entorno novedoso para los consumidores. Colaboramos con la Sociedad Nacional de Esclerosis Múltiple para reclutar participantes en un estudio de experiencia de usuario para la aplicación, con el objetivo de reducir las tasas de abandono y mejorar aún más la plataforma.
| Capturas de pantalla de la aplicación MS Signals. Izquierda: Pantalla de bienvenida del estudio. Derecha: Cuestionario. |
Una vez que se recopilan los datos, los investigadores podrían utilizarlos potencialmente para impulsar la vanguardia de la investigación de ML en la esclerosis múltiple. En un estudio separado, establecimos una colaboración de investigación con el Departamento de Neurología de Duke y demostramos que los modelos de ML pueden predecir con precisión la incidencia de síntomas de alta gravedad en tres meses utilizando datos recopilados continuamente de aplicaciones móviles. Los resultados sugieren que los modelos entrenados pueden ser utilizados por médicos para evaluar la trayectoria de los síntomas de los participantes con esclerosis múltiple, lo que puede influir en la toma de decisiones para administrar intervenciones.
El equipo de CAIR ha estado involucrado en la implementación de muchos otros sistemas, tanto para uso interno como externo. Por ejemplo, también nos asociamos con Learning Ally para crear un sistema de recomendación de libros para niños con discapacidades de aprendizaje, como la dislexia.
Esperamos que nuestro trabajo impacte de manera positiva en el desarrollo futuro de productos.
Comentarios humanos
A medida que los modelos de aprendizaje automático se vuelven omnipresentes en todo el mundo desarrollado, puede ser demasiado fácil dejar atrás las voces de los países menos desarrollados. Una prioridad del equipo de CAIR es cerrar esta brecha, desarrollar relaciones profundas con las comunidades y trabajar juntos para abordar las preocupaciones relacionadas con el aprendizaje automático a través de enfoques impulsados por la comunidad.
Una de las formas en que estamos logrando esto es trabajando con organizaciones de base para el aprendizaje automático, como Sisonkebiotik, una comunidad abierta e inclusiva de investigadores, profesionales y entusiastas en la intersección del aprendizaje automático y la atención médica que trabajan juntos para desarrollar capacidad e impulsar iniciativas de investigación en África. Trabajamos en colaboración con la comunidad de Sisonkebiotik para detallar las limitaciones de los enfoques históricos de arriba hacia abajo para la salud global, y sugerimos métodos de salud complementarios, específicamente los de comunidades participativas de base (CGB). Juntos, creamos un marco para el aprendizaje automático y la salud global, que establece una hoja de ruta práctica para establecer, desarrollar y mantener CGB, basado en valores comunes entre varias CGB como Masakhane, Sisonkebiotik y Ro'ya.
Estamos participando en iniciativas abiertas para comprender mejor el papel, las percepciones y los casos de uso de la inteligencia artificial para la salud en países no occidentales a través de comentarios humanos, con un enfoque inicial en África. Junto con Ghana NLP, hemos trabajado para detallar la necesidad de comprender mejor la equidad y el sesgo algorítmico en la salud en contextos no occidentales. Recientemente, lanzamos un estudio para ampliar este trabajo utilizando aportes humanos.
| Sesgos a lo largo del proceso de aprendizaje automático y sus asociaciones con los ejes de disparidad contextualizados en África. |
El equipo de CAIR se compromete a crear oportunidades para escuchar más perspectivas en el desarrollo de la IA. Nos asociamos con Sisonkebiotik para coorganizar el Taller de Ciencia de Datos para la Salud en Deep Learning Indaba 2023 en Ghana. La voz de todos es crucial para desarrollar un futuro mejor utilizando la tecnología de IA.
Agradecimientos
Nos gustaría agradecer a Negar Rostamzadeh, Stephen Pfohl, Subhrajit Roy, Diana Mincu, Chintan Ghate, Mercy Asiedu, Emily Salkey, Alexander D'Amour, Jessica Schrouff, Chirag Nagpal, Eltayeb Ahmed, Lev Proleev, Natalie Harris, Mohammad Havaei, Ben Hutchinson, Andrew Smart, Awa Dieng, Mahima Pushkarna, Sanmi Koyejo, Kerrie Kauer, Do Hee Park, Lee Hartsell, Jennifer Graves, Berk Ustun, Hailey Joren, Timnit Gebru y Margaret Mitchell por sus contribuciones e influencia, así como a nuestros muchos amigos y colaboradores en Learning Ally, National MS Society, Duke University Hospital, STANDING Together, Sisonkebiotik y Masakhane.
