Elizabeth Holmes convenció a inversores y pacientes de que tenía un prototipo de una máquina de microextracciones que podía realizar una amplia gama de pruebas relativamente precisas usando una fracción del volumen de sangre generalmente requerido. Mintió; los dispositivos Edison y miniLab no funcionaron. Peor aún, la compañía sabía que no funcionaban, pero seguía dando información inexacta a los pacientes sobre su salud, incluyendo decirles a las mujeres embarazadas sanas que sufrían abortos y producir falsos positivos en las pruebas de detección de cáncer y VIH.
Pero Holmes, quien debe informar a la prisión antes del 30 de mayo, fue condenada por defraudar a los inversores; no fue condenada por defraudar a los pacientes. Esto se debe a que los principios éticos de divulgación a los inversores, y los mecanismos legales utilizados para actuar contra estafadores como Holmes, están bien desarrollados. No siempre se aplican bien, pero las leyes están en los libros. En los dispositivos médicos, las cosas son más confusas; al fomentar la innovación, los estándares legales dan un margen amplio a las personas que intentan desarrollar tecnologías, con la comprensión de que a veces, incluso las personas que hacen su mejor esfuerzo se equivocarán.
Estamos viendo una dinámica similar surgir con el actual debate sobre la regulación de la inteligencia artificial. Los legisladores están tratando de encontrar una solución, mientras las predicciones apocalípticas chocan con las ventas entusiastas de cómo la tecnología de IA cambiará todo. O el futuro será una panacea de felicidad creada algorítmicamente y los estudiantes nunca más tendrán que escribir otro trabajo académico, o todos seremos reducidos a escombros radiactivos. (En cuyo caso, los estudiantes todavía no tendrían que escribir trabajos académicos). El problema es que las nuevas tecnologías sin regulación ética y legal pueden causar mucho daño, y a menudo, como en el caso de los pacientes de Theranos, no tenemos una buena manera para que las personas recuperen sus pérdidas. Al mismo tiempo, debido a su naturaleza rápida, la tecnología es particularmente difícil de regular, con estándares laxos y más oportunidades para el fraude y el abuso, ya sea a través de startups llamativas como la de Holmes o esquemas de criptomonedas y NFT sospechosos.
Holmes es un caso útil para pensar en el desarrollo de estándares éticos en la IA porque construyó una caja literalmente opaca y afirmó que las personas no podían mirar o informar lo que había dentro. Hacerlo, según ella, violaría su propiedad intelectual, incluso mientras la tecnología decía a pacientes sanos que estaban muriendo. Estamos viendo muchos de estos mismos procesos en la conversación sobre el desarrollo de estándares éticos y regulación para la inteligencia artificial.
Desarrollar estándares éticos como base para la regulación de la IA es un nuevo desafío. Pero es un desafío que tenemos las herramientas para abordar, y podemos aplicar las lecciones que hemos aprendido de los fallos para manejar otras tecnologías.
Al igual que los dispositivos de Theranos, las tecnologías de inteligencia artificial son pequeñas cajas generalmente comprendidas por sus diseñadores (al menos tan bien como cualquiera), pero a menudo no están sujetas a escrutinio externo. La responsabilidad algorítmica requiere cierto grado de transparencia; si una caja negra toma una decisión que causa daño o tiene un impacto discriminatorio, debemos abrirla para averiguar si estos errores se deben a un punto ciego ocasional, un error sistemático en el diseño o (como en el caso de Holmes) un fraude absoluto. Esta transparencia es importante tanto para prevenir futuros daños como para determinar la responsabilidad y la responsabilidad por los daños existentes.
Hay mucha urgencia en la regulación de la IA. Las grandes empresas de IA y los investigadores están presionando a los legisladores para que actúen rápidamente, y aunque las propuestas varían, incluyen consistentemente algunos requisitos de transparencia. Para evitar problemas sistémicos y fraudes, incluso la ley de propiedad intelectual no debe aislar a las grandes empresas de IA de mostrar cómo funciona su tecnología. El testimonio reciente de Sam Altman sobre OpenAI y ChatGPT ante el Congreso incluyó la discusión de cómo opera la tecnología, aunque solo rasgó la superficie. Si bien Altman parece ansioso por elaborar una regulación, también está amenazando con retirarse de la Unión Europea por las propuestas de regulación de IA ante el Parlamento Europeo.
A principios de mayo, la administración de Biden anunció desarrollos en su propuesta para abordar la inteligencia artificial; el más significativo fue el compromiso de las principales empresas de IA (Alphabet, Microsoft y OpenAI, entre otras) de optar por la "evaluación pública", que someterá su tecnología a pruebas independientes y evaluará su posible impacto. La evaluación no es exactamente "pública" de la misma forma que el testimonio de Altman ante el Congreso; se daría acceso a expertos externos a las empresas para evaluar las tecnologías en beneficio del público. Si las empresas cumplen con estos compromisos, entonces los expertos podrán detectar problemas antes de que los productos se implementen y usen ampliamente, lo que esperamos proteger al público de las consecuencias peligrosas. Esta es una propuesta en una etapa inicial, porque no sabemos quiénes son estos expertos ni qué poderes tendrán, y las empresas pueden no querer jugar según las reglas, incluso cuando ayudaron a crearlas. Aun así, es un paso adelante en el establecimiento de los términos para una mayor escrutinio de la tecnología privada.
La propuesta más amplia de la administración Biden, el "Blueprint for an AI Bill of Rights" (Plan para la Carta de Derechos de la IA), identifica una serie de áreas en las que ya sabemos que las tecnologías de la IA causan daños, como los algoritmos de reconocimiento facial que identifican erróneamente a personas negras o los algoritmos de redes sociales que promueven contenido violento y sexual, y adopta (en líneas generales) principios éticos para abordar estos problemas, que luego pueden ser codificados en leyes y hacerse exigibles. Entre estos principios se incluyen la no discriminación, la seguridad, el derecho a ser informado sobre los datos recopilados por los sistemas y el derecho a rechazar un servicio algorítmico (y tener acceso a una alternativa humana).
Las historias de horror que sustentan estos principios son generalizadas. Investigadores como Joy Buolamwini han documentado extensamente problemas de sesgo racial en sistemas algorítmicos. Los programas de reconocimiento facial y los sistemas de conducción autónoma capacitados mayoritariamente con conjuntos de datos de sujetos blancos no reconocen ni diferencian a los sujetos negros. Esto plantea peligros evidentes, desde que una persona sea identificada erróneamente como sospechosa de un delito por culpa de un reconocimiento facial defectuoso hasta que alguien sea atropellado por un coche autónomo que no pueda ver a personas negras por la noche. Las personas no deberían ser objeto de discriminación (ni ser atropelladas) por culpa de algoritmos sesgados. La propuesta de la administración Biden sostiene que los diseñadores tienen la obligación de realizar pruebas antes del despliegue.
Esta obligación es crítica. Muchas tecnologías tienen tasas de error y de fracaso. Por ejemplo, las pruebas de detección de COVID tienen una tasa de falsos positivos y una variedad de variables complicadas, pero por eso es importante que dichas pruebas sean evaluadas y que se divulguen esas tasas de fracaso. Existe una diferencia entre el resultado falso positivo de una prueba de antígeno y la máquina vendida por Holmes, que simplemente no funcionaba. La responsabilidad y la responsabilidad fiduciaria de los diseñadores deben responder a lo que el diseñador hizo. Si los diseñadores cumplieron con las mejores prácticas, entonces no deberían ser responsables; si fueron gravemente negligentes, entonces sí deberían serlo. Este es un principio de ética en la ingeniería y el diseño en todos los campos, desde las pruebas médicas hasta los algoritmos y los pozos petroleros.
Hay un largo camino por recorrer entre la propuesta de una obligación y la implementación de un marco legal, pero en un mundo ideal, el potencial de discriminación puede abordarse durante la fase de pruebas, con las empresas enviando sus algoritmos para su auditoría independiente antes de ponerlos en el mercado. A medida que trabajos como el de Buolamwini se conviertan en norma para el desarrollo y la evaluación de estas tecnologías, las empresas que no prueben la imparcialidad de sus algoritmos estarían actuando negligentemente. Estas normas de prueba deberían tener implicaciones legales y ayudar a establecer cuándo los consumidores lesionados por un producto pueden recuperar daños de la empresa, lo que faltó en el caso del fraude de Theranos y todavía falta en las normas en torno a las pruebas y dispositivos médicos en empresas emergentes.
Las empresas, por su parte, deberían respaldar estándares claros y bien fundados para la IA, como los que se describen en la propuesta de la administración Biden, porque hacerlo proporciona motivos para la confianza pública. Esa base no es absoluta; si descubrimos que la pasta dental está contaminada, entonces miraremos de reojo a la empresa de pasta dental, pero saber que hay un control regulatorio fundamentado ayuda a establecer que los productos que usamos de manera habitual son seguros. La mayoría de nosotros nos sentimos más seguros porque nuestros médicos y abogados tienen un código de ética y porque los ingenieros que construyen puentes y túneles tienen estándares profesionales. Los productos de IA ya están integrados en nuestras vidas, desde los algoritmos de recomendación hasta los sistemas de programación hasta los sistemas de reconocimiento de voz e imagen. Garantizar que estas cosas no tengan prejuicios graves e inapropiados es lo mínimo.
Los algoritmos, como las pruebas médicas, nos brindan información que necesitamos para tomar decisiones. Necesitamos supervisión reguladora de los algoritmos por la misma razón por la que la necesitábamos para las cajas de Holmes: si la información que estamos obteniendo es producida por máquinas que cometen errores sistemáticos (o peor aún, no funcionan en absoluto), entonces pueden y pondrán a las personas en peligro. Si sabemos cuáles son los errores, entonces podemos trabajar para prevenir o mitigar los daños.
Future Tense es una asociación entre Slate, New America y la Universidad Estatal de Arizona que examina las tecnologías emergentes, la política pública y la sociedad.
