Se necesitan menos de cinco minutos en una entrevista con Tom Siebel antes de que el multimillonario de la tecnología comience a alertar sobre los muchos riesgos de la inteligencia artificial.

"La forma en que se reinventa la guerra, todas estas nuevas tecnologías dependen en gran medida de la IA", dice Siebel, CEO y fundador de C3.ai, una empresa de software de IA empresarial, en respuesta a solo la segunda pregunta de Fortune.

La empresa proporciona aplicaciones de IA a empresas petroleras y gasísticas que van desde Shell hasta Baker Hughes, así como a las comunidades de defensa e inteligencia de los Estados Unidos. Pero C3.ai no hará negocios con naciones que no sean aliadas de los estados democráticos, incluyendo a China y Rusia, porque Siebel dice "que ellos utilizarán estas tecnologías de formas que ni siquiera podemos imaginar".

El MIT Sloan Management Review y Boston Consulting Group recientemente convocaron a un panel de académicos y expertos en IA y la última pregunta que hicieron fue: "A medida que la comunidad empresarial se vuelva más consciente de los riesgos de la IA, ¿las empresas están realizando inversiones adecuadas en inteligencia artificial responsable?". Once de los 13 fueron reacios a estar de acuerdo.

La IA está cambiando la forma en que los humanos trabajan, socializan, crean y experimentan el mundo. Pero muchas cosas pueden salir mal. El sesgo en la IA ocurre cuando se toman decisiones que son sistemáticamente injustas para diversos grupos de personas. Los críticos temen que el sesgo pueda perjudicar especialmente a los grupos marginados. Las alucinaciones perciben patrones que son imperceptibles para los humanos y crean resultados inexactos. Y el desvío es cuando los modelos de lenguaje grandes se comportan de manera impredecible y requieren recalibración.

Los estadounidenses están preocupados. Una encuesta del Pew Research Center este verano encontró que el 52% estaba más preocupado que emocionado por el aumento del uso de la IA. En el lugar de trabajo, los estadounidenses se oponen al uso de la IA para tomar decisiones finales de contratación por un margen del 71% al 7%. Las mujeres tienden a ver la IA de manera más negativa que los hombres.

Sin embargo, no todo es pesimismo. La mitad de las organizaciones afirman que los factores de riesgo son una consideración crítica al evaluar nuevos usos de la IA. Una gran parte de los estadounidenses no cree que el uso de la IA en el lugar de trabajo tenga un impacto importante en ellos personalmente.

"Nunca se debe tener como objetivo automatizar el despido de un grupo de trabajadores", dice Steve Mills, el oficial principal de ética de IA de BCG.

Se trata de cómo emparejar personas con IA para mejorar su trabajo, permitirles hacer más y aprovechar la creatividad y la ingeniosidad humana".

La inteligencia artificial funciona mejor cuando existe supervisión humana. Muchas empresas afirman que sus empleados revisan rigurosamente los modelos de IA que crean o utilizan, y que se implementan procesos para garantizar la privacidad y seguridad de los datos. Los gigantes tecnológicos comparten públicamente su ética responsable en la IA para tranquilizar las preocupaciones sobre esta tecnología en constante evolución.

"Me siento optimista de que la IA será una herramienta colaborativa que utilizarán los trabajadores", dice Todd Mobley, quien representa a los empleadores en litigios para DLA Piper. "Pero debería ser un proceso continuo e iterativo con discusiones, capacitación y pruebas de las herramientas para garantizar que se utilicen por las razones adecuadas y que la herramienta no genere consecuencias no deseadas".

"Pensamos que la IA puede ser muy poderosa para automatizar muchas tareas, incluso automatizar decisiones, pero en algún momento se necesita un ser humano presente para validar cómo se toman esas decisiones", dice Rob Thomas, vicepresidente senior de software y director comercial de IBM.

Thomas destaca que debe haber transparencia en cómo se crea la IA y de dónde provienen los datos. La regulación debería supervisar los casos de uso de la IA, pero no el desarrollo tecnológico. Además, la gobernanza es fundamental para comprender cómo están funcionando los modelos.

Con ese fin, antes de que termine este año, IBM pondrá a disposición watsonx.governance para ayudar a las empresas a monitorear y gestionar sus actividades en IA, y utilizará la automatización de software para mitigar riesgos, cumplir con los requisitos normativos y abordar preocupaciones éticas. "Nuestro objetivo es ofrecer software y capacidades que permitan a cualquier empresa generar confianza en la IA", afirma Thomas.

En septiembre, el gigante del software alemán SAP presentó un nuevo copiloto de IA generativa llamado Joule, que se está integrando en aplicaciones que abarcan desde la cadena de suministro hasta las finanzas y la adquisición. Los usuarios de algunos productos de SAP pueden hacer preguntas o plantear problemas y recibir respuestas de IA basadas en datos empresariales de la cartera de SAP y fuentes de terceros.

Thomas Saueressig, responsable del equipo de ingeniería de productos y desarrollo ético de IA de SAP, afirma que es fundamental reconocer que existe sesgo en los grandes modelos de lenguaje y que SAP destina recursos a los esfuerzos de mitigación para asegurar que las sugerencias de Joule eviten dicho sesgo. Saueressig dice que es "absolutamente esencial" que el desarrollo de IA esté centrado en el ser humano. "Creemos que es un dúo, no un duelo".

Desde principios de 2022, cada empleado de SAP ha firmado la política de ética en IA de la empresa. "Tenemos un enfoque muy claro en el valor de la protección de datos y la privacidad", dice Saueressig.

Tony Habash cree que la IA cambiará drásticamente la forma en que los terapeutas practican la psicología. Como director de información de la Asociación Estadounidense de Psicología, Habash ve usos beneficiosos que van desde la toma de notas impulsada por IA hasta la provisión de indicadores de tratamiento para que el terapeuta los utilice y mejore la atención. También existe el potencial de que la IA avance en la investigación médica y haga que la atención médica sea más accesible al reducir los costos.

"Pensamos que el mayor cambio que nos espera es la relación entre humanos y máquinas", dice Habash. Históricamente, los humanos tenían que aprender lenguajes de programación, como Java, para indicarle a una máquina qué hacer. "Y luego nos despertamos y la máquina habla nuestro idioma con la IA generativa". Habash dice que esto plantea preguntas éticas sobre cómo los humanos pueden crear la confianza, las mejores prácticas y las pautas para la interacción máquina-humano.

"Un clínico que trabaja con un sistema de IA necesita comprender claramente cómo funciona, para qué está diseñado y cómo utilizarlo para mejorar la calidad del servicio de atención médica y garantizar el bienestar del paciente", dice Sunil Senan, vicepresidente senior y jefe global de datos, análisis e IA de Infosys.

Hay formas en que la inteligencia artificial (IA) puede ayudar a que los humanos se comporten de manera más humana. Tomemos el ejemplo de la función "¿Estás seguro?" de Match Group. Utilizando IA, la aplicación de citas Tinder de Match Group puede identificar frases que podrían ser problemáticas y alertar al remitente de que el mensaje que están a punto de enviar podría ser ofensivo. De manera similar, "¿Esto te molesta?" es un mensaje que los receptores pueden utilizar para señalar un lenguaje dañino a Match.

Estas funciones han reducido el acoso en la aplicación, y Match ha ampliado "¿Estás seguro?" a 18 idiomas en la actualidad. "Las personas que vieron esta indicación y cambiaron su mensaje tenían menos probabilidades de ser reportadas", dice Rory Kozoll, vicepresidente senior de la plataforma central y tecnologías de Match Group. "Estos modelos son realmente impresionantes en su capacidad para entender matices y lenguaje".

Cuando el fondo de capital de riesgo de Microsoft, M12, busca invertir, busca startups que puedan implementar la tecnología de manera responsable. Con ese fin, M12 invirtió en Inworld, que crea personajes virtuales impulsados por IA en juegos de rol que no son controlados por humanos. Estas conversaciones virtuales podrían salirse de control y volverse tóxicas, pero Inworld establece límites estrictos sobre lo que se puede decir, lo que le permite trabajar con clientes que tienen contenido apto para toda la familia, como Disney.

"Siempre me sentiré mejor durmiendo por la noche sabiendo que las empresas en las que hemos invertido tienen una visión clara sobre el uso de los datos, los datos que ingresan en el modelo, los datos en los que se entrena el modelo y el uso último del modelo que cumple con las pautas y limitaciones legales y comerciales", dice Michael Stewart, socio de M12.

Ally Financial, el banco totalmente digital más grande de Estados Unidos, utiliza IA en la evaluación de riesgos y en los chatbots. Al implementar IA, Ally realiza experimentos con clientes internos y siempre tiene la participación de un ser humano. Sathish Muthukrishnan, director de información, datos y digital de Ally Financial, dice que la tecnología de IA utilizada en los chatbots debe hablar exactamente como lo haría un asociado al interactuar con un cliente.

"Los modelos de IA están aprendiendo a evitar el sesgo, y es nuestra responsabilidad enseñarles eso", dice Muthukrishnan.

Están surgiendo algunas startups de IA que buscan establecer mayor confianza en la tecnología. En septiembre, Armilla AI presentó cobertura de garantía para productos de IA con aseguradoras como Swiss Re para brindar a los clientes una verificación de terceros de que la IA que están utilizando es justa y segura. "Un modelo funciona muy bien porque tiene sesgos", explica Karthik Ramakrishnan, cofundador y CEO de Armilla AI. El sesgo, explica, no es una palabra negativa porque la IA debe entrenarse en datos para pensar de cierta manera.

"Pero lo que nos preocupa es cómo el modelo trata a diferentes grupos demográficos y situaciones", dice Ramakrishnan.

Credo AI es una oferta de gobierno de IA que automatiza la supervisión, la mitigación de riesgos y el cumplimiento normativo de la IA. El software proporciona responsabilidades y supervisión para todo el conjunto tecnológico de un cliente, ayudando a definir claramente quién revisa los sistemas, si hay un comité de ética y quiénes forman parte de él, y cómo se auditan y aprueban los sistemas.

"Los líderes empresariales ni siquiera saben dónde se utiliza realmente la IA dentro de su propia organización", dice Navrina Singh, CEO y fundadora de Credo AI.

“Tienen registros de modelos, pero no tienen registros de aplicaciones”.

En C3.ai, Siebel sigue preocupado por el aterrizaje de la IA en manos equivocadas. La privacidad es su mayor preocupación. Siebel dice que la sociedad debería estar alineada en que la IA no debe utilizar información privada de manera incorrecta, propagar riesgos para la salud social, interferir en los procesos democráticos o ser utilizada en aplicaciones militares delicadas sin supervisión civil. En cuanto al sesgo, esa es una problemática más difícil de resolver.

"Tenemos cientos de años de historia en la civilización occidental", dice Siebel. "No hay más que sesgo. Ya sea de género, de origen nacional o de raza. Dime cómo vamos a solucionar eso. Es irremediable".