Llegamos a ustedes gracias a:



Reportajes y análisis

6 riesgos empresariales de descuidar la ética y la gobernanza de la IA

[23/05/2022] Dependiendo de las películas de Terminator que vea, la malvada inteligencia artificial Skynet ya se ha apoderado de la humanidad o está a punto de hacerlo. Pero no solo los escritores de ciencia ficción están preocupados por los peligros de la IA descontrolada.

En una encuesta realizada en el 2019 por Emerj, una empresa de investigación y asesoramiento sobre IA, el 14% de los investigadores de IA dijeron que la IA era una "amenaza existencial" para la humanidad. Incluso si el apocalipsis de la IA no llega a producirse, descuidar la ética de la IA supone grandes riesgos para la sociedad, y para las empresas que despliegan esos sistemas de IA.

En estos riesgos son fundamentales los factores inherentes a la tecnología -por ejemplo, la forma en que un determinado sistema de IA llega a una determinada conclusión, lo que se conoce como su "explicabilidad", y los endémicos del uso de la IA por parte de una empresa, incluida la dependencia de conjuntos de datos sesgados o el despliegue de la IA sin una gobernanza adecuada.

[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]

Y aunque la IA puede proporcionar a las empresas una ventaja competitiva de diversas maneras -desde el descubrimiento de oportunidades de negocio que se han pasado por alto hasta la racionalización de procesos costosos-, los inconvenientes de la IA -si no se presta la debida atención a la gobernanza de la IA, la ética y la evolución de la normativa- pueden ser catastróficos.

Los siguientes problemas de implementación en el mundo real ponen de relieve los principales riesgos que todo líder de TI debe tener en cuenta al elaborar la estrategia de implementación de la IA de su empresa.

Desastres en las relaciones públicas

El mes pasado, un documento filtrado de Facebook obtenido por Motherboard mostró que Facebook no tiene ni idea de lo que está pasando con los datos de sus usuarios.

"No tenemos un nivel adecuado de control y explicación sobre cómo nuestros sistemas utilizan los datos", decía el documento, atribuido a los ingenieros de privacidad de Facebook.

Ahora la empresa se enfrenta a un "tsunami de regulaciones entrantes", según el documento, que no puede abordar sin inversiones de varios años en infraestructura. En particular, la compañía tiene poca confianza en su capacidad para abordar los problemas fundamentales con el aprendizaje automático y las aplicaciones de IA, según el documento. "Este es un área nueva para la regulación y es muy probable que veamos requisitos novedosos durante varios años. Tenemos muy poca confianza en que nuestras soluciones sean suficientes".

Este incidente, que proporciona una visión de lo que puede ir mal para cualquier empresa que haya desplegado la IA sin una gobernanza de datos adecuada, es solo el último de una serie de empresas de alto perfil que han visto sus desastres de relaciones públicas relacionados con la IA en todas las portadas.

En el 2014, Amazon creó un software de selección de personal basado en IA que prefería mayoritariamente a los candidatos masculinos.

En el 2015, la aplicación Fotos de Google etiquetó imágenes de personas negra como "gorilas". Sin aprender de ese error, Facebook tuvo que disculparse por un error similar la pasada primavera, cuando se preguntó a sus usuarios si querían "seguir viendo videos sobre primates" después de ver un video con hombres negros.

El chatbot Tay de Microsoft, lanzado en Twitter en el 2016, rápidamente comenzó a vomitar mensajes racistas, misóginos y antisemitas.

La mala publicidad es uno de los mayores temores de las empresas cuando se trata de proyectos de IA, señala Ken Adler, presidente de la práctica de tecnología y abastecimiento del bufete de abogados Loeb & Loeb.

"Les preocupa implementar una solución que, sin saberlo, tiene un sesgo incorporado", anota. "Puede ser cualquier cosa: racial, étnica, de género".

Impacto social negativo

Los sistemas de IA sesgados ya están causando daños. Un algoritmo de crédito que discrimine a las mujeres, o una herramienta de recomendación de recursos humanos que no sugiera cursos de liderazgo a algunos empleados, pondrá a esas personas en desventaja.

En algunos casos, esas recomendaciones pueden ser literalmente una cuestión de vida o muerte. Ese fue el caso de un hospital comunitario en el que trabajó una vez Carm Taglienti, un distinguido ingeniero de Insight.

Los pacientes que acuden a las urgencias de un hospital suelen tener problemas que van más allá de los que les preocupan específicamente, sostiene Taglienti. "Si vienen al hospital quejándose de dolores en el pecho, también puede haber un problema de sangre u otro problema que contribuya", explica.

El equipo de ciencia de datos de este hospital en particular había creado un sistema para identificar esas comorbilidades. El trabajo era crucial, ya que si un paciente llega al hospital y tiene un segundo problema potencialmente mortal pero el hospital no lo detecta, el paciente podría ser enviado a casa y acabar muriendo.

La cuestión era, sin embargo, en qué momento debían los médicos actuar según la recomendación del sistema de IA, teniendo en cuenta las consideraciones sanitarias y los límites de los recursos del hospital. Si la correlación descubierta por el algoritmo es débil, los médicos podrían someter a los pacientes a pruebas innecesarias que supondrían una pérdida de tiempo y dinero para el hospital. Pero si las pruebas no se realizan y surge un problema que podría resultar mortal, surgen mayores dudas sobre el valor del servicio que el hospital presta a su comunidad, especialmente si sus algoritmos sugirieron la posibilidad, por escasa que sea.

Ahí es donde entra la ética, señala. "Si trato de hacer el enfoque utilitario, del mayor bien para el mayor número de personas, podría tratarlo lo necesite o no".

Pero esa no es una solución práctica cuando los recursos son limitados.

Otra opción es reunir mejores datos de entrenamiento para mejorar los algoritmos y que las recomendaciones sean más precisas. El hospital lo hizo invirtiendo más en la recogida de datos, indica Taglieti.

Pero el hospital también encontró formas de reequilibrar la ecuación en torno a los recursos, añade. "Si la ciencia de los datos le dice que le faltan comorbilidades, ¿tiene que ser siempre un médico el que vea a los pacientes? ¿Podemos recurrir a enfermeros profesionales en su lugar? ¿Podemos automatizar?

El hospital también creó un mecanismo de programación de pacientes, de modo que las personas que no tenían proveedores de atención primaria pudieran visitar a un médico de urgencias en momentos en los que las urgencias estuvieran menos ocupadas, por ejemplo, durante un día de la semana.

"Pudieron centrarse en el resultado final, y seguir utilizando la recomendación de la IA y mejorar los resultados", afirma.

Sistemas que no superan la normativa

Sanjay Srivastava, jefe de estrategia digital de Genpact, trabajó con una gran empresa de servicios financieros globales que quería utilizar la IA para mejorar sus decisiones de préstamo.

Se supone que un banco no puede utilizar determinados criterios, como la edad o el sexo, a la hora de tomar algunas decisiones, pero no basta con sacar los datos de edad o sexo de los datos de entrenamiento de la IA, comenta Srivastava, porque los datos pueden contener otra información que esté correlacionada con la edad o el sexo.

"El conjunto de datos de entrenamiento que utilizaron tenía muchas correlaciones", señala. "Eso les expuso a una huella de riesgo mayor de la que habían planeado".

El banco acabó teniendo que volver al conjunto de datos de entrenamiento, y rastrear y eliminar todos esos otros puntos de datos, un proceso que les hizo retroceder varios meses.

La lección aquí fue asegurarse de que el equipo que construye el sistema no es solo de científicos de datos, anota, sino que también incluya un conjunto diverso de expertos en la materia. "Nunca haga un proyecto de IA solo con científicos de datos", agrega.

La sanidad es otro sector en el que el incumplimiento de los requisitos normativos puede hacer que todo el proyecto vuelva a la casilla de salida. Eso es lo que le ocurrió a una empresa farmacéutica mundial que trabajaba en una vacuna contra el COVID.

"Muchas empresas farmacéuticas utilizaron la IA para encontrar soluciones más rápidamente", sostiene Mario Schlener, líder de riesgo de servicios financieros globales en Ernst & Young. Una empresa hizo algunos progresos en la creación de algoritmos, comenta. "Pero debido a la falta de gobernanza en torno a su proceso de desarrollo de algoritmos, hizo que el desarrollo quedara obsoleto".

Y como la empresa no pudo explicar a los reguladores cómo funcionaban los algoritmos, acabaron perdiendo nueve meses de trabajo durante el pico de la pandemia.

Multas por el GDPR

El Reglamento General de Protección de Datos de la UE (GDPR, por sus siglas en inglés) es una de las leyes de protección de datos más duras del mundo, con multas de hasta 20 millones de euros o el 4% de los ingresos mundiales, lo que sea mayor. Desde que la ley entró en vigor en el 2018, se han emitido más de 1.100 multas, y los totales siguen aumentando.

El GDPR y otras normativas similares que están surgiendo en todo el mundo restringen la forma en que las empresas pueden utilizar o compartir datos privados sensibles. Debido a que los sistemas de IA requieren cantidades masivas de datos para el entrenamiento, sin las prácticas de gobernanza adecuadas, es fácil incumplir las leyes de privacidad de datos al implementar la IA.

"Desafortunadamente, parece que muchas organizaciones tienen una actitud de 'lo agregaremos cuando lo necesitemos' hacia la gobernanza de la IA", comenta Mike Loukides, vicepresidente de contenido de tecnología emergente en O'Reilly Media. "Esperar hasta que lo necesite es una buena forma de garantizar que llega demasiado tarde".

La Unión Europea también está trabajando en una Ley de Inteligencia Artificial, que crearía un nuevo conjunto de regulaciones específicamente en torno a la inteligencia artificial. La Ley de IA se propuso por primera vez en el otoño del 2021 y podría aprobarse tan pronto como en el 2023. El incumplimiento dará lugar a una serie de castigos, incluyendo sanciones financieras de hasta el 6% de los ingresos globales, incluso más altas que el GDPR.

Sistemas no reparables

En abril, un carro de autoconducción operado por Cruise, una empresa de carros autónomos respaldada por General Motors, fue detenido por la policía porque conducía sin las luces delanteras. El video de un policía confundido acercándose al auto y comprobando que no tenía conductor se hizo rápidamente viral.

Posteriormente, el auto se alejó y volvió a detenerse, lo que permitió a la policía alcanzarlo. Averiguar por qué el auto hizo esto puede ser complicado.

"Tenemos que entender cómo se toman las decisiones en los carros de autoconducción", señala Dan Simion, vicepresidente de IA y análisis de Capgemini. "El fabricante de autos tiene que ser transparente y explicar lo que ha pasado. La transparencia y la explicabilidad son componentes de la IA ética".

Con demasiada frecuencia, los sistemas de IA son "cajas negras" inescrutables, que proporcionan poca información sobre cómo sacan conclusiones. Por ello, encontrar el origen de un problema puede ser muy difícil, lo que hace dudar que el problema pueda solucionarse.

"Creo que con el tiempo llegarán las normativas, sobre todo cuando hablemos de coches autodirigidos, pero también para las decisiones autónomas en otros sectores", sostiene Simion.

Pero las empresas no deberían esperar para incorporar la explicabilidad a sus sistemas de IA, añade. A largo plazo, es más fácil y barato incorporar la capacidad de explicación desde el principio, en lugar de intentar añadirla al final. Además, hay razones empresariales inmediatas y prácticas para crear una IA explicable, indica Simion.

Más allá de los beneficios en materia de relaciones públicas de poder explicar por qué el sistema de IA hizo lo que hizo, las empresas que adoptan la explicabilidad también podrán solucionar los problemas y racionalizar los procesos más fácilmente.

¿El problema estaba en el modelo o en su aplicación? ¿Estaba en la elección de los algoritmos o en una deficiencia en el conjunto de datos de entrenamiento?

Las empresas que utilizan herramientas de terceros para algunos o todos sus sistemas de IA también deberían trabajar con sus proveedores para exigir que sus productos sean explicables.

Riesgos para el sentimiento de los empleados

Cuando las empresas crean sistemas de IA que violan la privacidad de los usuarios, que son parciales o que perjudican a la sociedad, cambia la forma en que sus propios empleados los ven.

Los empleados quieren trabajar en empresas que compartan sus valores, señala Steve Mills, jefe de ética de la IA en Boston Consulting Group. "Un elevado número de empleados deja su trabajo por cuestiones éticas", afirma. "Si quiere atraer talento técnico, tiene que preocuparse de cómo va a abordar estas cuestiones".

Según una encuesta publicada por Gartner a principios de este año, la actitud de los empleados hacia el trabajo ha cambiado desde el comienzo de la pandemia. Casi dos tercios se han replanteado el lugar que debe ocupar el trabajo en su vida, y más de la mitad afirmaron que la pandemia les ha hecho cuestionar el propósito de su trabajo diario y les ha hecho querer contribuir más a la sociedad.

Y un estudio de Blue Beyond Consulting y Future Workplace demostró la importancia de los valores. Según la encuesta, el 52% de los trabajadores dejaría su trabajo -y solo uno de cada cuatro lo aceptaría- si los valores de la empresa no fueran coherentes con los suyos. Además, el 76% dijo que espera que su empleador sea una fuerza del bien en la sociedad.

Aunque las empresas pueden iniciar programas de ética de la IA por razones normativas o para evitar la mala publicidad, a medida que estos programas maduran, las motivaciones cambian.

"Lo que estamos empezando a ver es que tal vez no empiezan así, pero aterrizan en que es una cuestión de propósito y valores", anota Mills. "Se convierte en una cuestión de responsabilidad social. Un valor fundamental de la empresa".

Puede ver también:

Primer Contacto

Más »

Casos de éxito

Más »