[05/04/2021] La gobernanza de la inteligencia artificial toca muchas áreas funcionales dentro de la industria -privacidad de los datos, sesgo de los algoritmos, cumplimiento, ética y mucho más-; y, como resultado, abordar la gobernanza del uso de las tecnologías de inteligencia artificial requiere de acciones en muchos niveles.
"No comienza a nivel de TI o de proyecto”, afirma Kamlesh Mhashilkar, jefe de práctica de datos y analítica de Tata Consultancy Services. La gobernanza de la inteligencia artificial también ocurre a nivel de gobierno, del directorio y a nivel del CSO, afirma Mhashilkar.
En la atención médica, por ejemplo, los modelos de inteligencia artificial deben pasar estrictas auditorías e inspecciones, agrega. Muchas otras industrias también tienen regulaciones aplicables. "Y a nivel del directorio, tiene que ver con los comportamientos económicos”, afirma Mhashilkar. "¿Qué tipo de riesgos acepta cuando introduce la inteligencia artificial?”.
En cuanto a la alta gerencia, las agendas de la inteligencia artificial se basan en un propósito. Por ejemplo, el CFO estará en sintonía con el valor y la rentabilidad para los accionistas. Los CIO y los chief data officer también son partes interesadas clave, al igual que los gerentes de Marketing y Cumplimiento. Y eso sin mencionar a los clientes y proveedores.
No todas las empresas tendrán que actuar en todos los frentes para desarrollar una estrategia de gobernanza de la inteligencia artificial. Las empresas más pequeñas, en particular, pueden tener poca influencia en lo que hacen los grandes proveedores o grupos reguladores. Aun así, todas las empresas están utilizando, o pronto utilizarán, la inteligencia artificial y las tecnologías relacionadas, incluso si simplemente están integradas en las herramientas y los servicios de terceros que utilizan.
Y cuando se usa sin la supervisión adecuada, la inteligencia artificial tiene el potencial de cometer errores que dañen las operaciones del negocio, violen los derechos de privacidad, infrinjan las regulaciones de la industria o creen una mala reputación para una empresa.
A continuación le mostramos cómo las empresas con visión a futuro están comenzando a abordar la gobernanza de la inteligencia artificial y llevan sus proyectos piloto de inteligencia artificial a producción, enfocándose en la calidad de los datos, el desempeño de los algoritmos, el cumplimiento y la ética.
Enfrentar la ética de la inteligencia artificial
Pocas áreas están tan cargadas de preocupaciones éticas hoy como el reconocimiento facial. Existe un gran potencial de abuso y las empresas que ofrecen tecnologías de reconocimiento facial están recibiendo el rechazo del público y, a veces, de sus propios empleados.
Ese es el caso de Xtract AI, una subsidiaria de Patriot One Technologies, que utiliza el reconocimiento de imágenes para identificar a las personas que portan armas.
La tecnología también se puede usar en otros contextos, como para identificar a las personas que no cumplen con las pautas de las máscaras o del distanciamiento social, afirma Justin Granek, vicepresidente de operaciones de Xtract.
La ética es un tema importante de conversación, afirma. "Para nosotros, hemos visto que mucho de esto viene de abajo hacia arriba. Nuestros empleados preguntan: '¿Qué estamos haciendo al respecto?' Y obliga a los líderes a desarrollar nuestra política de gobernanza”.
Los clientes tienen su propio conjunto de requerimientos y hay un equilibrio que debe determinarse, afirma. "Uno de nuestros clientes es el Departamento de Defensa de Canadá y algunos de nuestros clientes se encuentran en el sector de la salud. Lo ven desde diferentes perspectivas”.
La pregunta más importante es para qué clientes trabajar, afirma, y qué tipo de trabajo debería realizar la tecnología. Esa es una decisión general que tiene que ver con la misión de la empresa. Pero también hay problemas técnicos que deben abordarse, y esos comienzan con los datos.
Arreglar los datos
La mayor fuente de sesgo en los algoritmos se encuentra en los datos. Para el reconocimiento facial, por ejemplo, históricamente los datos no han sido representativos de la población general. "Están predispuestos hacia los hombres blancos”, afirma Granek. "Se está corrigiendo, pero todavía queda mucho trabajo por hacer”.
Los expertos pueden ayudar a solucionar los problemas de sesgo en los datos, y los proveedores comerciales de datos están trabajando para llenar los vacíos en los datos que proporcionan. También existen formas de crear conjuntos de datos sintéticos, pero a menudo la solución se reduce a salir y obtener mejores datos, afirma Granek.
Para el algoritmo de detección de armas de Xtract, eso significaba establecer un espacio de laboratorio, llenarlo con una amplia variedad de armas de fuego sacadas de servicio, y hacer que muchas personas caminaran de diferentes maneras, en diferentes lugares.
"Lo que haría un inexperto sería buscar en Hollywood imágenes de personas caminando con armas, pero eso no es representativo del mundo real”, añade Granek.
En su lugar, Xtract hizo un esfuerzo por recopilar una amplia gama de personas para sus datos de entrenamiento. "No hay receta para quién podría portar un arma. Conseguimos algunos estudiantes. Conseguimos personas mayores; tenemos muchas personas diferentes”, afirma Granek.
Para algunas aplicaciones de inteligencia artificial, los conjuntos de datos precisos y representativos pueden marcar la diferencia entre la vida y la muerte, y tener importantes implicaciones morales y éticas. Pero incluso cuando los efectos del uso de conjuntos de datos errados no generan un desastre público, pueden causar daños operativos o financieros a las empresas, o dar lugar a problemas regulatorios o de cumplimiento.
Esto último fue la preocupación de Cemex, con sede en México, uno de los distribuidores de materiales de construcción más grandes del mundo. La empresa tiene más de 100 años, pero se está reinventando mediante el uso de inteligencia artificial en la gestión y las operaciones de la cadena de abastecimiento.
Cemex comenzó a buscar hace tres años inteligencia artificial y tecnologías relacionadas para incrementar su participación de mercado, mejorar el servicio al cliente e impulsar los resultados finales.
"El año pasado y este año estamos viendo el valor de la inteligencia artificial a escala global, no solo en un pequeño piloto aquí o allá”, afirma Nir Kaldero, chief AI officer de la compañía.
Con la inteligencia artificial firmemente incorporada en el ADN de la empresa, Cemex se dio cuenta de la necesidad de crear estructuras de gobernanza a su alrededor, afirma Kaldero.
Todo comienza con los datos. "No existe una inteligencia artificial buena y confiable sin una buena arquitectura de la información”, añade Kaldero. "No se pueden tener modelos buenos y fiables sin buena información”.
En Cemex, la gobernanza de los datos abarca la seguridad, monitoreo, privacidad, cumplimiento y ética. La empresa necesita saber dónde se encuentran los datos, dónde y cómo se utilizan, si cumplen con los requerimientos regulatorios y si no tienen sesgos.
Cemex, que se basa en la plataforma de datos en la nube Snowflake para administrar sus datos y Satori para administrar el acceso, tiene un ejecutivo senior dedicado únicamente a los datos y otro ejecutivo senior dedicado a la gobernanza, quien encabeza un equipo de gobernanza, afirma Kaldero.
Conseguir los modelos correctos
Además de la gobernanza de datos, Cemex ha comenzado a crear gobernanza en torno a los modelos de inteligencia artificial y los resultados. "Eso es algo nuevo”, afirma Kaldero. "No solo para Cemex, sino para el mundo”.
Esta tarea se comparte entre el grupo de ciencia de datos e inteligencia artificial de Kaldero y el grupo del CIO.
En la actualidad, Cemex utiliza la inteligencia artificial para pronosticar las necesidades de repuestos, de modo que pueda ahorrar dinero al negociar mejores acuerdos con sus proveedores. También está utilizando la inteligencia artificial para el routing y programar los camiones, así como en las ventas y los precios. Si alguno de estos cálculos no funciona, la empresa corre el riesgo de perder una gran cantidad de dinero.
Por tanto, para protegerse contra el model drift y los sesgos algorítmicos, Cemex utiliza tecnología de Algoritmia, con sede en Seattle.
KenSci es otra empresa preocupada por las consecuencias posteriores de los modelos de inteligencia artificial. La compañía con sede en Seattle utiliza la inteligencia artificial para analizar datos de atención médica, un área donde los modelos precisos de inteligencia artificial pueden ser literalmente una cuestión de vida o muerte.
"Siempre comenzamos revisando los objetivos de los modelos de inteligencia artificial con las partes interesadas -representativas y diversas-”, afirma Muhammad Aurangzeb Ahmad, científico de datos principal de la compañía. Para garantizar que esos modelos sean transparentes y responsables, la capacidad que tienen de explicarse por sí solos es un componente fundamental.
"Incluso hemos lanzado un paquete de Python de código abierto -fairMLHealth- que puede ser utilizado por cualquier persona para medir la equidad de los modelos de aprendizaje automático”, afirma Ahmad.
Con el fin de asegurarse de que las minorías y otros grupos vulnerables sean tratados de manera equitativa, Ahmad también recomienda auditar los modelos de inteligencia artificial para evaluar su desempeño en diferentes grupos.
"La transparencia, así como la capacidad de explicarse por sí mismos, que tienen los modelos de inteligencia artificial hace que sea más probable que los usuarios finales los utilicen y confíen en ellos”, añade Ahmad. "Y más susceptible de ser auditado y, por lo tanto, corregido cuando sea necesario”.
La inteligencia artificial y la ética
Al diseñar una estrategia de gobernanza, otra área clave a considerar es la ética del uso de la inteligencia artificial. "La legislación no se ha puesto al día con la tecnología”, afirma Ahmad. "Es responsabilidad de los creadores de los sistemas de aprendizaje automático alinearlos con los objetivos éticos. Cuando se necesita emparejar las cosas, se debe pecar de cauteloso”.
Joe Tobolski, CTO de la consultora de servicios digitales Nerdery, ve que las empresas son cada vez más conscientes de los posibles peligros éticos de la inteligencia artificial. "¿Pero son completamente conscientes en el sentido de qué sistemas están ejecutando y qué datos de entrenamiento tienen bajo sus cubiertas? Probablemente no”, afirma Tobolski.
Pocas empresas tienen un código claro de ética de inteligencia artificial para aplicarlos a sus proyectos, fuentes de datos y usos de la tecnología. "Eso es lo que me gustaría que hiciéramos: tener este marco sólido y codificado sobre cómo abordar estas cosas”, añade Tobolski.
Cemex es una empresa que limitó deliberadamente su uso de la inteligencia artificial para minimizar las posibles complicaciones éticas. Por ejemplo, está priorizando proyectos que mejoran los servicios y ayudan a los clientes sobre aquellos que, digamos, simplemente reducirían el personal, afirma Kaldero.
"Los empleados están en el centro de la organización, no la tecnología”, afirma. "Podríamos automatizar todos los centros de llamadas de nuestros clientes, pero eso no es de nuestro interés. Cemex se enorgullece de ser un empleador que brinda oportunidades laborales a las personas. Hay algo hermoso en esto, tener eso en nuestra misión de la empresa”.
Los proyectos de inteligencia artificial se eligen para tener un impacto positivo en la fuerza laboral. Tomemos la seguridad, por ejemplo. "Esa es una gran iniciativa para la inteligencia artificial”, afirma Kaldero. "Cemex ya ha reducido drásticamente los accidentes a casi cero. Y la forma de llegar a cero es mediante el reconocimiento de imágenes”.
Estrategias de gobernanza de la inteligencia artificial
Para MassMutual, compañía de seguros de vida con sede en Springfield, Massachusetts, la gobernanza de la inteligencia artificial se basa en un conjunto de principios de ética de los datos en constante evolución, que guían las acciones y la toma de decisiones.
"Creamos específicamente un conjunto de principios para usar la inteligencia artificial con el propósito de hacer crecer nuestro negocio alineándolo con los valores de la empresa y los intereses de los propietarios de nuestras políticas”, afirma Sears Merritt, jefe de Datos, Estrategia y Arquitectura de la empresa. "También creamos un equipo para supervisar el uso de la inteligencia artificial a través de la creación de un marco de políticas”.
MassMutual comenzó a analizar la ética y la gobernanza de la inteligencia artificial hace aproximadamente un año, cuando la empresa se dio cuenta que necesitaba demostrar y asegurarse de que estaban utilizando la inteligencia artificial en beneficio de sus asegurados.
Merritt ahora supervisa un equipo de seis personas, incluidos consultores de ética y gobernanza de la inteligencia artificial, que rastrean si los algoritmos se adhieren a los principios de gobernanza y cómo cambian con el tiempo, creando una estructura formal para los enfoques que la empresa ya estaba siguiendo.
"Creemos que nuestro trabajo tiene un impacto tremendo en todas nuestras partes interesadas”, afirma Merritt, quien recomienda comenzar con principios básicos alineados con los valores de la empresa y los intereses de los clientes, trabajando junto con socios en derecho, cumplimiento, ética y negocios para implementarlos de manera consistente.
Luego, añade, MassMutual planea promover su marco como una de las mejores prácticas de la industria.
La importancia de las barreras de contención
John Larson, vicepresidente senior de Booz Allen Hamilton, afirma que muchas de las mejores prácticas en torno a la gobernanza de la inteligencia artificial deberían ser algo familiares.
"He estado haciendo esto durante 25 años”, afirma Larson. "Los mismos principios de cómo se desarrolla el software y los algoritmos existían antes. Pero lo que no existía era la velocidad de los datos, la potencia del procesamiento y los algoritmos de aprendizaje”.
Los sistemas de inteligencia artificial, ávidos de datos de entrenamiento, suelen trabajar con los conjuntos de datos más grandes hasta ahora, gracias a la digitalización de las empresas actuales, los datos provienen de páginas web, sensores de red, dispositivos IoT y otras fuentes, a un ritmo sin precedentes.
La capacidad de procesar estos datos también es impresionantemente más grande que nunca, gracias en gran parte a los recursos de la nube que pueden crecer de forma casi ilimitada.
Finalmente, la naturaleza de algunos sistemas de inteligencia artificial -que se basan en la retroalimentación- significa que, en efecto, aprenden sobre la marcha, por sí mismos, y esos aprendizajes pueden llevarlos en direcciones inesperadas a un ritmo demasiado rápido para que los humanos reaccionen.
"Los modelos de gobernanza de hace 25 años... los principios son los mismos, pero no pueden adaptarse al tamaño de los desafíos que enfrentamos”, afirma Larson, y agrega que la solución es construir salvaguardas automatizadas en los sistemas de inteligencia artificial.
Por ejemplo, los desarrolladores pueden establecer barreras. Si la precisión de la predicción de un modelo se desvía más allá de un objetivo predefinido, o si el modelo deja de funcionar dentro de los parámetros de diseño, entonces se podría requerir alguna forma de intervención. De manera similar, si los datos que ingresan al sistema ya no reflejan las características requeridas, eso podría generar una alerta para reevaluar las fuentes de los datos o para elegir un modelo diferente que se ajuste mejor a los datos entrantes.
Existen otras formas de monitorear los sistemas de inteligencia artificial. Buscar en las recomendaciones finales correlaciones prohibidas como las de raza, edad o afiliación religiosa, por ejemplo, podría ayudar a detectar problemas antes de que generen multas de parte del ente regulador o desastres de relaciones públicas.
"Existen herramientas que se han desarrollado -Google las tiene, Microsoft las tiene- que pueden evaluar si un modelo está sesgado en contra de ciertas cosas”, afirma Larson. "En Booz Allen, también estamos desarrollando algunos de esos kits de herramientas y estamos tratando de brindar herramientas a todos nuestros científicos de datos”.
Finalmente, cualquier buen programa de gobernanza de la inteligencia artificial necesita ownership y accountability, afirma Jessica Lee, socia y copresidenta de la práctica de privacidad y seguridad del bufete de abogados Loeb & Loeb. "¿Quién dirigirá el programa y cómo abordaremos los pasos en falso?”
"Las empresas que no lo hacen bien corren el riesgo de ser las empresas sobre las que leemos”, afirma.
No existe garantía de que las empresas puedan evitar las consecuencias no deseadas de sus algoritmos, sesgos o resultados discriminatorios u otros daños, afirma. "Pero la buena gobernanza ayuda”.
Basado en el artículo de Maria Korolov (CIO) y editado por CIO Perú