Llegamos a ustedes gracias a:



Reportajes y análisis

6 famosos desastres de la analítica y la IA

[03/12/2021] En el 2017, The Economist declaró que los datos, más que el petróleo, se habían convertido en el recurso más valioso del mundo. El estribillo se ha repetido desde entonces. Las organizaciones de todos los sectores han invertido y siguen invirtiendo mucho en datos y analítica. Pero, al igual que el petróleo, los datos y la analítica tienen su lado oscuro.

Según el informe State of the CIO 2021 de IDG, el 39% de los líderes de TI dicen que la analítica de datos impulsará la mayor inversión en TI en su organización este año, frente al 37% en el 2020. Las ideas obtenidas de la analítica y las acciones impulsadas por los algoritmos de aprendizaje automático pueden dar a las organizaciones una ventaja competitiva, pero los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas.

[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]

Es importante entender los datos y lo que nos dicen, pero también es importante entender las herramientas, conocer los datos y tener en cuenta los valores de la organización.

He aquí un puñado de errores de alto perfil en el análisis y la IA de la última década para ilustrar lo que puede salir mal.

Zillow perdió millones de dólares y redujo su planilla por un desastre algorítmico en la compra de viviendas

A inicios de noviembre, el marketplace inmobiliario en línea Zillow comunicó a sus accionistas que reduciría sus operaciones de Zillow Offers y que recortaría el 25% de la planilla de la empresa -unos dos mil empleados- en los próximos trimestres. Los problemas de la unidad de compraventa de viviendas eran el resultado de la tasa de error del algoritmo de aprendizaje automático que utilizaba para predecir los precios de las viviendas.

Zillow Offers era un programa a través del cual la empresa realizaba ofertas en efectivo sobre propiedades basadas en una "estimación Z" del valor de las viviendas derivada de un algoritmo de aprendizaje automático. La idea era renovar las propiedades y venderlas rápidamente. Pero un portavoz de Zillow dijo a CNN que el algoritmo tenía una tasa de error media del 1,9%, y que la tasa de error podía ser mucho mayor, hasta el 6,9%, para las viviendas fuera del mercado.

CNN informó que Zillow compró 27 mil viviendas a través de Zillow Offers desde su lanzamiento en abril del 2018, pero solo vendió 17 mil hasta finales de septiembre del 2021. Eventos de cisne negro como la pandemia de COVID-19 y una escasez de mano de obra de renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.

Zillow dijo que el algoritmo lo había llevado a comprar involuntariamente casas a precios más altos que sus estimaciones actuales de los precios de venta futuros, lo que resultó en una pérdida de inventario de 304 millones de dólares en el tercer trimestre del 2021.

En una conferencia telefónica con los inversores tras el anuncio, el cofundador y CEO de Zillow, Rich Barton, dijo que podría ser posible ajustar el algoritmo, pero que en última instancia era demasiado arriesgado.

El Reino Unido perdió miles de casos de COVID por superar el límite de datos de la hoja de cálculo

En octubre del 2020, Public Health England (PHE), el organismo gubernamental del Reino Unido encargado de contabilizar las nuevas infecciones por COVID-19, reveló que casi 16 mil casos de coronavirus se quedaron sin notificar entre el 25 de septiembre y el 2 de octubre. ¿El culpable? Las limitaciones de los datos en Microsoft Excel.

PHE utiliza un proceso automatizado para transferir los resultados positivos de laboratorio de COVID-19 como un archivo CSV a las plantillas de Excel utilizadas por los dahboards de informes y para el rastreo de contactos. Lamentablemente, las hojas de cálculo de Excel pueden tener un máximo de 1.048.576 filas y 16.384 columnas por hoja de trabajo. Además, PHE enumeraba los casos en columnas y no en filas. Cuando los casos superaban el límite de 16.384 columnas, Excel cortaba los 15.841 registros de la parte inferior.

La "falla" no impidió que las personas que se sometieron a las pruebas recibieran sus resultados, pero sí obstaculizó los esfuerzos de rastreo de contactos, lo que dificultó que el Servicio Nacional de Salud (NHS) del Reino Unido, identificara y notificara a las personas que habían estado en estrecho contacto con los pacientes infectados. En un comunicado del 4 de octubre, Michael Brodie, director ejecutivo interino de PHE, dijo que NHS Test and Trace y PHE resolvieron el problema rápidamente y transfirieron todos los casos pendientes inmediatamente al sistema de rastreo de contactos de NHS Test and Trace.

PHE puso en marcha una "mitigación rápida" que divide los archivos de gran tamaño, y ha llevado a cabo una revisión completa de extremo a extremo de todos los sistemas para evitar incidentes similares en el futuro.

El algoritmo de Sanidad no marcó a los pacientes negros

En el 2019, un estudio publicado en Science reveló que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en todo Estados Unidos para identificar a los pacientes que necesitan programas de "gestión de atención de alto riesgo", era mucho menos probable que señalara a los pacientes negros.

Los programas de gestión de los cuidados de alto riesgo proporcionan personal de enfermería capacitado y un seguimiento de atención primaria a los pacientes con enfermedades crónicas, en un esfuerzo por prevenir complicaciones graves. Pero el algoritmo era mucho más propenso a recomendar a los pacientes blancos para estos programas que a los negros.

El estudio descubrió que el algoritmo utilizaba el gasto sanitario como indicador para determinar la necesidad de atención sanitaria de un individuo. Pero, según Scientific American, los costos sanitarios de los pacientes negros más enfermos estaban a la par con los de los blancos más sanos, lo que significaba que recibían puntuaciones de riesgo más bajas incluso cuando su necesidad era mayor.

Los investigadores del estudio sugirieron que algunos factores pueden haber contribuido. En primer lugar, las personas de color tienen más probabilidades de tener ingresos más bajos, lo que, incluso cuando están asegurados, puede hacer que tengan menos probabilidades de acceder a la atención médica. Los prejuicios implícitos también pueden hacer que las personas de color reciban una atención de menor calidad.

Aunque el estudio no menciona el nombre del algoritmo o del desarrollador, los investigadores dijeron a Scientific American que estaban trabajando con el desarrollador para resolver la situación.

Un conjunto de datos entrenó a un chatbot de Microsoft para vomitar tuits racistas

En marzo del 2016, Microsoft aprendió que el uso de las interacciones de Twitter como datos de entrenamiento para los algoritmos de aprendizaje automático puede tener resultados consternantes.

Microsoft lanzó Tay, un chatbot de IA, en la plataforma de medios sociales. La compañía lo describió como un experimento de "comprensión conversacional". La idea era que el chatbot asumiera la personalidad de una adolescente e interactuara con personas a través de Twitter, utilizando una combinación de aprendizaje automático y procesamiento del lenguaje natural. Microsoft lo sembró con datos públicos anónimos y material preescrito por comediantes, y luego lo soltó para que aprendiera y evolucionara a partir de sus interacciones en la red social.

En 16 horas, el chatbot publicó más de 95 mil tuits, que rápidamente se volvieron abiertamente racistas, misóginos y antisemitas. Microsoft no tardó en suspender el servicio para realizar ajustes y, finalmente, lo desconectó.

"Lamentamos profundamente los tuits ofensivos e hirientes no intencionados de Tay, que no representan lo que somos o lo que representamos, ni cómo diseñamos Tay", escribió Peter Lee, vicepresidente corporativo de Microsoft Research & Incubations (entonces vicepresidente corporativo de Microsoft Healthcare), en un post en el blog oficial de Microsoft tras el incidente.

Lee señaló que el predecesor de Tay, Xiaoice, lanzado por Microsoft en China en el 2014, había mantenido con éxito conversaciones con más de 40 millones de personas en los dos años anteriores al lanzamiento de Tay. Lo que Microsoft no tuvo en cuenta fue que un grupo de usuarios de Twitter comenzaría inmediatamente a tuitear comentarios racistas y misóginos a Tay. El bot aprendió rápidamente de ese material y lo incorporó a sus propios tuits.

"Aunque nos habíamos preparado para muchos tipos de abusos del sistema, habíamos cometido un descuido crítico para este ataque específico. Como resultado, Tay tuiteó palabras e imágenes salvajemente inapropiadas y reprobables", escribió Lee.

La herramienta de reclutamiento de Amazon habilitada por la IA solo recomendaba hombres

Al igual que muchas grandes empresas, Amazon está ávido de herramientas que puedan ayudar a su función de recursos humanos a filtrar las solicitudes de los mejores candidatos. En el 2014, Amazon comenzó a trabajar en un software de reclutamiento impulsado por IA para hacer precisamente eso. Solo había un problema: el sistema prefería ampliamente a los candidatos masculinos. En el 2018, Reuters dio la noticia de que Amazon había desechado el proyecto.

El sistema de Amazon otorgaba a los candidatos calificaciones con estrellas de 1 a 5. Pero los modelos de aprendizaje automático en el corazón del sistema fueron entrenados en 10 años de currículos enviados a Amazon, la mayoría de ellos de hombres. Como resultado de esos datos de entrenamiento, el sistema empezó a penalizar las frases en el currículum que incluían la palabra "de mujer", e incluso rebajó la calificación de los candidatos de universidades exclusivamente femeninas.

En ese momento, Amazon dijo que la herramienta nunca fue utilizada por los reclutadores de Amazon para evaluar a los candidatos.

La empresa trató de editar la herramienta para hacerla neutral, pero finalmente decidió que no podía garantizar que no aprendiera alguna otra forma discriminatoria de clasificar a los candidatos, y puso fin al proyecto.

La analítica de Target violó la privacidad

En el 2012, un proyecto de análisis del titán de la venta al por menor Target, puso de manifiesto lo mucho que las empresas pueden aprender sobre los clientes a partir de sus datos. Según el New York Times, en el 2002 el departamento de marketing de Target empezó a preguntarse cómo podía determinar si las clientas estaban embarazadas. Esa línea de investigación condujo a un proyecto de análisis predictivo que llevó al minorista a revelar inadvertidamente a la familia de una adolescente que estaba embarazada. Eso, a su vez, daría lugar a todo tipo de artículos y blogs de marketing que citaban el incidente como parte de los consejos para evitar el "factor espeluznante".

El departamento de marketing de Target quería identificar a las personas embarazadas porque hay ciertos periodos de la vida -el embarazo, sobre todo- en los que es más probable que la gente cambie radicalmente sus hábitos de compra. Si Target pudiera llegar a los clientes en ese periodo, podría, por ejemplo, cultivar nuevos comportamientos en esos clientes, consiguiendo que acudieran a Target para comprar alimentos o ropa u otros productos.

Al igual que otros grandes minoristas, Target ha estado recopilando datos sobre sus clientes a través de códigos de compra, tarjetas de crédito, encuestas, etc. Combinó esos datos con los datos demográficos y los datos de terceros que compró. El análisis de todos estos datos permitió al equipo de análisis de Target determinar que había unos 25 productos vendidos por Target que podían analizarse juntos para generar una puntuación de "predicción de embarazo". El departamento de marketing podía entonces dirigirse a las clientas con mayor puntuación con cupones y mensajes de marketing.

Una investigación adicional revelaría que estudiar el estado reproductivo de los clientes podría resultar espeluznante para algunos de ellos. Según el Times, la empresa no abandonó su marketing selectivo, pero empezó a mezclar anuncios de cosas que sabían que las mujeres embarazadas no comprarían -incluyendo anuncios de cortadoras de césped junto a anuncios de pañales- para que la mezcla de anuncios resultara aleatoria para el cliente.

Puede ver también: