[18/03/2023] Las capacidades de inteligencia artificial (IA) y aprendizaje automático (ML) presentan una gran oportunidad para la transformación digital, pero abren otra superficie de amenaza que los CISO y los profesionales de riesgos tendrán que vigilar. En consecuencia, los CISO tendrán que dirigir a sus equipos para que realicen ejercicios de Red Team o equipo rojo contra modelos de IA y aplicaciones habilitadas para IA, al igual que hacen los equipos de seguridad con cualquier aplicación, plataforma o sistema de TI tradicional.
La IA impulsa cada vez más la toma de decisiones empresariales, las previsiones financieras, el mantenimiento predictivo y una lista interminable de otras funciones empresariales, tejiendo su camino inextricablemente en la pila tecnológica de la empresa.
Aquí es donde entra en juego el red teaming o equipo rojo de IA. Los expertos en seguridad con visión de futuro creen que el campo de la gestión de riesgos de la IA y la garantía de la IA será un dominio creciente que los CISO y los líderes de ciberseguridad deberán dominar en los próximos años. Para gestionar los riesgos de la IA será fundamental modelar las amenazas y comprobar los puntos débiles de las implantaciones de IA.
¿Cómo es un equipo rojo de IA?
Los equipos rojos de IA protegen los sistemas de IA mediante ejercicios, modelado de amenazas y ejercicios de evaluación de riesgos. "Los equipos rojos de IA protegen los sistemas de IA mediante ejercicios de modelado de amenazas, y ejercicios de evaluación de riesgos. Debería realizar al menos ataques a la integridad y confidencialidad de sus propios sistemas de aprendizaje automático para ver si son posibles", explicó Patrick Hall, científico de datos y experto en riesgos y explicabilidad de la IA.
Esto puede parecer sencillo, pero el aspecto que tendrán los ejercicios del equipo rojo de IA es mucho menos claro. Informes recientes muestran que gigantes tecnológicos como Facebook y Microsoft han creado equipos rojos de IA para explorar los riesgos en torno a su entorno de amenazas de IA. Y las consultoras de seguridad y riesgos informan que están trabajando con determinados clientes para comprender los riesgos existentes de la IA. BNH.AI, un bufete de abogados cofundado por Hall, ha colaborado últimamente con empresas relacionadas con la defensa para explorar los puntos débiles de sus capacidades de respuesta a incidentes de IA.
Pero se trata sobre todo de casos puntuales; existen muy pocas buenas prácticas estandarizadas en el sector que definan el alcance de un equipo rojo de IA ideal. Por ejemplo, el marco ATLAS de MITRE se centra en la investigación de la seguridad en torno a la IA adversaria. Por su parte, Hall dedica un capítulo a los equipos rojos de inteligencia artificial en su próximo libro. Pero todo esto no se ha cristalizado realmente en ningún tipo de marco que detalle cómo debe proceder una organización para probar de forma sistemática y sostenible los modelos de IA o las aplicaciones basadas en IA.
Como resultado, la definición sigue siendo un trabajo en curso. Para algunos, puede significar atacar regularmente los modelos de IA. Para otros, podría significar simplemente pensar y documentar todas las dimensiones de riesgo que podrían conllevar las implantaciones actuales de IA o ML.
"Creo que la gente está llamando a estas organizaciones 'equipo rojo de IA' no porque sean realmente equipos rojos, sino porque realmente hay personas que están pensando: 'Bueno, ¿qué pasa si hacemos un mal uso de este modelo de IA? ¿Cómo podemos atacar este modelo?", señala Gary McGraw, un experto en seguridad de software que vendió su firma Cigital a Synopsys en el 2016 y ha fundado el Berryville Institute of Machine Learning (BIML). El BIML está elaborando una taxonomía de ataques conocidos contra el ML, así como trabajando en formas de realizar análisis de riesgos arquitectónicos -modelos de amenazas- de los sistemas de ML.
Sostiene que "equipo rojo de IA" podría ser un nombre tonto para los ejercicios de gestión de riesgos muy serios que los CISO deberían empezar a enumerar y mitigar sus riesgos de IA. Porque los riesgos que acabarán dando lugar a los equipos rojos de IA, independientemente de cómo se definan, están ahí fuera.
Los riesgos que podrían dar lugar a equipos rojos de IA
La lista de riesgos conocidos de la IA sigue creciendo, pero los expertos en seguridad ya han identificado posibles ataques o escenarios de mal funcionamiento que podrían hacer que la IA actuara de forma impredecible o presentara resultados incorrectos. Del mismo modo, están surgiendo riesgos derivados de la IA que podrían exponer grandes cantidades de información personal identificable o de valiosa propiedad intelectual a la divulgación de filtraciones.
"Muchos de los problemas que causan el riesgo de la IA no son maliciosos en absoluto", afirma Diana Kelley, CSO de Cybrize y veterana analista y profesional de la seguridad. "Son fallas de diseño. Son los datos que no se limpiaron o depuraron adecuadamente, que el sistema se comportó de una manera que nadie esperaba. Muchos de estas fallas de diseño no intencionados están ocurriendo hoy en día".
Causados intencionadamente o no, estos riesgos de la IA amenazan los tres aspectos de la tríada clásica de seguridad de la CIA: confidencialidad, integridad y garantía.
"Hay desafíos de seguridad únicos asociados con los sistemas de IA que necesitan atención específica", anota Chris Anley, científico jefe de la consultora de seguridad NCC Group, que se ha centrado cada vez más en la investigación de los tipos de riesgos de IA que llevarán a los CISO a iniciar ejercicios de equipo rojo para estos sistemas. "Los ataques a la privacidad como la inferencia de miembros, la inversión de modelos y la extracción de datos de entrenamiento, pueden permitir a los atacantes robar datos de entrenamiento sensibles del sistema en ejecución, y los ataques de robo de modelos pueden permitir a un atacante obtener una copia de un modelo propietario sensible".
Y eso es sólo el principio, añade. Al profundizar en el contenido de los modelos de IA y la infraestructura que los soporta, es probable que los equipos de seguridad descubran una serie de otros problemas, afirma. Por ejemplo, el uso de sistemas de IA puede exponer los datos confidenciales de una organización a terceros proveedores. Además, los modelos pueden contener código ejecutable, lo que puede dar lugar a problemas de seguridad en la cadena de suministro y en la creación de aplicaciones. El entrenamiento distribuido de los sistemas de IA también puede plantear problemas de seguridad.
"Los datos de formación pueden manipularse para crear puertas traseras, y los propios sistemas resultantes pueden ser objeto de manipulación directa; las perturbaciones y clasificaciones erróneas de los adversarios pueden hacer que el sistema produzca resultados inexactos e incluso peligrosos", afirma.
Además, la cultura de la ciencia de datos que impulsa el desarrollo de la IA se basa en la colaboración y el intercambio de datos, así como en un rápido ritmo de cambio de la infraestructura y las aplicaciones, todo lo cual podría ser una receta para las brechas. En las auditorías de seguridad que NCC ha realizado para clientes empresariales, Anley afirma que las amenazas a la IA tienden a detectarse en infraestructuras novedosas relacionadas con la IA.
"Se trata de cosas como servicios de formación y despliegue, servidores de portátiles que los científicos de datos utilizan para experimentos, y una amplia variedad de sistemas de almacenamiento y consulta de datos", afirma. "Vemos portátiles inseguros todo el tiempo, y ofrecen de hecho la ejecución remota de código en un servidor muy fácilmente a un atacante. Es necesario proteger esta nueva superficie de ataque, lo que puede resultar difícil cuando un gran equipo de desarrolladores y científicos de datos necesitan acceder a esta infraestructura de forma remota para realizar su trabajo".
En última instancia, muchas de las mayores preocupaciones giran en torno a los datos, y Anley cree que los equipos de seguridad no van a descubrir sus problemas de seguridad de datos relacionados con la IA. "Los datos están en el corazón de la IA, y esos datos son a menudo sensibles; financieros, personales o protegidos de otro modo por la regulación. El aprovisionamiento seguro de grandes conjuntos de datos es un reto, y el trabajo en equipo es crucial para descubrir dónde están las verdaderas lagunas de seguridad, tanto en los sistemas como en la organización", indica Anley.
McGraw está de acuerdo en que los problemas de seguridad de los datos son cruciales, y afirma que a medida que los responsables de la seguridad se hacen a la idea de los riesgos inherentes a sus máquinas de IA, deben ser conscientes de que "los datos son la máquina". En última instancia, cree que incluso si no toman medidas tangibles hoy, los CISO deberían al menos reforzar sus conocimientos sobre este tipo de cuestiones. Dice que toda esta área de gestión de riesgos de IA se parece mucho a cómo se sentía la seguridad de las aplicaciones hace 25 años.
"Todavía no está muy claro quién debería trabajar en esto", afirma. "Cuando encuentra a la gente, proceden de entornos muy diferentes: hay gente de la ciencia de datos, informáticos y gente de seguridad. Y ninguno de ellos realmente habla el mismo idioma".
¿Cuándo los CISO deben considerar los equipos rojos de IA?
Está claro que los riesgos de la IA se están gestando. Muchos expertos dicen que esto por sí solo debería ser una señal de advertencia para que los CISO presten atención y comiencen a allanar el camino para el equipo rojo de IA, especialmente si una empresa está a la vanguardia del uso de la IA.
"Si acaba de desarrollar su capacidad de IA y todavía no es una parte importante de su negocio, está bien. Quizá no sea lo más importante", comenta Hall. "Pero si está utilizando la IA como apoyo para la toma de decisiones o -respirando hondo- para funciones de toma de decisiones automatizadas, entonces sí, necesita tenerla en cuenta".
Pero el riesgo de la IA es sólo uno de los muchos que se disputan la atención y los limitados recursos de los CISO. Lo natural será que se pregunten si el red team de IA es realista a corto plazo y, lo que es más importante, si merece la pena invertir en él a medida que avanza el nicho. Podría ocurrir que los equipos de seguridad tuvieran que ocuparse de cosas más fáciles.
"Es importante tener en cuenta que las naciones-estado y los actores de amenazas siempre buscarán la forma más fácil de entrar en un sistema utilizando las herramientas más baratas con las que se sientan cómodos. En otras palabras, la menor resistencia con el mayor impacto", afirma Matthew Eidelberg, ingeniero de gestión de amenazas de Optiv, que ha realizado ejercicios de equipo rojo para clientes que "cubren toda la superficie de ataque, y casi siempre encuentra caminos más fáciles que piratear la IA".
Se trata de una tarea ardua para la mayoría de los CISO actuales. Ejecutar correctamente ejercicios de equipo rojo contra sistemas de IA requerirá un equipo multidisciplinar de expertos en seguridad, IA y ciencia de datos, una mejor visibilidad de los modelos de IA utilizados por la empresa -incluido el software de terceros-, un modelado de amenazas de la implementación de la IA y una forma de documentar y planificar mejoras de seguridad basadas en los resultados del equipo rojo. Se necesitará una inversión significativa y los CISO tendrán que equilibrar el atractivo de este nuevo campo brillante con la realidad de si los equipos rojos de IA van a valer la pena, su ROI basado en su postura de riesgo a corto plazo de la IA ya desplegada, o las implementaciones de IA previstas.
Pero al igual que ha ocurrido con otras superficies de ataque que han surgido a lo largo de las décadas, como la computación en la nube o la distribución de aplicaciones móviles, esto debería estar en el radar de los CISO, afirma J.R. Cunningham, CSO de Nuspire. Cree que los directivos inteligentes no deberían buscar un enfoque de inversión de todo o nada, sino empezar a desarrollar gradualmente su capacidad para probar sus sistemas.
"No creo que se trate de un momento en el que las organizaciones activen la capacidad una vez que la IA/ML alcance una cierta masa crítica, sino más bien de una ampliación de la capacidad de seguridad ofensiva existente que, con el tiempo, se volverá más completa y capaz", afirma. "Dicho esto, el primer gran ataque público contra la IA/ML impulsará la atención sobre el tema, de la misma manera que las grandes brechas de tarjetas de crédito a principios de la década del 2010 impulsaron la inversión en segmentación de redes y protección de datos".
Incluso si los CISO no empiezan con las pruebas, al menos pueden empezar con algunos pasos graduales, empezando por el modelado de amenazas. Esto ayudará a entender los modos de falla, y lo que es más probable que se rompa o se rompa, anota Kelley.
"Lo principal es que la gente de su equipo conozca la IA y el ML, lo que puede ir mal, y entonces podrán empezar a hacer modelos de amenazas en torno a los sistemas que está pensando en incorporar", indica. "Tienen que entender los riesgos y fallas de seguridad de la IA y el ML, de la misma forma que entenderían los riesgos y fallas de las aplicaciones si estuvieran modelando aplicaciones de amenazas. Y lo más probable es que, a medida que vaya modelando nuevas aplicaciones o nuevas cargas de trabajo en la empresa, hable con los proveedores sobre cómo están utilizando la IA y el ML".
Basado en el artículo de Ericka Chickowski (CSO) y editado por CIO Perú
Puede ver también: