[15/05/2023] A medida que la inteligencia artificial y los modelos de aprendizaje automático se entretejen más firmemente en el tejido informático de la empresa y en la infraestructura de ciberataques, los equipos de seguridad tendrán que mejorar sus habilidades para hacer frente a toda una nueva generación de ciberriesgos basados en la IA.
[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]
A los CISO con visión de futuro ya se les pide que piensen en los nuevos riesgos emergentes, como los ataques de phishing basados en IA generativa, que serán más selectivos que nunca, o los ataques de IA adversaria que envenenan los modelos de aprendizaje para sesgar sus resultados. Y estos son sólo un par de ejemplos entre una multitud de nuevos riesgos que surgirán en lo que parece ser la era del futuro dominada por la IA.
Es hora de prepararse para los ataques impulsados por la IA
Todavía hay tiempo para prepararse para muchos de estos riesgos. Sólo una mínima cantidad de datos demostrables muestra que los atacantes están empezando a utilizar herramientas potenciadas por grandes modelos de lenguaje (LLM) como ChatGPT para potenciar sus ataques. Y la mayoría de los ejemplos de IA adversaria siguen siendo en gran medida teóricos. Sin embargo, estos riesgos sólo seguirán siendo teóricos durante cierto tiempo y es hora de empezar a crear un banco de expertos en riesgos relacionados con la IA.
Se espera que la creciente dependencia de la IA y de los modelos de aprendizaje automático en todos los ámbitos tecnológicos cambie rápidamente el panorama de las amenazas. Mientras tanto, la formación orgánica del personal de seguridad, la incorporación de expertos en IA que puedan ser formados para ayudar en las actividades de seguridad, y la evangelización del endurecimiento de los sistemas de IA requerirán un considerable esfuerzo.
Los expertos comparten lo que los responsables de seguridad necesitarán para dar forma a su base de conocimientos y prepararse para hacer frente a las dos caras del creciente riesgo de la IA: el riesgo para los sistemas de IA y los riesgos de los ataques basados en la IA.
Existe cierto grado de intersección en cada ámbito. Por ejemplo, las competencias en aprendizaje automático y ciencia de datos van a ser cada vez más relevantes en ambos lados. En ambos casos, los conocimientos de seguridad existentes en pruebas de penetración, modelado de amenazas, caza de amenazas, ingeniería de seguridad y formación en concientización sobre seguridad serán tan importantes como siempre, solo que en el contexto de las nuevas amenazas. Sin embargo, las técnicas necesarias para defenderse de la IA y para proteger a la IA de los ataques también tienen sus propios matices, que a su vez influirán en la composición de los equipos llamados a ejecutar esas estrategias.
El escenario actual de las amenazas basadas en IA
Un estudio de Darktrace encontró un aumento del 135% en los ataques novedosos de ingeniería social de enero a febrero del 2023, lo que muestra algunas pruebas de que los atacantes ya pueden estar utilizando IA generativa para aumentar el volumen y la sofisticación de sus ataques de ingeniería social.
"Aunque es muy pronto para decirlo en términos de datos -y entendiendo que correlación no significa causalidad-, tenemos algunos puntos de datos que apuntan en esa dirección", señala Max Heinemeyer, jefe de producto de Darktrace. "Y desde el punto de vista cualitativo, sería absurdo suponer que no están utilizando IA generativa porque tiene enormes ventajas de retorno de la inversión, puede ampliar sus ataques, acelerar sus ataques y ejecutar más ataques en paralelo. El genio ha salido de la botella".
Los expertos prevén un aumento del uso de IA generativa por parte de los agresores para crear nuevos correos electrónicos de phishing selectivo basados en texto a gran velocidad y escala, y que podrían extenderse a la IA generativa basada en audio para suplantar la identidad de otras personas por teléfono. Del mismo modo, podrían estar utilizando redes neuronales para examinar perfiles de redes sociales y acelerar su investigación de phishing de alto valor. Basta con decir que el riesgo real se reduce a una preocupación con la que los CISO ya deberían estar bastante familiarizados: una automatización más eficaz por parte del atacante, afirma Heinemeyer.
"Si lo llamamos IA o aprendizaje automático o lo que sea, significa que disponen de mejores herramientas para automatizar más ataques. Y eso significa que los atacantes pueden ejecutar ataques más a medida que son más difíciles de detectar y más difíciles de detener."
Conocimientos para defenderse de los ataques con IA
¿Qué significa esto desde el punto de vista de las competencias en el centro de operaciones de seguridad (SOC) y más allá? La automatización de los ataques no es algo nuevo, pero es probable que la IA acelere y agrave el problema. En cierto modo, esto no será más que un ejercicio de tomarse más en serio la incorporación y el desarrollo de más analistas y cazadores de amenazas, que sean expertos en encontrar y utilizar herramientas que les ayuden a cribar las detecciones para descubrir y mitigar rápidamente los ataques emergentes.
Es probable que esto empiece a ser otra situación clásica de ciberseguridad de espía contra espía. A medida que los delincuentes aumenten el uso de herramientas basadas en IA y ML, los equipos de seguridad necesitarán su propio conjunto de automatizaciones de IA para buscar patrones asociados a este tipo de ataques. Esto significa que, como mínimo, todo el equipo de seguridad necesita al menos un "ligero conocimiento" de IA/ML y ciencia de datos para hacer las preguntas adecuadas a los proveedores y comprender cómo funcionan sus sistemas bajo el capó, afirma Heinemeyer.
Para las organizaciones más grandes y maduras, se aconseja a los responsables de seguridad que empiecen a desarrollar una ciencia de datos y unos conocimientos de inteligencia artificial más sólidos. Según Petko Stoyanov, CTO de Forcepoint, hay muchos SOC globales que ya han empezado a invertir en la contratación de científicos de datos para realizar aprendizaje automático personalizado, muchos de los cuales empezaron mucho antes de que ChatGPT apareciera en escena. En su opinión, esta tendencia podría acelerarse a medida que los SOC traten de poner sobre el terreno a cazadores de amenazas que sean capaces de navegar por un panorama de amenazas sobrealimentado por herramientas de IA maliciosas. Pero es probable que los responsables de seguridad se encuentren con escasez de talento en ese frente. "Sinceramente, si quiere hablar de una aguja en un pajar, intente encontrar a alguien que se dedique a la cibernética y a la ciencia de datos", explica Stoyanov.
Para superarlo, será necesario contar con personal creativo y crear equipos. Basándose en su experiencia sobre el terreno, sugiere grupos de tres expertos para cazar con rapidez. El equipo debería estar formado por un cazador de amenazas con mucha experiencia en seguridad, un científico de datos con experiencia en análisis y aprendizaje automático, y un desarrollador que ayude a producir y escalar sus descubrimientos.
"Lo que suele ocurrir es que se necesita un desarrollador entre esas dos primeras personas. Tiene a los grandes cerebros que pueden hacer los cálculos, a la persona que puede ir a buscar a los malos, y luego a alguien que puede implementar su trabajo en la infraestructura de seguridad", explica Stoyanov.
Tomar a un único cazador de amenazas y darle recursos de ciencia de datos y desarrollo al mismo tiempo podría aumentar significativamente su productividad a la hora de encontrar adversarios al acecho en la red. También evita la decepción de buscar a esos unicornios que tienen los tres conjuntos de habilidades especializadas.
Además de generar ataques de ingeniería social, otro riesgo a largo plazo que podría derivarse de la IA generativa en manos de los actores de amenazas es la creación automatizada de código malicioso para explotar una gama más amplia de vulnerabilidades conocidas.
"La gente sugiere que, como es más fácil escribir código, será más fácil crear exploits", explica Andy Patel, investigador de WithSecure. El equipo de Patel elaboró hace poco un exhaustivo informe para la Agencia Finlandesa de Transportes y Comunicaciones en el que se detallan algunas de las posibilidades de los ciberataques basados en IA. Un ejemplo es una nueva herramienta habilitada para ChatGPT que facilita la enumeración de problemas de seguridad en un conjunto de repositorios de código abierto como riesgo potencial para la ciberseguridad. "Estos modelos también facilitarán que la gente empiece a hacerlo. Y eso podría abrir muchas más vulnerabilidades, o podría significar que se solucionen muchas más vulnerabilidades", reflexiona. "No sabemos qué camino va a tomar".
Por lo tanto, en lo que respecta a la gestión de vulnerabilidades, también podría convertirse en una potencial carrera armamentística de la IA, ya que los equipos de seguridad luchan por utilizar la IA para corregir las fallas más rápido de lo que los atacantes con IA pueden crear los exploits. "Las organizaciones podrían tener gente que empiece a buscar estas herramientas para tapar sus propias vulnerabilidades, especialmente si escriben su propio software", anota Patel. En el mundo de los proveedores, espera ver potencialmente "una gran cantidad de startups que utilicen LLM para descubrir vulnerabilidades".
Además de nuevas herramientas, esta dinámica también podría dar cabida a nuevas funciones de seguridad, según Bart Schouw, evangelista jefe de Software AG. "Es posible que las empresas necesiten reforzar sus equipos con nuevas funciones, como la de ingenieros de urgencia", afirma. La ingeniería de avisos es una nueva actividad en auge que consiste en elaborar avisos a partir de LLM para obtener de ellos resultados de calidad. Esto podría ser muy beneficioso en áreas como la enumeración y clasificación de vulnerabilidades en una empresa.
Habilidades para proteger la IA empresarial
Mientras comienzan a proliferar todas estas amenazas de atacantes habilitados para la IA, se cierne otro riesgo importante dentro de la empresa. A saber, la exposición potencial de los sistemas de IA vulnerables (y los datos de formación asociados a ellos) a ataques y otras fallas de confidencialidad, integridad o disponibilidad.
"Lo que está claro es que, mientras que los últimos 5-10 años se han caracterizado por la necesidad de que los profesionales de la seguridad interioricen la idea de que necesitan incorporar más IA a sus procesos, los próximos 5-10 años se caracterizarán probablemente por la necesidad de que los profesionales de la IA/ML interioricen la idea de que los problemas de seguridad deben tratarse como problemas de primera clase en sus procesos", afirma Sohrob Kazerounian, distinguido investigador de IA de Vectra.
Ya existe un movimiento entre los líderes de opinión en materia de seguridad para crear equipos rojos de IA y modelos de amenazas de IA en el desarrollo y despliegue de futuros sistemas de IA. Las organizaciones que deseen desarrollar esa capacidad tendrán que reforzar sus equipos rojos con una infusión de talento en IA y ciencia de datos.
"El equipo rojo va a tener que adquirir cierta experiencia en cómo romper los sistemas de IA y ML", explica Diana Kelley, CSO y cofundadora de Cybrize. "Los líderes tendrán que atraer a gente de la ciencia de datos que esté interesada en el lado de la seguridad y viceversa. Será cuestión de reclutar a gente de la ciencia de datos para la seguridad de la misma manera que algunos de nuestros mejores compañeros de red teaming de aplicaciones comenzaron como desarrolladores de aplicaciones".
También será un ejercicio de seguridad por diseño, en el que las personas responsables de crear y desplegar los modelos de IA y ML en la empresa deberán recibir formación de los equipos de seguridad y colaborar con ellos para comprender los riesgos y comprobarlos sobre la marcha. Esta será la clave para reforzar estos sistemas en el futuro.
"Hay que conservar a los expertos en ML/AI que diseñaron y construyeron el sistema. Tiene que unirlos a sus hackers técnicos y luego a su equipo de operaciones de seguridad", sostiene Steve Benton, vicepresidente y director general de inteligencia de amenazas en Anomali, explicando que juntos deben crear posibles escenarios de riesgo, probarlos y rediseñarlos en consecuencia. "La respuesta aquí es el equipo púrpura, no sólo el equipo rojo. Recordando que algunas de estas pruebas podrían implicar 'veneno', se necesita una configuración de modelo de referencia para hacer esto con la capacidad de restaurar y volver a probar escenario por escenario".
Basado en el artículo de Ericka Chickowski (CSO) y editado por CIO Perú
Puede ver también: