[20/09/2023] El proveedor de seguridad en la nube Skyhawk ha presentado un nuevo punto de referencia para evaluar la capacidad de los modelos de lenguaje de IA generativa (LLM) para identificar y puntuar las amenazas de ciberseguridad en los registros y telemetrías de la nube. El recurso gratuito analiza el rendimiento de ChatGPT, Google BARD, Anthropic Claude y otros LLM abiertos basados en LLAMA2 para ver con qué precisión predicen la malicia de una secuencia de ataque, según la empresa.
Los chatbots de IA generativa y los LLM pueden ser un arma de doble filo desde el punto de vista del riesgo, pero con un uso adecuado pueden ayudar a mejorar la ciberseguridad de una organización en aspectos clave. Entre ellas está su potencial para identificar y diseccionar posibles amenazas a la seguridad más rápidamente y en mayor volumen que los analistas de seguridad humanos.
Los modelos generativos de IA pueden utilizarse para mejorar significativamente el escaneo y filtrado de vulnerabilidades de seguridad, según un informe de la Cloud Security Alliance (CSA) que explora las implicaciones para la ciberseguridad de los LLM. En el documento, la CSA demostró que la API Codex de OpenAI es un eficaz escáner de vulnerabilidades para lenguajes de programación como C, C#, Java y JavaScript. "Podemos anticipar que los LLM, como los de la familia Codex, se convertirán en un componente estándar de futuros escáneres de vulnerabilidades", se lee en el documento. Por ejemplo, podría desarrollarse un escáner para detectar y marcar patrones de código inseguro en varios lenguajes, ayudando a los desarrolladores a abordar posibles vulnerabilidades antes de que se conviertan en riesgos críticos para la seguridad. El informe concluye que la IA generativa y los LLM también tienen notables capacidades de filtrado de amenazas, ya que explican y añaden un contexto valioso a los identificadores de amenazas que, de otro modo, podrían pasar desapercibidos para el personal de seguridad humano.
Las predicciones de ciberamenazas de los LLM se clasificaron de tres formas
"Nunca se insistirá lo suficiente en la importancia de detectar rápida y eficazmente las amenazas a la seguridad en la nube. Creemos firmemente que el aprovechamiento de la IA generativa puede beneficiar enormemente a los equipos de seguridad en ese sentido, sin embargo, no todos los LLM son iguales", sostuvo Amir Shachar, director de IA e investigación en Skyhawk.
El modelo de referencia de Skyhawk pone a prueba los resultados de los LLM en una secuencia de ataque extraída y creada por los modelos de aprendizaje automático de la empresa, comparándola y puntuándola con una muestra de cientos de secuencias etiquetadas por humanos de tres maneras: precisión, recuperación y puntuación F1, explicó Skyhawk en un comunicado de prensa. Cuanto más cerca de "uno" estén las puntuaciones, más precisa será la predictibilidad del LLM.
"No podemos revelar los detalles de los flujos etiquetados utilizados en el proceso de puntuación, porque tenemos que proteger a nuestros clientes y nuestra salsa secreta", anotó Shachar. "En general, sin embargo, nuestra conclusión es que los LLM pueden ser muy poderosos y efectivos en la detección de amenazas, si los usa sabiamente".
Es importante que las organizaciones entiendan que no pueden simplemente arrojar datos [a un LLM] y esperar que haga el trabajo por ellos, agregó Shachar. "Construimos meticulosamente nuestra tecnología para poder incorporar los LLM a la detección de amenazas en tiempo real utilizando los conceptos adecuados desde el principio, y ahora estamos aprovechando eso para proporcionar una visión del rendimiento de los LLM a la industria en general para fortalecer la comunidad de seguridad".
Skyhawk afirma que sus datos se actualizarán periódicamente y podrán consultarse gratuitamente a través de su sitio web.
Basado en el artículo de Michael Hill (CSO) y editado por CIO Perú