Llegamos a ustedes gracias a:



Reportajes y análisis

Software de seguridad habilitado para la IA

11 preguntas necesarias antes de comprar uno

[06/05/2019] La mayoría de los CISO probablemente creen en el potencial de la inteligencia artificial (IA) y el aprendizaje automático (ML, por sus siglas en inglés) para transformar el panorama de la seguridad de la información en los próximos tres a cinco años. Eso no significa que no estén cansados de escucharlo. Muchos probablemente considerarán la posibilidad de renunciar a un cheque, a cambio de no tener que volver a escuchar los términos IA o ML nuevamente. Prácticamente todos los proveedores de software de seguridad del planeta invocan la inteligencia artificial como si tuviera propiedades mágicas. Para empeorar las cosas, muchos proveedores no tienen los bienes.

¿Algunos proveedores de software de seguridad exageran sus promesas y brindan menos beneficios en sus implementaciones de IA/ML? "La mayoría, respondió el Dr. Anton Chuvakin, vicepresidente y analista distinguido de Gartner. "Los ejemplos abarcan desde los más flagrantes e idiotas como 'contamos con IA de grado militar' a sutiles, como cuando afirman 'usamos IA' refiriéndose al uso de métodos estadísticos fundamentales de trescientos años de antigüedad.

El mercado de herramientas de ciberseguridad ha jugado con el término IA hasta el punto de que "los CISO y los CIO miran al techo con los ojos en blanco cuando se enteran de otro producto basado en IA, afirmó Tom Bain, vicepresidente de estrategia de seguridad en Morphisec. "Conozco a un proveedor que menciona la IA 22 veces en su página de inicio.

El Dr. J.T. Kostman, líder en aplicación de tecnologías artificiales e innovadoras en Grant Thornton, comentó "la mayoría de las compañías que afirman tener capacidades de IA/ML, que he evaluado, han tenido que admitir que sus afirmaciones no fueron más que un marketing excesivo.

Esa disposición, por parte de algunos proveedores, de exagerar o fabricar una historia de IA es solo una parte del problema. En un nuevo estudio realizado para Webroot, casi el 60% de los encuestados de TI admiten que, si bien son conscientes de que parte de su software utiliza IA o ML, no están seguros de lo que eso significa. Además, solo el 36% sabe con certeza cómo sus proveedores de ciberseguridad obtienen y actualizan sus datos sobre amenazas. La encuesta se envió a fines de noviembre y principios de diciembre del 2018. El estudio se basó en 400 profesionales: directores y de mayor nivel de TI; 200 en Estados Unidos y 200 en Japón.

Muchos expertos y CSOs con experiencia en IA sugieren firmemente a los líderes de seguridad informática que se involucren en este tema porque, cuando la IA sea una necesidad absoluta, evitarán tener que ponerse al día con una tecnología complicada. Por ejemplo, muchas personas subestiman enormemente la cantidad de datos necesarios para entrenar adecuadamente un modelo de aprendizaje automático. Puede llevarle un tiempo construir esos datos. "El error que muchas personas cometen es que la inteligencia artificial se trata de la sofisticación del algoritmo. No es así. La clave es que, tanto la inteligencia artificial como el aprendizaje automático, requieren grandes cantidades de datos para el entrenamiento, afirmó Thomas Koulopoulos, presidente y fundador de Delphi Group.

Niall Browne, CISO y vicepresidente senior de criptografía y seguridad en Domo, sugiere que uno puede hacer ahora su trabajo sin necesidad de comprar algo. "Los CSO inteligentes están en la fase de aprendizaje en relación con la IA/ML, afirmó Browne. "Ellos ahora están absorbiendo todo lo que pueden respecto a la tecnología de la IA. Están hablando con los proveedores para comprender las capacidades y limitaciones de los productos. Luego estarán listos para tomar una decisión informada y basada en el riesgo cuando la IA muestre traer un mayor beneficio.

Para ayudarlo con este proceso, hemos encuestado a los expertos y compilado una lista de 11 preguntas que puede formular al hablar con los proveedores de seguridad. Deben ayudarlo a separar el trigo de la paja (es decir, lo potencialmente útil de las exageraciones) entre las ofertas de software de seguridad. Crédito al que se lo merece: John Omernik, tecnólogo distinguido de MapR, quien fue entrevistado para esta historia, fue el creador de una lista de cinco temas de IA/ML para discutir con los proveedores. Esta lista se basa en las ideas y los puntos de vista de todos los expertos con los que hablamos, pero Omernik fue el principal contribuyente.

10 preguntas necesarias respecto al software de seguridad basado en IA/ML

1. ¿Cómo sé que los datos de entrenamiento son representativos?:Usted desea saber qué datos se usaron para entrenar a los modelos del proveedor y así determinar si esos datos son representativos de sus datos, así como cuál es el comportamiento que verá en su red, sugiere Aaron Sant-Miller, director sénior de Ciencia de Datos de Booz Allen Hamilton.

2. ¿Qué tan frescos, limpios y aptos para el aprendizaje son los datos de entrenamiento?: Querrá saber con qué frecuencia se actualiza el conjunto de datos de entrenamiento, afirma Koulopoulos. "¿Cómo aprende y evoluciona su capacidad de detección con el paso del tiempo? ¿Cuántos datos se necesitaron para entrenar adecuadamente el motor de IA/ML? Lo que está tratando de obtener es el grado en que el sistema de IA aprende y cuánta información se necesita para que aprenda y vuelva a aprender, añade.

3. ¿Tiene métricas de desempeño?: Esta fue la pregunta más sugerida por las personas entrevistadas para este artículo. "El proveedor debe poder compartir los resultados de los experimentos double-blind controlados que detectaron a los hackers o pen testers [aquellos que realizan pruebas de penetración] de clase mundial que hicieron todo lo posible por infiltrarse en un sistema, afirmó Kostman.

"Determinar si un proveedor está utilizando el aprendizaje automático, en lugar de solo un algoritmo, se puede lograr con las métricas utilizadas para medir el desempeño del modelo de ML del proveedor, explicó Marzena Fuller, CSO de SignalFX. Dichas métricas también deben caracterizar la precisión del modelo.

Para modelos supervisados, Fuller recomienda preguntar sobre la "Matriz de Confusión. Agrega que un valor cercano a 1 representa una alta precisión.

"Evaluar el desempeño de los modelos sin supervisión es más desafiante, afirmó Fuller. "Un valor relativamente pequeño para distancias intraclúster, y un valor relativamente grande para distancias interclústeres, indica que el modelo es efectivo para agrupar elementos similares con características discretas.

4. ¿Tiene una demostración del mundo real?: Si el proveedor no tiene métricas sólidas, piense en alejarse. Pero si quiere darle otra oportunidad, Chuvakin le sugiere que haga esta solicitud: "Muéstreme un ejemplo en el que su solución de IA pueda tomar una mejor decisión que mi analista de SOC. Él y otros también recomendaron solicitar referencias de clientes...

5. ¿Un modelo propietario significa que no puede personalizarlo? Cuando el proveedor afirma que una implementación de IA/ML patentada "solucionará todos los problemas, Omernik sugiere que los CISO y los CSO pregunten "¿El cliente puede personalizarlo? Si es así, ¿Qué nivel de capacitación necesitarían sus ingenieros para realizar esas personalizaciones? ¿Pueden diferentes modelos trabajar con los mismos datos, o solo pueden trabajar sus datos con modelos que se incluyen con el producto de seguridad?

6. ¿Qué tan flexible es la implementación de IA/ML del proveedor?: Omernik sugiere hacer estas preguntas para determinar qué tan flexible es la implementación: ¿Puede la implementación de IA/ML de un proveedor trabajar con tipos de datos diferentes, como datos de registro, audio, video, transacción y así en adelante? Si es así, ¿pueden los conjuntos de datos trabajar juntos o deben estar separados?

7. ¿Qué sucede con las actualizaciones de la solución de IA/ML?: Deseará saber si tendrá que pagar de manera incremental o comprar una nueva versión de la aplicación de seguridad para tener las actualizaciones. También pregunte cómo distribuye el proveedor dichas mejoras a los clientes y qué tan difícil es integrarlas.

8. ¿La solución del proveedor será una "caja negra para su equipo de seguridad?: Ser una caja negra no es directamente un pro o un contra. Pero querrá saber si ésta le brinda soporte para aplicar los últimos kits de herramientas de IA/ML y cómo trabajará su equipo con éstos. "¿Ayudará la herramienta a los profesionales a aprender cómo funcionan los datos y a comprender mejor la ingeniería y la ciencia de los datos? ¿O es una solución de caja negra que obliga al cliente a confiar en el proveedor para realizar los cambios?, afirmó Omernik.

"Para muchos clientes, una caja negra es mucho mejor que un juego de herramientas ilimitado, señaló Chuvakin. Éste último "indica 'años de consulta antes de cualquier esperanza de hallar valor'. Usted la llama caja negra; yo la llamo valor desde el primer día.

9. ¿Cómo se integró la IA en su producto?: "¿Se adquirió, se creó internamente o fue parte del software que ha estado usando desde el principio?, afirmó Koulopoulos. "La precaución general aquí es desconfiar de la inteligencia artificial que simplemente se ha incorporado al producto. Usar solo TensorFlow de Google no califica.

10. ¿Cómo detecta su sistema nuevos tipos de ataques?: "¿Cómo se enfrenta con lo que se conoce como el problema de reinicio en frio?, afirma Kostman. Él añadió que los algoritmos de aprendizaje automático necesitan datos de la misma manera que un pez necesita agua. "Entonces, ¿cómo puede el sistema basado en IA del proveedor identificar amenazas completamente desconocidas?

11. ¿Quién es el propietario de los datos?: Tenga cuidado con sus datos. "Actualmente, el objetivo principal para los proveedores de IA no es vender, sino obtener acceso a la mayor cantidad posible de datos para probar y mejorar sus modelos y algoritmos, afirma Browne. "Es importante comprender qué nivel de acceso habrá para sus datos y sistemas, y quién es el propietario de los metadatos de IA resultantes.

Koulopoulos está de acuerdo y añade un punto similar: "Uno de los mayores focos de controversia se relaciona a la propiedad de los datos de entrenamiento, los cuales se acumulan con el tiempo.

Consejos para los CISO

Medir la efectividad de sus soluciones basadas en IA es una de las cosas más importantes que puede hacer. Pero para hacerlo bien, necesita tener experiencia en esa área. "Toda empresa debe tener un científico de datos en el personal, señala Fuller. "Un CSO, que planea incorporar soluciones de ML extensivamente, debe considerar contratar tanto a un científico de datos como a un ingeniero de datos.

Aprovechando que estamos hablando del personal, si su personal técnico tiene el conocimiento y la capacitación para ayudarlo a evaluar productos de seguridad basados en IA, confíe en ellos, aconseja Omernik. "En algunas compañías, los ejecutivos necesitan encontrar una forma de confiar en su personal técnico, el cual hablará con cualquier proveedor que pueda estar intentando vender un producto. No se puede confiar en todos, añade. Pero tiene que encontrar o contratar a una persona que tenga la experiencia necesaria para superar las exageraciones del proveedor y saber qué es qué. Es probable que la escasez de talento en IA/ML genere una demanda muy competitiva de empleados. Adelántese en salir de esto. Omernik sugiere preguntarse: "¿Qué estoy haciendo para atraer talento? ¿Cómo apoyo a mi personal técnico?

Puede que no lo sepa, pero está en peligro de quedarse atrás, y de manera precaria. "En cuanto a saber cómo aplicar la IA y el ML para defender y combatir el cibercrimen, si su conocimiento y experiencia no llegan al 90% o más, estará arriesgando su organización y su carrera en los próximos tres a cinco años, finaliza Koulopoulos.