[13/10/2023] En febrero, la empresa de gestión de viajes y gastos Navan (antes TripActions) decidió apostar por la tecnología de IA generativa para una miríada de usos empresariales y de asistencia al cliente.
La empresa de Palo Alto, California, recurrió a ChatGPT de OpenAI y a las herramientas de ayuda a la codificación de GitHub Copilot para escribir, probar y corregir código; la decisión ha impulsado la eficiencia operativa de Navan y ha reducido los gastos generales.
[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]
Las herramientas de GenAI también se han utilizado para construir una experiencia conversacional para el asistente virtual del cliente de la empresa, Ava. Ava, un asistente virtual de viajes y gastos, ofrece a los clientes respuestas a sus preguntas y una experiencia de reserva conversacional. También puede ofrecer datos a los viajeros de negocios, como el gasto en viajes de la empresa, el volumen y detalles detallados sobre las emisiones de carbono.
Gracias a Gen AI, muchos de los 2.500 empleados de Navan han podido eliminar tareas redundantes y crear código mucho más rápido que si lo hubieran generado desde cero. Sin embargo, las herramientas de IA generativa no están exentas de riesgos normativos y de seguridad. Por ejemplo, el 11% de los datos que los empleados pegan en ChatGPT son confidenciales, según un informe del proveedor de ciberseguridad CyberHaven.
El CSO de Navan, Prabhath Karanth, ha tenido que lidiar con los riesgos de seguridad que plantea GenAI, incluidas las fugas de seguridad de datos, el malware y las posibles infracciones normativas.
Navan tiene una licencia para ChatGPT, pero la empresa ha permitido que los empleados utilicen sus propias instancias públicas de la tecnología, lo que podría filtrar datos fuera de los muros de la empresa. Eso llevó a la empresa a frenar las filtraciones y otras amenazas mediante el uso de herramientas de supervisión junto con un conjunto claro de directrices corporativas.
Una herramienta SaaS, por ejemplo, avisa a un empleado cuando está a punto de violar la política de la empresa, lo que ha llevado a una mayor concienciación sobre la seguridad entre los trabajadores, según Karanth.
Computerworld habló con Karanth sobre cómo protegía a su organización de usos indebidos y amenazas intencionadas o no relacionadas con GenAI. Los siguientes son extractos de esa entrevista.
¿Para qué fines utiliza su empresa ChatGPT?
La IA existe desde hace mucho tiempo, pero la adopción de la IA en las empresas para resolver problemas específicos... este año ha pasado a un nivel completamente diferente. Navan fue una de las primeras en adoptarla. Fuimos una de las primeras empresas del sector de viajes y gastos que se dio cuenta de que esta tecnología iba a ser disruptiva. La adoptamos muy pronto en los flujos de trabajo de nuestros productos... y también en nuestras operaciones internas.
Flujos de trabajo de productos y operaciones internas. ¿Se trata de chatbots para ayudar a los empleados a responder preguntas y ayudar a los clientes a hacer lo mismo?
"Hay algunas aplicaciones en [el] lado del producto. Tenemos un asistente de flujo de trabajo llamado Ava, que es un chatbot impulsado por esta tecnología. Nuestro producto tiene un montón de funciones. Por ejemplo, hay un panel en el que un administrador puede consultar información sobre viajes y gastos relacionados con su empresa. E internamente, para potenciar nuestras operaciones, hemos estudiado cómo podemos agilizar el desarrollo de software desde la perspectiva de la organización de desarrollo. Incluso desde el punto de vista de la seguridad, estoy estudiando detenidamente todas las herramientas en las que quiero aprovechar esta tecnología.
Esto se aplica a toda la empresa.
He leído de algunos desarrolladores que utilizaron la tecnología GenAI y piensan que es terrible. Dicen que el código que genera a veces no tiene sentido. ¿Qué le dicen sus desarrolladores sobre el uso de la IA para escribir código?
Esa no ha sido la experiencia aquí. Hemos tenido una adopción muy buena en la comunidad de desarrolladores, especialmente en dos áreas. Uno es la eficiencia operativa; los desarrolladores ya no tienen que escribir código desde cero, al menos para las bibliotecas estándar y el material de desarrollo. Estamos viendo muy buenos resultados. Nuestros desarrolladores son capaces de llegar a un cierto porcentaje de lo que necesitan y luego construir sobre eso.
En algunos casos, utilizamos bibliotecas de código abierto -todos los desarrolladores lo hacen- y, por lo tanto, para conseguir esa biblioteca de código abierto hasta el punto en que tenemos que construir sobre ella, es otra vía en la que esta tecnología ayuda.
Creo que hay ciertas maneras de adoptarla. No se puede adoptar a ciegas. No se puede adoptar en todos los contextos. El contexto es clave.
[Navan cuenta con un grupo que denomina "una startup dentro de otra startup", en el que las nuevas tecnologías se integran cuidadosamente en las operaciones existentes bajo una estrecha supervisión].
¿Utilizan otras herramientas además de chatGPT?
"En realidad no en el contexto empresarial. En el lado de los desarrolladores, también utilizamos Github Copilot hasta cierto punto. Pero en el contexto no desarrollador, es sobre todo OpenAI".
¿Cómo calificaría la IA en términos de amenaza potencial para la seguridad de su organización?
No la caracterizaría de menor a mayor, pero sí como un nuevo vector neto de amenazas que necesita una estrategia global para mitigar. Se trata de gestionar los riesgos.
La mitigación no es sólo desde el punto de vista tecnológico. La tecnología y las herramientas son un aspecto, pero también debe haber gobernanza y políticas en términos de cómo utilizar esta tecnología internamente y producirla. Hay que evaluar los riesgos para las personas, los procesos y la tecnología, y luego mitigarlos. Una vez implantada esa política de mitigación, se habrá reducido el riesgo.
Si no hace todo eso, entonces sí, la IA es el vector de mayor riesgo.
¿Qué tipo de problemas ha tenido con los empleados que utilizan ChatGPT? ¿Les ha sorprendido copiando y pegando información confidencial de la empresa en ventanas rápidas?
En Navan siempre intentamos ir por delante; es la naturaleza de nuestro negocio. Cuando la empresa decidió adoptar esta tecnología, como equipo de seguridad tuvimos que hacer una evaluación holística de los riesgos: Así que me senté con mi equipo directivo para hacerlo. Mi equipo directivo está estructurado de la siguiente manera: hay un responsable de la seguridad de la plataforma de productos, que está en la parte de ingeniería; luego tenemos SecOps, que es una combinación de seguridad empresarial, DLP -detección y respuesta-; luego hay una función de gobernanza, riesgo y cumplimiento y confianza, que es responsable de la gestión de riesgos, el cumplimiento y todo eso.
Así que nos sentamos e hicimos una evaluación de riesgos para cada vía de aplicación de esta tecnología. Pusimos en marcha algunos controles, como la prevención de pérdida de datos para asegurarnos de que, incluso involuntariamente, no se explote esta tecnología para extraer datos, tanto IP como de clientes [información de identificación personal].
Así que yo diría que nos hemos adelantado.
¿Todavía ha detectado a empleados intentando pegar intencionadamente datos sensibles en ChatGPT?
La forma en que hacemos DLP aquí se basa en el contexto. No bloqueamos todo. Siempre detectamos cosas y las analizamos como si fuera un incidente. Puede tratarse de un riesgo interno o externo, e implicamos a nuestros homólogos jurídicos y de RRHH. Esto forma parte de la gestión de un equipo de seguridad. Estamos aquí para identificar amenazas y crear protecciones contra ellas.
¿Le ha sorprendido el número de empleados que pegan datos corporativos en los mensajes de chatGPT?
La verdad es que no. Lo esperábamos con esta tecnología. Toda la empresa está haciendo un gran esfuerzo por dar a conocer esta tecnología a los desarrolladores y a otras personas. Así que no nos sorprendió. Lo esperábamos.
¿Le preocupa que GenAI pueda infringir los derechos de autor al utilizarla para la creación de contenidos?
Es un área de riesgo que hay que abordar. Se necesita cierta experiencia legal en esa área de riesgo. Nuestros asesores internos y nuestro equipo jurídico han estudiado a fondo esta cuestión, y cuentan con asesoramiento y con todos nuestros programas jurídicos. Hemos intentado gestionar el riesgo.
[Navan se ha centrado en la comunicación entre los equipos de privacidad, seguridad y jurídico y sus equipos de productos y contenidos sobre las nuevas directrices y restricciones a medida que surgen y ha habido formación adicional para los empleados en torno a estas cuestiones].
¿Son conscientes del problema que supone que ChatGPT cree malware, intencionadamente o no? ¿Han tenido que abordar esta cuestión?
Soy un profesional de la seguridad, así que vigilo muy de cerca todo lo que ocurre en el lado ofensivo de la casa. Hay todo tipo de aplicaciones. Hay malware, hay ingeniería social que se está produciendo a través de la IA generativa. Creo que la defensa tiene que ponerse al día constantemente. Definitivamente, soy consciente de ello.
¿Cómo se controla el malware si un empleado está utilizando chatGPT para crear código; cómo se evita que algo así se cuele? ¿Dispone de herramientas de software, o necesita un segundo par de ojos en todo el código recién creado?
Hay dos vías. Una es asegurarnos de que el código que enviamos a producción es seguro. Y la otra es el riesgo interno: asegurarnos de que el código generado no salga del entorno corporativo de Navan. Para la primera parte, tenemos una integración continua, despliegue continuo -CICD- automatizado co-despliegue de pipelines, que es completamente seguro. Todo el código que se envía a producción se somete a código estático en el punto de integración, antes de que los desarrolladores lo integren en una rama. También analizamos la composición del software para cualquier código de terceros que se inyecte en el entorno. Además, CI/CD endurece todo el proceso, desde la fusión hasta la implantación, pasando por la bifurcación.
Además de todo esto, también tenemos pruebas de API en tiempo de ejecución y pruebas de API en tiempo de compilación. También tenemos un equipo de seguridad del producto que [hace] modelado de amenazas y revisión del diseño para todas las características críticas que se envían a producción.
La segunda parte, la del riesgo interno, se remonta a nuestra estrategia DLP, que consiste en detectar y responder a los datos. No bloqueamos todo, sino que lo hacemos en función del contexto, basándonos en muchas áreas contextuales. Hemos tenido detecciones relativamente precisas y hemos podido proteger el entorno informático de Navan.
¿Puede hablarnos de alguna herramienta concreta que haya utilizado para reforzar su perfil de seguridad frente a las amenazas de IA?
CyberHaven, sin duda. He utilizado tecnologías DLP tradicionales en el pasado y a veces la relación ruido-señal puede ser mucha. Lo que Cyberhaven nos permite hacer es poner mucho contexto en torno a la supervisión del movimiento de datos en toda la empresa, cualquier cosa que salga de un endpoint. Eso incluye el punto final a SaaS, el punto final al almacenamiento, mucho contexto. Esto ha mejorado significativamente nuestra protección y también nuestra supervisión del movimiento de datos y el riesgo interno.
[Es] también enormemente importante en el contexto de OpenAI, esta tecnología nos ha ayudado enormemente.
Hablando de CyberHaven, un informe reciente realizado por ellos mostró que aproximadamente uno de cada 20 empleados pega datos confidenciales de la empresa sólo en chatGPT, por no hablar de otras herramientas de IA internas. Cuando ha encontrado a empleados haciéndolo, ¿qué tipo de datos copiaban y pegaban normalmente que se considerarían confidenciales?
Para ser honesto, en el contexto de OpenAI, no he identificado nada significativo. Cuando digo significativo, me refiero a información sobre clientes o productos. Por supuesto, ha habido otros casos de riesgo de información privilegiada en los que hemos tenido que hacer un triaje e involucrar al departamento legal y llevar a cabo todas las investigaciones. Específicamente con OpenAI, lo he visto aquí y allá donde lo bloqueamos basándonos en el contexto, pero no recuerdo ninguna fuga masiva de datos allí.
¿Cree que las herramientas GenAI de propósito general acabarán siendo superadas por herramientas internas más pequeñas, específicas de un dominio, que pueden utilizarse mejor para usos específicos y asegurarse más fácilmente?
Hay mucho de eso ahora mismo: modelos más pequeños. Pero no creo que OpenAI se vea superada. Si nos fijamos en cómo OpenAI está posicionando su tecnología, quieren que sea una plataforma sobre la que se puedan construir estos modelos más pequeños o más grandes.
Creo que se crearán muchos de estos modelos más pequeños debido a los recursos informáticos que consumen los modelos más grandes. La computación se convertirá en un reto, pero no creo que OpenAI se vea superada. Es una plataforma que le ofrece flexibilidad sobre cómo quiere desarrollar y qué tamaño de plataforma quiere utilizar. Así es como veo que esto continuará.
¿Por qué las organizaciones deberían confiar en que OpenAI u otros proveedores SaaS de IA no utilizarán los datos para fines desconocidos para usted, como entrenar sus propios modelos de lenguaje de gran tamaño?
Tenemos un acuerdo de empresa con ellos, y hemos optado por no participar. Nos adelantamos a eso desde una perspectiva legal. Eso es muy habitual con cualquier proveedor de la nube".
¿Qué pasos aconsejaría a otros CSO para asegurar sus organizaciones contra los riesgos potenciales planteados por la tecnología de IA generativa?
Empezar con el enfoque de personas, procesos y tecnología. Realice una evaluación del análisis de riesgos desde la perspectiva de las personas, los procesos y la tecnología. Empezar con una evaluación de riesgos global y holística. Y lo que quiero decir con esto es que hay que tener en cuenta la adopción global: ¿Va a utilizarlo en los flujos de trabajo de sus productos? Si es así, el director de tecnología y la organización de ingeniería deben ser las principales partes interesadas en esta evaluación de riesgos.
Por supuesto, hay que contar con la participación del departamento legal. Sus homólogos de seguridad y privacidad deben participar.
También hay varios marcos que ya se ofrecen para hacer estas evaluaciones de riesgos. El NIST publicó un marco para realizar una evaluación de riesgos en torno a la adopción de esta tecnología, que aborda prácticamente todos los riesgos que hay que tener en cuenta. A continuación, puede averiguar cuál es aplicable a su entorno.
A continuación, tiene un proceso para supervisar estos controles de forma continua, por lo que estás cubriendo esto de extremo a extremo.
Basado en el artículo de Lucas Mearian (Computerworld) y editado por CIO Perú