[06/09/2023] Estamos en el "momento iPhone" de la IA generativa, y todas las empresas se apresuran a definir su estrategia para hacer frente a esta tecnología disruptiva.
Según una encuesta de KPMG realizada el mes de junio, el 97% de los ejecutivos estadounidenses de grandes empresas esperan que sus organizaciones se vean muy afectadas por la IA generativa en los próximos 12 a 18 meses, y el 93% cree que aportará valor a su negocio. Alrededor del 35% de las empresas ya han comenzado a desplegar herramientas y soluciones de IA, mientras que el 83% afirma que aumentará sus inversiones en IA generativa en al menos un 50% en los próximos seis a doce meses.
[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]
Las empresas llevan años utilizando el aprendizaje automático y la IA, según Kalyan Veeramachaneni, investigador científico principal del Laboratorio de Sistemas de Información y Decisión del MIT, que trabaja en el desarrollo de modelos generativos personalizados para utilizarlos con datos tabulares. La diferencia es que ahora las herramientas de IA generativa están al alcance de personas que no son científicos de datos.
"Esto abre nuevas puertas", afirma. "Esto mejorará la productividad de mucha gente".
Según un estudio reciente de la firma analista Valoir, el 40% de la jornada laboral media puede automatizarse con IA, con el mayor potencial de automatización en TI, seguido de finanzas, operaciones, servicio al cliente y ventas.
Las empresas pueden tardar años en crear sus propios modelos de IA generativa e integrarlos en sus flujos de trabajo, pero un área en la que la IA generativa puede tener un impacto empresarial inmediato y espectacular es cuando se integra en aplicaciones de productividad populares. Según David McCurdy, arquitecto jefe de empresa y director de tecnología de Insight, un integrador de soluciones con sede en Tempe, el 99% de las empresas que adopten la IA generativa empezarán utilizando herramientas de genAI integradas en aplicaciones empresariales básicas creadas por terceros.
Microsoft 365, Google Workspace, Adobe Photoshop, Slack y Grammarly son algunas de las muchas herramientas de software de productividad populares que ahora ofrecen un componente de IA generativa. Los empleados ya conocen y utilizan estas herramientas todos los días, por lo que cuando los proveedores añaden funciones de IA generativa, la nueva tecnología se hace inmediatamente más accesible.
De hecho, según un estudio reciente llevado a cabo por Forrester en nombre de Grammarly, el 70% de los empleados ya utilizan la IA generativa para una parte o la totalidad de sus escritos, pero el 80% de ellos lo hacen en empresas que aún no la han implantado oficialmente.
Integrar IA como ChatGPT de OpenAI en aplicaciones de productividad es una forma rápida de que los proveedores añadan IA generativa a sus plataformas. Grammarly, por ejemplo, añadió capacidades genAI a su plataforma de asistencia a la escritura en marzo, utilizando ChatGPT en un entorno de nube privada Azure. Pero pronto los proveedores también podrán crear sus propios modelos personalizados.
Según Bradley Shimmin, analista de Omdia, no hacen falta millones de dólares ni miles de millones de registros de datos de entrenamiento para entrenar un gran modelo lingüístico (LLM, por sus siglas en inglés), la base de un chatbot genAI, si una empresa empieza con un modelo básico preentrenado y luego lo perfecciona. "La cantidad de datos necesarios para ese tipo de entrenamiento es mucho menor".
Ya existen LLM con licencia comercial, el más reciente de los cuales es Llama 2 de Meta. Esto significa que la cantidad de IA integrada en herramientas de productividad populares está a punto de explotar. "El genio ha salido de la botella", sostiene Juan Orlandini, director técnico de Insight para Norteamérica.
La IA generativa también puede ser útil para los proveedores cuyos productos no se centran en crear nuevos textos o imágenes. Por ejemplo, puede utilizarse como interfaz de lenguaje natural para sistemas back-end complejos. Según Doug Ross, vicepresidente y responsable de información y datos de Sogeti, parte de Capgemini, ya hay cientos -si no miles- de empresas que incorporan interfaces conversacionales a sus productos.
"Eso indica que hay valor", anota. Es una forma diferente de interactuar con varias bases de datos o back-ends que pueden ayudar a explorar los datos de maneras que antes eran más difíciles".
Si bien la IA generativa puede ser una tecnología innovadora que conlleva un nuevo conjunto de riesgos, el libro de jugadas tradicional de SaaS puede funcionar cuando se trata de tenerla bajo control: educar a los empleados sobre los riesgos y beneficios, establecer barandas de seguridad para evitar que los empleados accedan a aplicaciones o sitios maliciosos o compartan accidentalmente datos confidenciales, y ofrecer tecnologías aprobadas por la empresa que sigan las mejores prácticas de seguridad.
Pero antes, hablemos de lo que puede salir mal.
Riesgos y retos de la IA generativa
ChatGPT, Bard, Claude y otras herramientas genAI -así como todas las aplicaciones de productividad que ahora añaden IA generativa como función- comparten algunos problemas que podrían suponer riesgos para las empresas.
El primero y más obvio es el problema de la precisión. La IA generativa está diseñada para generar contenido -texto, imágenes, video, audio, código informático, etc.- basado en patrones de los datos con los que se ha entrenado. Su capacidad para responder a preguntas jurídicas, médicas y técnicas es una ventaja.
Y, de hecho, a menudo las IA son precisas. Las últimas versiones de algunos chatbots genAI populares han aprobado exámenes de abogacía y pruebas de licencias médicas. Pero esto puede dar a algunos usuarios una falsa sensación de seguridad, como cuando un par de abogados se metieron en un lío al confiar en ChatGPT para encontrar jurisprudencia relevante, sólo para descubrir que se había inventado los casos que citaba.
Esto se debe a que las IA generativas no son motores de búsqueda ni calculadoras. No siempre dan la respuesta correcta y no siempre dan la misma respuesta.
Para generar código, por ejemplo, los grandes modelos lingüísticos pueden tener tasas de error altísimas, explica Andy Thurai, analista de Constellation Research. "Los LLM pueden tener tasas de hasta el 50% de código inútil, erróneo, vulnerable, inseguro y que puede ser explotado por hackers", sostiene. "Después de todo, estos modelos se entrenan basándose en el repositorio de GitHub, que es notoriamente propenso a errores".
Como resultado, aunque los asistentes de codificación pueden mejorar la productividad, a veces también pueden crear aún más trabajo, ya que alguien tiene que comprobar que todo el código pasa los estándares corporativos.
El panorama se complica aún más cuando se pasa de las grandes herramientas de IA generativa como ChatGPT, a los proveedores que añaden modelos de IA propios a sus herramientas de productividad.
"Si se introducen datos erróneos en los modelos, los clientes no estarán muy contentos", señala Vrinda Khurjeka, directora senior de negocios para América de la consultora tecnológica Searce. "Si realmente sólo va a utilizarlo por el mero hecho de tener una función, y no piensa en si realmente ayudará a sus clientes, estará en una situación en la que perderá".
Además, existe el riesgo de sesgo. "Sólo se obtienen resultados basados en los datos de entrada". Por ejemplo, si una herramienta que le ayuda a generar mensajes de correo electrónico para los clientes se entrena en sus comunicaciones internas, y la cultura de la empresa incluye muchas palabrotas, entonces los mensajes de correo electrónico dirigidos al exterior creados por la herramienta pueden tener el mismo lenguaje, comenta.
Este tipo de sesgo también puede tener implicancias más importantes si da lugar a discriminación en el empleo o a prácticas de préstamo sesgadas. "Es un problema muy real", afirma. "Lo que recomendamos a todos nuestros clientes es que no se trata sólo de implantar el modelo una vez y ya está. Hay que hacer auditorías y controles".
Según la encuesta de KPMG, la precisión y la fiabilidad se encuentran entre las diez principales preocupaciones que tienen las empresas sobre la IA generativa.
Pero eso es sólo el principio de los problemas que puede crear la IA generativa.
Por ejemplo, algunas IA reciben formación continua basada en las interacciones con los usuarios. La versión pública de ChatGPT, por ejemplo, utiliza las conversaciones con sus usuarios para su entrenamiento continuo, a menos que los usuarios opten específicamente por no hacerlo. Así, por ejemplo, si un empleado carga los planes secretos de su empresa y pide a la IA que escriba un texto para una presentación sobre esos planes, la IA conocerá esos planes. Entonces, si otra persona, posiblemente en una empresa de la competencia, pregunta sobre esos planes, la IA podría responderle y proporcionarle todos los detalles.
Otra información que podría filtrarse de este modo es información personal identificable, datos financieros y legales y código propietario.
Según la encuesta de KPMG, el 63% de los ejecutivos afirman que los datos y la privacidad son una prioridad absoluta, seguidos de la ciberseguridad, con un 62%.
"Es un riesgo muy real", afirma Chase Cunningham, analista de Forrester. "Cada vez que aprovechas este tipo de sistemas, dependen de los datos para mejorar sus modelos, y es posible que no tengas necesariamente el control o el conocimiento de lo que se está utilizando".
(Nótese que OpenAI acaba de anunciar una versión empresarial de ChatGPT que, según afirma, no utiliza los datos de los clientes para entrenar sus modelos).
Otra responsabilidad potencial creada por la IA generativa es el riesgo legal asociado a los datos de entrenamiento obtenidos de forma inadecuada. En la actualidad, hay varias demandas en los tribunales relacionadas con el hecho de que algunas empresas de IA han utilizado, supuestamente, sitios piratas para leer libros protegidos por derechos de autor y han extraído imágenes de Internet sin el permiso de los artistas.
Esto significa que una empresa que utilice mucho estas IA también podría heredar parte de esta responsabilidad. "Creo que se expone al riesgo de estar vinculado a algún tipo de litigio", afirma Cunningham.
De hecho, el 20% de los encuestados por KPMG citó la exposición legal como el principal obstáculo para implantar la IA generativa.
Además, en teoría, la IA generativa crea obras nuevas y originales, inspiradas en el contenido con el que se ha entrenado, pero a veces los resultados pueden acabar siendo casi idénticos a los datos de entrenamiento. Por lo tanto, una empresa puede acabar utilizando accidentalmente contenidos que se acercan demasiado a la infracción de los derechos de autor.
He aquí cómo abordar estos riesgos potenciales.
Formación de los empleados
No es demasiado pronto para empezar a impartir formación sobre IA generativa a los empleados. Los empleados deben comprender tanto las capacidades como las limitaciones de la IA generativa. Y necesitan saber qué herramientas son seguras de utilizar.
"Hay que educar a las empresas", afirma Wayne Kurtzman, analista de IDC. "Corresponde a las empresas establecer directrices específicas, y necesitan una política de IA para guiar a los usuarios en esto".
Por ejemplo, el resultado de genAI debe tratarse siempre como un borrador inicial que los empleados revisan detenidamente y modifican según sea necesario, no como un producto final listo para enviar al mundo.
Las empresas deben ayudar a sus empleados a desarrollar habilidades de pensamiento crítico en torno a la IA, afirma Kurtzman, y establecer un bucle de retroalimentación que incluya a una serie de usuarios que puedan señalar algunos de los problemas que surjan.
"Lo que las empresas quieren ver es una mejora de la productividad", anota. "Pero también esperan que las mejoras de productividad sean mayores que el tiempo necesario para solucionar los problemas que hayan podido surgir en la adopción. Esto no irá tan bien como a todo el mundo le gustaría, y todos lo sabemos".
Según Shimmin, de Omdia, las empresas ya han emprendido este camino y han fomentado la alfabetización de sus empleados en materia de datos como parte de su esfuerzo por convertirse en empresas basadas en datos. "Esto no es realmente diferente", sostiene, "excepto que lo que está en juego es más alto".
En Insight, por ejemplo, los líderes corporativos y de TI han creado una política de IA generativa para los 14 mil empleados globales de la empresa. El punto de partida es una herramienta de IA generativa segura y aprobada por la empresa que todos pueden utilizar: una instancia de ChatGPT que se ejecuta en una nube privada de Azure.
Esto permite a los empleados saber: "Aquí hay un lugar seguro", anota Orlandini. "Adelante y úsalo, porque hemos verificado que este es un entorno seguro para hacerlo".
Para cualquier otra herramienta que los empleados de Insight utilicen y que haya añadido recientemente capacidades de IA generativa, la empresa les advierte que tengan cuidado de no compartir ninguna información de propiedad. "A menos que le hayamos dado permiso, trate a cada uno de ellos como lo haría con Twitter, o Reddit, o Facebook", indica Orlandini. "Porque no sabe quién va a verlo".
Herramientas de seguridad
El uso no autorizado de IA generativa es solo una parte del problema más amplio del SaaS no autorizado, con muchos de los mismos retos. A las empresas les resulta difícil hacer un seguimiento de las aplicaciones que utilizan los empleados y de las implicaciones de seguridad de todas ellas.
Según el informe 2023 BetterCloud State of SaaSOps, el 65% de todas las aplicaciones SaaS utilizadas en la empresa no están autorizadas. Pero existen productos de ciberseguridad que rastrean -o bloquean- el acceso de los empleados a determinadas aplicaciones o sitios web SaaS, y que impiden que los datos sensibles se suban a sitios y apps externos.
Las herramientas CASB (cloud access security broker) pueden ayudar a las empresas a protegerse del uso no autorizado de SaaS. En el 2020, los principales proveedores en este ámbito eran Netskope, Microsoft, Bitglass y McAfee, ahora SkyHigh Security. Hay proveedores de CASB independientes, pero las funciones de CASB también se incluyen en las plataformas de borde de servicio de seguridad (SSE) y de borde de servicio de acceso seguro (SASE).
Es un buen momento para que las empresas hablen con sus proveedores de CASB, y les pregunten cómo rastrean y bloquean tanto las herramientas de IA generativa independientes como las integradas en aplicaciones SaaS.
"Nuestro consejo a los responsables de seguridad es que se aseguren de aplicar estas herramientas de rastreo web para comprender a dónde se dirige la gente y, potencialmente, bloquearlas", afirma Wong de Gartner. "Tampoco hay que bloquearlo demasiado e inhibir la productividad", añade.
Las herramientas prevención de pérdida de datos (DLP, por sus siglas en inglés) pueden ayudar a las empresas a evitar que los datos confidenciales salgan de la empresa. Existen herramientas independientes, pero las funciones DLP también se incluyen en las soluciones de seguridad del correo electrónico, así como en las plataformas de servicios de seguridad periféricos (SSE, por sus siglas en inglés), servicios de acceso seguro periféricos (SASE, por sus siglas en inglés) y protección de puntos finales.
Estos proveedores están empezando a abordar la genAI de forma específica. Por ejemplo, Forcepoint DLP promete ayudar a las empresas a controlar quién tiene acceso a la IA generativa, impedir la carga de archivos sensibles y evitar el pegado de información sensible.
Según un informe de Netskope publicado en julio, muchos sectores ya están empezando a utilizar este tipo de herramientas para ayudar a proteger la IA generativa. En los servicios financieros, por ejemplo, el 18% de las empresas bloquea ChatGPT, mientras que el 19% utiliza herramientas de prevención de pérdida de datos. En sanidad, las cifras son del 18% y el 21%, respectivamente.
Es demasiado pronto para saber hasta qué punto estas herramientas funcionarán con la IA generativa incorporada, ya que la forma en que se incorpora la IA aún está evolucionando. Además, el grado en que estas IA pueden acceder a datos confidenciales puede variar de un proveedor a otro, y de un día a otro.
IA generativa "segura para la empresa”
Abordar el uso no autorizado de la IA generativa requiere un enfoque de persuasión e imposición. No basta con explicar a los empleados por qué cierta IA generativa es arriesgada y bloquear las herramientas de IA generativa. Los empleados también necesitan disponer de herramientas de IA generativa seguras y aprobadas que puedan utilizar. De lo contrario, si la necesidad es lo suficientemente grande, encontrarán la forma de sortear los bloqueos encontrando aplicaciones que aún no han llegado al radar de TI, o utilizando dispositivos personales para acceder a las aplicaciones.
Por ejemplo, la mayoría de las herramientas de generación de imágenes basadas en IA se entrenan con datos dudosos y no ofrecen garantías de seguridad a los usuarios. Pero Adobe anunció en junio que sólo utiliza datos con licencia completa para entrenar sus herramientas de IA generativa Firefly, y que no se utiliza ningún contenido subido por los usuarios para entrenar sus IA. La empresa afirma que también tiene previsto ofrecer a sus usuarios empresariales una indemnización legal contra demandas de propiedad intelectual relacionadas con los resultados de Firefly.
En julio, Shutterstock hizo lo propio y ofreció una indemnización similar a sus clientes empresariales. Shutterstock ya utilizaba imágenes con todas las licencias para entrenar su IA, y la primavera pasada anunció una tasa de compensación para los artistas cuyas imágenes se utilizan para los datos de entrenamiento. La empresa afirma que ya ha compensado a "cientos de miles de artistas" y tiene previsto pagar a millones más.
Del mismo modo, con la generación de texto, algunas plataformas orientadas a empresas están trabajando duro para crear sistemas que puedan ayudar a las empresas a sentirse seguras de que sus datos no se filtrarán a otros usuarios. Por ejemplo, Azure OpenAI Service de Microsoft promete que los datos de los clientes no se utilizarán para entrenar sus modelos fundacionales, y los datos están protegidos por controles de cumplimiento y seguridad de nivel empresarial.
Algunas empresas de IA textual han empezado a firmar acuerdos con proveedores de contenidos para obtener datos de entrenamiento con licencia completa. En julio, por ejemplo, OpenAI firmó un acuerdo con Associated Press para acceder a parte de su archivo de textos.
Pero estos esfuerzos aún están en pañales.
Según McCurdy, CTO de Insight, es probable que las herramientas de productividad de nivel empresarial que añaden funciones de IA generativa, como Microsoft 365 Copilot, cuenten con una buena protección de datos. "Si lo están haciendo correctamente, utilizarán los mismos controles que tienen hoy para proteger su información", anota.
En el momento de escribir estas líneas, Microsoft 365 Copilot se encuentra en fase de acceso temprano. Sin embargo, se trata de un área que evoluciona rápidamente, y es difícil estar al día de qué proveedores están desplegando qué funciones, y hasta qué punto son seguras.
Algunos proveedores empresariales ya han tenido problemas con sus políticas de privacidad y seguridad de la IA generativa. Zoom, por ejemplo, actualizó sus condiciones de servicio para indicar que la empresa podía utilizar las videollamadas de los clientes para entrenar sus modelos. Tras una protesta pública, la empresa dio marcha atrás y hoy afirma que ninguna de esta información se utiliza para entrenar sus modelos de IA. Además, los propietarios o administradores de cuentas pueden optar por activar o desactivar su función de resumen de reuniones con IA.
Otros proveedores se están adelantando a este problema. Grammarly, por ejemplo, que utiliza OpenAI para su IA generativa, promete que los datos de los clientes están aislados para que la información no se filtre de un usuario a otro, y dice que ningún dato es utilizado por socios o terceros para entrenar modelos de IA.
Complicaciones continuas
Pero no todos los proveedores van a decir de dónde proceden sus datos de entrenamiento o cómo se protegen los datos de los clientes.
Según Jason Wong, analista de Gartner, los clientes necesitan saber cómo interactuará una IA concreta con sus datos. "Pero es difícil conseguir ese nivel de transparencia", añadió. Hasta que se establezca una normativa, las empresas pueden intentar pedir más información a sus proveedores, pero deben estar preparadas para cierta resistencia.
En el caso de las aplicaciones de productividad que incorporan nuevas funciones de IA generativa, las cosas pueden complicarse aún más, añade. "En una solución integrada, es probable que se utilicen muchos modelos distintos", afirma.
Lo ideal sería que todos los proveedores de software proporcionen a los clientes una lista completa de materiales de IA, explicando qué modelos utilizan, cómo se entrenan y cómo se protegen los datos de los clientes.
"Hay algunas conversaciones iniciales al respecto, pero será excepcionalmente difícil", afirma Cunningham, de Forrester. "Tenemos problemas para conseguir que los proveedores tradicionales lo hagan con el software habitual. Si es un cliente lo suficientemente grande, podría pedirlo... pero si pide detalles específicos, es poco probable que tengan la totalidad de lo que los clientes necesitarían porque es algo tan nuevo y lleno de matices".
A menudo, el equipo de seguridad de una empresa puede ni siquiera saber que una aplicación concreta utilizada por la empresa ha incorporado ahora herramientas de IA generativa, señala. "La mayoría de la gente con la que hablo se está tirando de los pelos tratando de lidiar con esto", comenta. "Se ha abierto la caja de Pandora".
Si ahora todo el software lleva la IA incorporada, las empresas tendrán que revisar toda su cartera de software, añade. "Es un verdadero problema".
Las empresas pueden bloquear todo, pero eso sería una solución de mazo y perjudicaría la productividad, anota.
Por eso es imperativo educar a los empleados sobre los riesgos y responsabilidades del uso de la IA generativa, añade. "Es perfectamente válido que una organización diga: 'Puede usar esto en casa, pero está poniendo potencialmente en peligro a la empresa y a su trabajo si usa estas herramientas de forma incorrecta'".
Basado en el artículo de Maria Korolov (Computerworld) y editado por CIO Perú
Puede ver también: