[29/09/2023] Cloudflare, la empresa de servicios web, seguridad y red de distribución de contenidos (CDN, por sus siglas en inglés), está abriendo su red mundial a las empresas que buscan construir e implementar modelos de IA con nuevas funciones de IA sin servidor, base de datos y observabilidad, trabajando para ello con varios nuevos socios tecnológicos.
La primera parte de la nueva iniciativa de Cloudflare centrada en la IA, anunciada el miércoles, es el marco Workers AI, que ofrece acceso a las GPU de la red de Cloudflare para ejecutar modelos de IA sin servidor. Para los usuarios que intentan ejecutar sistemas de IA que dependen en gran medida de la latencia, el marco debería ofrecer la opción de ejecutar cargas de trabajo mucho más cerca del borde de la red, reduciendo el tiempo de ida y vuelta. La empresa afirma que Workers AI también está diseñado para separar la inferencia de los datos de formación, garantizando que la información de los consumidores no se utilice indebidamente.
El segundo de los nuevos anuncios de Cloudflare sobre IA es Vectorize, una base de datos vectorial diseñada para permitir a los desarrolladores crear aplicaciones basadas en IA totalmente en los propios sistemas de Cloudflare. Vectorize funciona en tándem con la red subyacente de Cloudflare, permitiendo de nuevo que el trabajo se realice más cerca del usuario final, y tiene integraciones con Workers AI que deberían permitir a los usuarios generar incrustaciones en Workers AI e indexarlas en Vectorize.
Por su parte, AI Gateway es un sistema de gestión y optimización del rendimiento diseñado para ofrecer capacidad de observación de las aplicaciones de IA que se ejecutan en la red de Cloudflare. AI Gateway proporciona datos como el número y la duración de las solicitudes, los costes de ejecución de la aplicación y el recuento de usuarios para aplicaciones de IA, según la empresa, así como opciones de ahorro de costes como la limitación de la tasa y el almacenamiento en caché de respuestas a consultas comunes.
Cloudflare también ha anunciado colaboraciones con Microsoft, Databricks y la startup de IA Hugging Face. Microsoft aporta su tiempo de ejecución ONNX para la continuidad de los modelos de IA a través de la nube, el borde o el uso en el dispositivo, mientras que la asociación de Databricks añade la plataforma de código abierto MLflow de esa empresa para la gestión del ciclo de aprendizaje automático. Por último, la red de Cloudflare será el primer lugar en el que los clientes podrán desplegar los potentes modelos de IA generativa de Hugging Face en un entorno sin servidor y potenciado por GPU.
Matthew Prince, cofundador y consejero delegado de Cloudflare, ha afirmado que las nuevas ofertas representan una importante ampliación de la plataforma para desarrolladores de la compañía, y que el objetivo es poner la "infraestructura de inferencia" al alcance de todos los clientes potenciales.
La red, según Prince, es el mejor lugar para ejecutar IA.
"Ya hemos visto el interés de las empresas que están tratando de resolver este desafío exacto de proporcionar experiencias potentes sin sacrificar la duración de la batería o la latencia", sostuvo. "Dicho esto, a medida que los LLM y la IA se convierten en una parte integral de cada aplicación, creemos que Cloudflare es muy adecuado para impulsarlos al hacer que sea fácil y asequible para los desarrolladores comenzar".
Todas las características anunciadas están disponibles de inmediato. Los precios se basarán, esencialmente, en el uso, con diferentes esquemas para Workers, Vectorize y AI Gateway. (Vectorize, señaló Prince, será de uso gratuito hasta el 2024).
Basado en el artículo de Jon Gold (Network World) y editado por CIO Perú