[26/05/2023] DataStax dijo el miércoles que se estaba asociando con la startup ThirdAI, con sede en Houston, para llevar grandes modelos de lenguaje (LLMs) a sus ofertas de bases de datos, como DataStax Enterprise para on-premises y NoSQL database-as-a-service AstraDB.
Según Ed Anuff, jefe de producto de DataStax, la alianza forma parte de la estrategia de la empresa de llevar la inteligencia artificial allí donde residen los datos.
ThirdAI puede instalarse en el mismo clúster, local o en la nube, donde se ejecuta DataStax porque viene con una pequeña biblioteca y la instalación puede procesarse con Python.
"La ventaja es que los datos no tienen que pasar de DataStax a otro entorno, simplemente se pasan a ThirdAI que está adyacente. Esto garantiza la total privacidad y también la velocidad porque no se pierde tiempo en transferir datos a través de una red", señaló un portavoz de DataStax.
"ThirdAI se puede ejecutar como un paquete Python o se puede acceder a través de una API, dependiendo de la preferencia del cliente", añadió el portavoz.
Las empresas que utilizan DataStax Enterprise o AstraDB pueden utilizar los datos que residen en esas bases de datos y la tecnología y los LLM de ThirdAI para poner en marcha sus propias aplicaciones de IA generativa. Los modelos básicos de ThirdAI pueden entrenarse para comprender datos y responder a consultas, como qué recomendación de producto podría resultar en una venta, basándose en el historial de un cliente.
Con la integración de los LLM de ThirdAI, DataStax incorporará la tecnología Bolt de la startup, que puede lograr un mejor rendimiento de entrenamiento de IA en CPU que en GPU para modelos relativamente pequeños. La ventaja es que las CPU suelen tener un precio inferior al de las GPU, que suelen utilizarse para cargas de trabajo de IA y aprendizaje automático.
"El motor Bolt, que es un acelerador algorítmico para entrenar modelos de aprendizaje profundo, puede reducir exponencialmente los cálculos. El algoritmo logra el entrenamiento de redes neuronales en un 1% o menos de operaciones en coma flotante por segundo (FLOPS), a diferencia de trucos estándar como la cuantización, la poda y la sparsity estructurada, que solo ofrecen una ligera mejora del factor constante", indicó ThirdAI en una publicación de blog.
"Los aumentos de velocidad se observan de forma natural en cualquier CPU, ya sea Intel, AMD o ARM. Incluso las CPU más antiguas pueden entrenar modelos de mil millones de parámetros más rápido que las GPU A100", añadió.
Según ThirdAI, Bolt también puede invocarse con "sólo unos pocos" cambios de línea en los procesos de aprendizaje automático existentes en Python.
El anuncio con ThirdAI es el primero de un nuevo programa de colaboración que DataStax está poniendo en marcha para incorporar más tecnología de startups de IA que puedan ayudar a las empresas con datos residentes en bases de datos Datastax a desarrollar aplicaciones de IA generativa.
Basado en el artículo de Anirban Ghoshal (InfoWorld) y editado por CIO Perú