[16/11/2023] Nvidia ha anunciado una nueva plataforma de computación de IA denominada Nvidia HGX H200, una versión turboalimentada de la arquitectura Nvidia Hopper de la compañía impulsada por su última oferta de GPU, el Nvidia H200 Tensor Core.
La compañía también se ha asociado con HPE para ofrecer un sistema de supercomputación basado en los superchips Nvidia Grace Hopper GH200, diseñado específicamente para el entrenamiento generativo de IA.
El aumento del interés de las empresas por la IA ha impulsado la demanda de GPU Nvidia para manejar la IA generativa y las cargas de trabajo de computación de alto rendimiento. Su última GPU, la Nvidia H200, es la primera en ofrecer HBM3e, una memoria de gran ancho de banda que es un 50% más rápida que la actual HBM3, lo que permite suministrar 141GB de memoria a 4,8 terabytes por segundo, proporcionando el doble de capacidad y 2,4 veces más ancho de banda que su predecesora, la Nvidia A100.
Nvidia presentó el primer procesador HBM3e, la plataforma GH200 Grace Hopper Superchip, en agosto "para satisfacer [la] creciente demanda de IA generativa", declaró entonces el fundador y consejero delegado de Nvidia, Jensen Huang.
La introducción de la Nvidia H200 dará lugar a nuevos saltos en el rendimiento, afirmó la empresa en un comunicado, en el que añadió que, en comparación con su oferta H100, la nueva arquitectura casi duplicará la velocidad de inferencia en la LLM Llama-2 de Meta, con 70 mil millones de parámetros. Los parámetros se refieren a la configuración de las redes neuronales.
Ian Buck, vicepresidente de hiperescala y HPC de Nvidia, afirmó en un comunicado que acompaña al anuncio: "Para crear inteligencia con aplicaciones de IA generativa y HPC, es necesario procesar grandes cantidades de datos a alta velocidad utilizando una memoria de GPU grande y rápida. Con Nvidia H200, la plataforma de supercomputación de IA integral líder del sector ahora es más rápida para resolver algunos de los retos más importantes del mundo".
Se espera que los sistemas H200 comiencen a comercializarse en el segundo trimestre del 2024, con la GPU Nvidia H200 Tensor Core disponible en placas de servidor HGX H200 con configuraciones de cuatro y ocho vías.
Según Nvidia, una HGX H200 de ocho vías proporciona más de 32 petaflops de cálculo de aprendizaje profundo FP8 y 1,1 TB de memoria agregada de gran ancho de banda para obtener el máximo rendimiento en aplicaciones generativas de IA y HPC.
Un petaflop es una medida de rendimiento para una computadora que puede calcular al menos mil billones, o un cuatrillón, de operaciones en coma flotante por segundo. Un FP8 es una especificación de formato de coma flotante de ocho bits, diseñada para facilitar el uso compartido de redes de aprendizaje profundo entre plataformas de hardware.
El H200 puede desplegarse en cualquier tipo de centro de datos, ya sea local, en la nube, en la nube híbrida o en el perímetro, y también estará disponible en la plataforma GH200 Grace Hopper Superchip.
Basado en el artículo de Charlotte Trueman (Network World) y editado por CIO Perú