Redes del centro de datos de IA

La demanda de IA está impulsando a los hiperescaladores, los proveedores de nube, las empresas, los gobiernos y las instituciones educativas a incorporar IA en sus sistemas comerciales para automatizar las operaciones, generar contenido y comunicaciones y mejorar el servicio al cliente.

Los modelos de IA se construyen utilizando conjuntos de datos cuidadosamente diseñados durante la etapa de capacitación. La capacitación se realiza en múltiples GPU que abarcan decenas, cientos e incluso miles de GPU en un clúster, todas conectadas a través de una red y que intercambian datos constantemente entre sí. Después de esta etapa de capacitación, el modelo está esencialmente completo. Durante la etapa de inferencia, los usuarios interactúan con el modelo, que puede reconocer imágenes o generar imágenes y texto para proporcionar respuestas a las preguntas de los usuarios. La capacitación es típicamente una operación sin conexión, mientras que la inferencia generalmente es en línea.

Los conjuntos de datos masivos de IA están creando la necesidad de una mayor potencia informática, un almacenamiento más rápido y redes de alta capacidad y baja latencia. Juniper ayuda a cumplir estos requisitos de las siguientes maneras: 

• Cómputo: los clústeres de computación de IA/ML generan enormes requisitos en la red entre nodos. Reducir el tiempo de finalización del trabajo (JCT) es esencial y la red juega un papel clave en la operación eficiente del grupo. Juniper ofrece una gama de conmutadores no bloqueantes de alto rendimiento con capacidad de búfer profundo y administración de congestión que, cuando se diseñan de manera óptima, eliminan cualquier cuello de botella de red.
• Almacenamiento: en los clústeres de IA/ML y la computación de alto rendimiento, rara vez se puede almacenar un conjunto o modelo completo de datos en los nodos de cálculo, por lo que se requiere una red de almacenamiento de alto rendimiento. Los conmutadores de la serie QFX de Juniper se pueden usar para la conectividad de almacenamiento IP; ofrecen soporte completo para redes de acceso directo de memoria remota (RDMA), incluida la memoria no volátil Express/RDMA sobre Ethernet convergente (NVMe/RoCE) y el sistema de archivos de red (NFS) o RDMA.
• Red: los modelos de capacitación de IA implican cálculos grandes e intensos distribuidos en cientos o miles de procesadores de CPU, GPU y TPU. Estos cálculos exigen redes de alta capacidad, escalables horizontalmente y sin errores. Los conmutadores QFX y los enrutadores de la serie PTX de Juniper admiten estos grandes cálculos dentro y a través de centros de datos con capacidades de transferencia de datos y conmutación e interconexión del centro de datos (DCI) líderes en la industria.

Los conmutadores de centro de datos no bloqueantes de alto rendimiento de Juniper ofrecen administración de congestión y búfer profundo para eliminar los cuellos de botella de red. Para equilibrar las cargas de tráfico, admitimos el equilibrio de carga dinámico y el enrutamiento adaptativo. Para la administración de congestión, Juniper admite completamente la notificación de congestión cuantificada del centro de datos (DCQCN), el control de flujo de prioridad (PFC) y la notificación de congestión explícita (ECN). Finalmente, para reducir la latencia, Juniper usa las mejores arquitecturas de chip comercial y ASIC personalizadas que maximizan los búferes cuando se necesitan, las colas de salida virtual (VOQ) y las estructuras basadas en células dentro de nuestras arquitecturas de spine.

Nuestra cartera incluye conmutadores abiertos basados en estándares que ofrecen conectividad de almacenamiento basada en IP mediante NVMe/RoCE o NFS/RDMA (consulte las preguntas frecuentes anteriores). Nuestros diseños de solución de redes de almacenamiento IP pueden escalar desde una configuración pequeña de cuatro nodos a cientos o miles de nodos de almacenamiento.