Data center per i fornitori di servizi cloud AI

I Service Provider (SP) e i provider neocloud stanno implementando data center AI appositamente realizzati per offrire servizi AI personalizzati, convenienti e veloci ad aziende, enti pubblici e istituzioni didattiche. I servizi AI ospitati nel cloud offrono agli utenti finali capacità di calcolo, storage e networking virtualizzate e protette, consentendo allo stesso tempo nuovi flussi di entrate con maggiore efficienza e costo totale di proprietà inferiore.  

Un neocloud è un nuovo tipo di provider di cloud computing AI che offre capacità di calcolo delle GPU virtualizzate con storage e networking protetti. Questi cloud con GPU specializzate offrono ai clienti prestazioni e flessibilità all'avanguardia con la possibilità di ammortizzare il costo della loro infrastruttura cloud AI su un'ampia base di clienti. Grazie all'utilizzo di strumenti cloud e automazione, i neocloud aumentano l'efficienza nella loro infrastruttura AI sottostante e l'agilità del cloud permette loro la scalabilità orizzontale e verticale necessaria per soddisfare la domanda dei clienti.

I modelli AI vengono costruiti utilizzando set di dati attentamente elaborati durante la fase di addestramento. L'addestramento avviene su decine, centinaia e persino migliaia di GPU in cluster, tutte connesse in rete e in costante scambio di dati tra loro. Dopo questa fase di addestramento, il modello è sostanzialmente completo. Durante la fase di inferenza, gli utenti interagiscono con il modello, che è in grado di riconoscere immagini o generare immagini e testo per fornire risposte alle loro domande. L'addestramento è di solito un'operazione offline, mentre l'inferenza avviene in genere online.

Enormi set di dati AI stanno creando la necessità di una maggiore potenza di calcolo, uno storage più veloce e un networking ad alta capacità e a bassa latenza. Juniper contribuisce a soddisfare questi requisiti nei seguenti modi:

• Calcolo: i cluster di calcolo AI/ML richiedono requisiti elevati per la rete internodale. La riduzione dei tempi di completamento delle operazioni (JCT) è essenziale e la rete svolge un ruolo chiave nel funzionamento efficiente del cluster. Juniper offre una gamma di switch non bloccanti e ad alte prestazioni con capacità di buffer profondo e gestione della congestione che, se utilizzati in un'architettura ben progettata, eliminano qualsiasi collo di bottiglia della rete.
• Storage: nei cluster AI/ML e nel calcolo ad alte prestazioni, raramente un intero set di dati o modello può essere memorizzato sui nodi di calcolo, quindi è necessaria una rete di storage ad alte prestazioni. Gli switch Juniper serie QFX possono essere utilizzati per la connettività di storage IP. Sono pienamente compatibili con le reti RDMA (Remote Direct Memory Access), tra cui NVMe/RoCE (Non-Volatile Memory Express/RDMA over Converged Ethernet) e NFS (Network File System)/RDMA.
• Rete: i modelli di addestramento AI richiedono calcoli intensi e di grandi dimensioni, distribuiti su centinaia o migliaia di processori CPU, GPU e TPU. Questi calcoli necessitano di reti ad alta capacità, scalabili orizzontalmente e prive di errori.Gli switch QFX e i router serie PTX di Juniper supportano questi calcoli di grandi dimensioni all'interno e tra i data center, grazie al throughput di routing e switching e alle funzionalità di interconnessione dei data center (DCI) leader del settore.

Apstra Data Center Director è la piattaforma leader di Juniper per l'automazione e l'assurance dei data center. Automatizza l'intero ciclo di vita della rete, dalla progettazione alle operazioni quotidiane, in tutti i data center multivendor con una convalida continua, analisi potenti e l'identificazione della causa radice per garantire l'affidabilità.Con l'Assistente AI Marvis per data center, queste informazioni vengono trasferite da Data Center Director al Juniper Mist Cloud e presentate in una dashboard comune per informazioni dettagliate end-to-end.L'Assistente AI Marvis per data center fornisce anche una solida interfaccia conversazionale (utilizzando l'AI generativa) per semplificare notevolmente le query sulla knowledge base.

Gli switch per i data center di Juniper, non bloccanti e ad alte prestazioni, forniscono un buffering profondo e una gestione della congestione per eliminare i colli di bottiglia della rete. Per bilanciare i carichi di traffico, supportiamo il bilanciamento dinamico del carico e il routing adattivo. Per la gestione della congestione, Juniper supporta pienamente la notifica di congestione quantizzata del data center (DCQCN), il controllo del flusso di priorità (PFC) e la notifica esplicita della congestione (ECN). Infine, per ridurre la latenza, Juniper utilizza il migliore silicio commerciale e architetture ASIC personalizzate che massimizzano i buffer dove necessario, l'accodamento virtuale basato sull'output (VOQ) e fabric basati su celle all'interno delle proprie architetture spine.

Il nostro portfolio include switch aperti e basati su standard che forniscono connettività di storage basata su IP utilizzando NVMe/RoCE o NFS/RDMA (vedere le FAQ precedenti). I nostri progetti di soluzioni di networking per lo storage IP possono scalare da una piccola configurazione a quattro nodi a centinaia o migliaia di nodi di storage.