Qu'est-ce qu'un serveur HGX ?

L'HGX est un design framework créé par NVIDIA. Un serveur HGX est un système qui adhère à l'architecture de référence NVIDIA HGX, spécifiquement structurée pour offrir une plateforme polyvalente et évolutive adaptée aux data centers gérant des applications IA et HPC exigeantes. Il permet d'intégrer des GPU NVIDIA H100/H200 et d'autres composants matériels.

1. Prise en charge des GPU NVIDIA
   L'objectif principal d'un serveur HGX est de prendre en charge les GPU NVIDIA, qui sont principalement utilisés pour l'IA et les charges de travail HPC. Le serveur est donc conçu pour accueillir plusieurs GPU, comme des H100 ou H200, pour des tâches de traitement parallèle.
   
   
2. NVLink Interconnect
   Les serveurs HGX intégrent la technologie NVLink de NVIDIA, une interconnexion à haut débit qui permet une communication rapide entre les GPU. NVLink augmente les taux de transfert de données et améliore les performances des charges de travail informatiques parallèles.
   
   
3. Design modulaire
   Ce serveur possède généralement une conception modulaire qui permet de configurer les composants matériels de manière flexible. Cette modularité permet aux datacenters de personnaliser leur serveur en fonction de leurs besoins spécifiques, y compris le type et le nombre de GPU.
   
   
4. Évolutivité
   Conçus pour être évolutifs, les serveurs HGX permettent aux datacenters de construire de puissants clusters de calcul en connectant plusieurs serveurs basés sur HGX. Cette évolutivité est cruciale pour répondre aux demandes croissantes des applications IA et HPC.
   
   
5. Normalisation industrielle
   HGX est conçu comme une architecture de référence, visant à une certaine standardisation de l'industrie. Cela signifie que la conception est fournie par NVIDIA en vue d'une collaboration avec divers fournisseurs de hardware.
    
   Les partenaires, tels que 2CRSi, peuvent utiliser l'architecture HGX.
   
   
6. Compatibilité des logiciels
   Les serveurs HGX sont conçus pour être compatibles avec divers frameworks et outils logiciels utilisés dans les domaines de l'IA et du calcul intensif. Cela garantit que les serveurs peuvent s'intégrer dans les flux de travail déjà existants et prendre en charge un large éventail d'applications.
   
   
7. Polyvalence des domaines d'utilisation
   La conception et la compatibilité avec différents GPU rendent les serveurs HGX polyvalents, capables de gérer une variété de charges de travail allant du deep et de machine learning aux simulations scientifiques et à l'analyse de données.

Serveur HGX, basé sur la plateforme SXM5

La principale caractéristique du socket SXM réside dans sa conception, qui intègre à la fois le processeur et la mémoire sur la plateforme.

Notre propre serveur HGX, le Godì 1.8 SR-NV8, est basé sur la dernière plateforme SXM, à savoir le SXM5.

Le SXM5 est produit à l'aide du processus TSMC 4nm et a été lancé en mars 2023. Il est basé sur l'architecture Hopper de NVIDIA. Il intègre 80 milliards de transistors, 16 896 cœurs CUDA et 80 Go de mémoire HBM3, ainsi qu'un cache L2 de 50 Mo. Il affiche une performance théorique de 66,91 TFLOPS et consomme au total 700 W.

PCIe vs. SXM5

Les GPU NVIDIA H100 se présentent sous deux formes : PCIe et SXM5.

Les GPU en PCIe peuvent être insérés dans des emplacements PCIe standard sur une carte mère, tandis que les GPU SXM5 nécessitent un form factor distinct, différent des emplacements PCIe standard.

De plus, le remplacement, l'ajout ou le retrait des GPU PCIe est relativement simple, puisqu'il suffit de retirer le GPU. En revanche, les GPU SXM5 sont fixés au châssis à l'aide d'une pâte thermique, ce qui rend leur manipulation plus délicate.

Cependant, grâce à NVSwitch, les GPU SXM5 offrent des performances supérieures à celles des GPU PCIe, ce qui les rend bien adaptés aux charges de travail intensives menées sur plusieurs nœuds.