Un serveur d'IA est un appareil informatique optimisé pour exécuter des tâches d'apprentissage automatique et d'apprentissage profond. Par rapport aux serveurs traditionnels, les serveurs d'IA disposent généralement de plusieurs unités de traitement graphique (GPU) ou unités de traitement tensoriel (TPU) hautes performances pour permettre un traitement parallèle et accélérer les calculs. Par exemple, le GPU A100 de NVIDIA offre jusqu'à 312 téraflops de puissance de calcul simple précision, capable de gérer des modèles d'apprentissage profond complexes. Les serveurs d'IA ont généralement des configurations de mémoire plus importantes, allant de 256 Go à 2 To de RAM, pour gérer de grands ensembles de données et des paramètres de modèle. De plus, les serveurs d'IA utilisent souvent des disques SSD NVMe pour le stockage afin de fournir des vitesses d'accès aux données plus rapides.