La nouvelle famille s’appelle MI300 et est destinée à la fois à la formation et à l’inférence. Il utilise une architecture appelée CDNA3.

Le premier modèle sera distribué en tant qu’échantillon aux principaux clients au cours du troisième trimestre. Appelé MI300X, il s’agit d’un GPU pur fabriqué en FinFet 5 nm avec des puces empilées en 3D et liées à AMD Infinity Fabric.

Un autre membre de la famille s’appelle le MI300A et contient également des processeurs intégrés. Il est déjà disponible en échantillon sur le site du client.

Le nombre de transistors est de 146 milliards. La superficie est d’environ dix centimètres carrés.

AMD qualifie le MI300X d’accélérateur d’intelligence artificielle le plus puissant au monde et le compare au cracker numérique Hopper H100 de Nvidia : le MI300X a une capacité de mémoire de 192 Go HBM3 contre 80 Go pour le H100.

La puissance de traitement actuelle est de 5,2 TFLOPS, ce qui devrait être « plus » que ce que le H100 offre.

Vous verrez également ce combo de huit serveurs accélérateurs dans les supercalculateurs AI. 600 watts par puce doivent être refroidis.

La grande mémoire est un gros avantage pour les grands réseaux vocaux, l’application dont tout le monde est curieux. Ici, début juin, AMD a réussi à faire fonctionner le réseau vocal Falcon avec 40 milliards de paramètres dans le Precision FP16 sur un EPYC 9654 (un CPU à 96 cœurs), connecté à un seul MI300X dans un module OAM avec 192 Go HBM3. La combinaison a consommé 750 W.

C’était donc la performance d’un seul accélérateur MI300X. AMD a également introduit un module en huit parties appelé la plate-forme Instinct.

Lors de l’introduction d’un nouveau matériel, la mise en place d’un écosystème logiciel est fondamentale. À ce titre, AMD a engagé le forum de modélisation du langage Hugging Face et le projet d’apprentissage automatique ouvert Py Torch pour mettre à jour la prise en charge d’AMC Instinct dans l’écosystème ROC M existant pour les accélérateurs de centres de données.

ROC M 5.4.2 prend en charge PyTorch 2.0 sur tous les processeurs AMD Instinct. Entre autres choses, il existe une collection de modèles d’IA prêts à l’emploi qui peuvent être chargés sur le MI300.

Hugging Face a pour tâche d’optimiser davantage les modèles non seulement pour Instinct, mais également pour les CPU, GPU et FPGA AMD (Ryzen, EPYC, Radeon, Versal et Alveo).