Microsoft dévoile Maia 300, sa puce d'inférence IA de troisième génération

Microsoft détaille Maia 300, un accélérateur maison dédié à l'inférence des grands modèles de langage sur Azure, doté de 288 Go de HBM4 par puce, avec un débit de tokens jusqu'à 7 fois supérieur à Maia 200 à l'échelle du rack et une performance par watt plus de 2,5 fois meilleure. Les superpods peuvent réunir jusqu'à 12 288 accélérateurs.