Meta Présente sa Puce d'Inference IA de Nouvelle Génération

Meta Lancement de son Accélérateur d'Inférence AI de Nouvelle Génération, MTIA

Meta a présenté son dernier accélérateur d'inférence AI, le Meta Training and Inference Accelerator (MTIA), conçu pour améliorer les modèles de recommandation pour Facebook et Instagram. Le nouveau chip MTIA, fabriqué avec le procédé 5nm de TSMC, offre un gain de performance de 3,5 fois par rapport au modèle précédent, avec 177 TFLOPS en BF16 et 354 TOPS (INT8). Il utilise une quantification des tenseurs basée sur le matériel pour une précision FP32 et un support optimisé de PyTorch, permettant un lancement et un remplacement rapide des tâches. De plus, le chip fonctionne à 1,35 GHz avec une consommation de 90 watts, comprend 128 Go de mémoire LPDDR5, et est alimenté par des cœurs RISC-V. La présentation de Meta au symposium Hot Chips a mis en avant les améliorations d'efficacité du chip et son potentiel à réduire la dépendance aux GPU Nvidia, bien qu'ils restent discrets sur les options d'expansion de mémoire futures.

Points Clés

• Le chip MTIA de Meta améliore les TOPs GEMM de 3,5 fois pour atteindre 177 TFLOPS en BF16.
• Le chip, construit sur le procédé 5nm de TSMC, fournit 354 TOPS (INT8) et 177 TOPS (FP16).
• Meta vise à améliorer la performance par rapport au coût total de possession (TCO) et par watt, par rapport à la génération précédente.
• Le chip MTIA comprend des cœurs RISC-V et deux CPUs, fonctionnant à 1,35 GHz avec une consommation de 90 watts.
• Meta évoque une éventuelle expansion de mémoire via un commutateur PCIe, bien que cela ne soit pas déployé actuellement.

Analyse

Le lancement du chip MTIA par Meta pourrait bouleverser le marché des accélérateurs AI, réduisant potentiellement la dépendance à Nvidia. À court terme, TSMC et RISC-V peuvent bénéficier d'une demande accrue. À long terme, l'efficacité des coûts et les gains de performance de Meta pourraient inciter les concurrents à innover. Les investisseurs dans Nvidia pourraient connaître de la volatilité, tandis que l'action de Meta pourrait connaître une hausse. Ce mouvement souligne l'engagement de Meta envers l'IA, catalysant potentiellement des changements plus larges dans l'optimisation du matériel et des logiciels dans l'industrie.

Le Saviez-Vous ?

• MTIA (Meta Training and Inference Accelerator) :

  • Explication : MTIA est le chip d'accélération d'inférence AI conçu sur mesure par Meta, spécifiquement destiné à améliorer les modèles de recommandation sur des plateformes comme Facebook et Instagram. Il est fabriqué avec la technologie avancée du procédé 5nm de TSMC, offrant des améliorations de performance significatives par rapport à son prédécesseur. Le chip est optimisé pour des tâches telles que la multiplication de matrices (GEMM) et prend en charge divers niveaux de précision (BF16, INT8, FP16), le rendant très efficace pour les charges de travail AI.

• BF16 (Brain Floating Point 16-bit) :

  • Explication : BF16 est un format de nombre flottant qui utilise 16 bits pour représenter un nombre, similaire au FP16 (point flottant à demi-précision). Cependant, BF16 a une plage d'exposants plus large par rapport à FP16, ce qui le rend plus adapté aux tâches d'apprentissage profond où le maintien de la précision est crucial. Le chip MTIA atteint 177 TFLOPS (Tera opérations en virgule flottante par seconde) en précision BF16, indiquant son efficacité computationnelle élevée dans les tâches d'inférence AI.

• Cœurs RISC-V :

  • Explication : RISC-V est une architecture d'ensemble d'instructions (ISA) à standard ouvert, basée sur des principes éprouvés d'ordinateur à jeu d'instructions réduit (RISC). Contrairement aux architectures propriétaires comme ARM ou x86, RISC-V est open-source, permettant une plus grande flexibilité et personnalisation dans la conception des chips. Le chip MTIA incorpore des cœurs RISC-V, optimisés pour des tâches spécifiques au sein du chip, contribuant à son efficacité et ses performances globales.