Selon un document de recherche, nous avons appris que Apple et son Apple Intelligence ont écarté Nvidia lors du choix des équipements pour former l’IA de Tim Cook. Et cela signifie beaucoup.
Il semble qu’Apple ne voulait plus soutenir Nvidia sur le marché en lui confiant la formation de son IA, elle a donc choisi la concurrence de Nvidia et ses partenaires de longue date : Sundar Pichai et son entreprise.
Cependant, dans son document, Apple partage que son modèle Apple Foundation (AFM) de 2,730 milliards de paramètres est basé sur des clusters dans le cloud de unités de traitement tensoriel (TPU) v4 et v5p généralement fournies par Google, de la matrice Alphabet Inc.
L’IA d’Apple est basée sur l’utilisation de TPU au lieu de GPU, comme c’est habituel
Le document de recherche d’Apple, publié aujourd’hui, couvre son infrastructure d’entraînement et d’autres détails pour les modèles d’IA qui alimenteront les fonctionnalités annoncées lors de la WWDC en début d’année. Apple a annoncé à la fois le traitement de l’IA sur les appareils et le traitement dans le cloud, et au cœur de ces fonctionnalités d’IA se trouve le modèle de base Apple, surnommé AFM.
Pour AFM sur serveur, ou le modèle qui alimentera les fonctions d’IA dans le cloud appelées Apple Cloud Compute, Apple a partagé qu’elle entraîne un modèle d’IA de 6,3 billions de tokens « à partir de zéro » sur « 8 192 puces TPUv4 ». Les puces TPUv4 de Google sont disponibles dans des pods composés de 4 096 puces chacun.
Apple a ajouté que les modèles de FAI (à la fois sur l’appareil et dans le cloud) sont entraînés sur des puces TPUv4 et des clusters TPU dans le cloud v5p. Ce v5p fait partie du « superordinateur » d’IA dans le cloud de Google, et a été annoncé en décembre de l’année dernière.
Chaque pod v5p est composé de 8 960 puces chacun et, selon Google, offre le double d’opérations en virgule flottante par seconde (FLOPS) et le triple de mémoire que le TPU v4 pour entraîner des modèles presque trois fois plus rapidement.
Pour le modèle d’IA sur l’appareil pour des fonctions telles que l’écriture et la sélection d’images, Apple utilise un modèle de 6,4 milliards de paramètres « entraîné à partir de zéro avec la même recette que AFM-server ».
Apple a également choisi de faire confiance aux anciennes puces TPU v4 pour le modèle de serveur AFM. Comme mentionné précédemment, il a utilisé des puces TPU 8 092 v4, mais pour le modèle AFM sur l’appareil, la société a choisi de faire confiance aux puces plus récentes. Selon Apple, ce modèle a été entraîné avec des puces TPU v5p de 2 048.
