Au moment où nous écrivons ces lignes, les prochaines LPU de Groq devraient, d’après ce que l’entreprise a communiqué, laisser de côté la SRAM au profit d’une DRAM empilée en 3D. Dans le même temps, Groq assure rester indépendante malgré l’accord de licence technologique non exclusif signé avec NVIDIA et annoncé fin 2025. En pratique, le signal est assez clair: Groq paraît désormais miser davantage sur la capacité mémoire, afin de faire tourner des modèles toujours plus lourds, plutôt que de pousser uniquement la logique de latence minimale.
Groq n’a pas été rachetée par NVIDIA. Malgré ce que certaines lectures ont pu suggérer, Groq et NVIDIA parlent bien d’un accord de licence technologique non exclusif annoncé fin 2025. Le fait que plusieurs personnalités importantes de Groq, y compris son fondateur, aient rejoint NVIDIA dans la foulée a entretenu la confusion. Mais Groq, de son côté, continue d’exister comme société indépendante.
Jusqu’à présent, l’argument clé de Groq tenait à un choix mémoire particulièrement offensif. La génération actuelle de ses LPU est présentée par l’entreprise avec 500 Mo de SRAM par puce, environ 150 To/s de bande passante et autour de 1,20 PFLOP/s en FP8 par puce.
Si l’on passe à l’échelle d’un rack LPX de 256 puces, on arriverait, en se basant sur les chiffres avancés par Groq, à 128 Go de SRAM et 640 To/s de bande passante interpuces. C’est là que la SRAM changeait vraiment la donne: une mémoire extrêmement rapide, mais dont la capacité reste difficile à faire monter.
Le compromis, au fond, est assez simple. La SRAM offre une bande passante énorme et une latence très basse, mais elle coûte cher en surface et ne permet pas d’embarquer de gros volumes de mémoire. La DRAM, elle, est moins rapide, mais elle peut monter beaucoup plus haut en capacité.
Et c’est bien là que ça coince. Les modèles grossissent plus vite que ce type d’architecture ne peut les absorber confortablement. En passant à de la DRAM empilée en 3D, Groq prend donc un virage assez logique: moins de vitesse absolue qu’avec la SRAM, mais beaucoup plus d’espace pour stocker les poids des modèles et leur contexte.
Sur le plan technique, Groq viserait, d’après les éléments qu’elle a rendus publics, une mémoire organisée en couches verticales, reliées par des TSV (through-silicon vias). On retrouve le principe général des empilements de type HBM: plus de densité, moins d’encombrement, et potentiellement une meilleure efficacité énergétique qu’une DRAM classique placée plus loin du processeur.
Au fond, le vrai pari n’est peut-être déjà plus la vitesse brute à elle seule. Il tient peut-être davantage à la capacité de faire tourner des modèles plus volumineux sans empiler, à chaque fois, de nouvelles contraintes d’infrastructure.
Pour l’instant, beaucoup de zones d’ombre restent ouvertes. On ne sait pas encore exactement comment cette DRAM empilée sera intégrée aux futures LPU de Groq, ni à quel moment ces puces arriveront réellement en production. Pudrence, donc.
Tout l’enjeu sera de garder une partie des avantages de bande passante qui ont fait la réputation de Groq, tout en augmentant fortement la mémoire disponible. Nous vous tiendrons informés.
L’autre changement important touche au positionnement commercial de l’entreprise. Groq ne se présente plus seulement comme un concepteur de puces. De plus en plus, la société se place aussi comme fournisseur d’infrastructure cloud via GroqCloud. D’après Groq et NVIDIA, Groq étend ses capacités de centres de données et prévoit également d’intégrer du matériel NVIDIA dans ses propres installations.
L’accord de licence avec NVIDIA, évalué à environ 20 milliards selon les deux entreprises, lui a apporté plusieurs choses à la fois: des moyens, une forme de validation industrielle, et un accès plus direct à l’écosystème du géant des GPU. NVIDIA présente d’ailleurs Groq comme l’un de ses partenaires cloud.
Pour les clients de GroqCloud, la question se pose maintenant de façon très concrète: ce changement de mémoire se traduira-t-il par de meilleurs coûts, par la prise en charge de modèles plus gros, ou par une baisse sensible des performances? À ce stade, Groq n’a pas encore livré toutes les réponses.
