Récemment, Google Research a présenté un algorithme de compression prometteur appelé TurboQuant, qui promet de révolutionner la gestion de la mémoire de travail dans les modèles d’intelligence artificielle (IA), en réduisant sa taille jusqu’à six fois sans sacrifier la qualité ou les performances.
Cette technique de compression se concentre sur le cache KV, un composant crucial qui stocke les tokens traités lors de longues conversations, et dont la croissance est l’un des principaux goulots d’étranglement dans la phase d’inférence de l’IA.
Les prix de la mémoire baissent alors que TurboQuant redéfinit l’optimisation des ressources en IA
En termes plus techniques, TurboQuant utilise une méthode de quantification vectorielle, ce qui pourrait non seulement faciliter le fonctionnement des centres de données avec moins de ressources matérielles, mais aussi avoir un impact significatif sur l’industrie des fabricants de mémoires DRAM et HBM.
On commence déjà à observer des baisses dans les actions d’entreprises comme Micron et Samsung, qui ont connu une réduction notable de leur valeur, laissant entendre que l’âge d’or de l’industrie de la mémoire pourrait toucher à sa fin.
La découverte a évoqué des comparaisons avec le soi-disant « moment DeepSeek » de Google, où une startup chinoise a lancé un modèle d’IA concurrent à un coût de développement significativement inférieur.
Avant la présentation officielle des résultats de TurboQuant, certains analystes pensent que cette avancée pourrait être un véritable tournant dans le secteur, similaire à ce qui s’est passé avec DeepSeek.
Malgré son potentiel, il est important de noter que TurboQuant n’affecte que la phase d’inférence. La phase d’entraînement des modèles d’IA nécessite encore de grandes quantités de mémoire.
Les changements dans les prix des modules de mémoire commencent à être évidents, avec une chute notable du coût de produits comme les modules Corsair Vengeance DDR5. La course à l’optimisation des ressources en IA avance, et il reste à voir comment les entreprises s’adapteront à ces nouvelles techniques et quelles implications cela aura à l’avenir.