Recientemente, Google Research presentó un prometedor algoritmo de compresión llamado TurboQuant, el cual promete revolucionar el manejo de la memoria de trabajo en modelos de inteligencia artificial (IA), reduciendo su tamaño hasta seis veces sin sacrificar la calidad o el rendimiento.
Esta técnica de compresión se centra en la caché KV, un componente crucial que almacena los tokens procesados durante conversaciones largas, y cuyo crecimiento es uno de los principales cuellos de botella en la fase de inferencia de IA.
Los precios de la memoria bajan mientras TurboQuant redefine la optimización de recursos en la IA
En términos más técnicos, TurboQuant utiliza un método de cuantización vectorial, lo que no solo podría facilitar que los centros de datos operen con menos recursos de hardware, sino que también podría impactar significativamente en la industria de fabricantes de memorias DRAM y HBM.
Ya se han comenzado a notar caídas en las acciones de empresas como Micron y Samsung, que experimentaron una reducción notable en su valor, insinuando que la época dorada de la industria de la memoria podría estar llegando a su fin.
El descubrimiento ha evocado comparaciones con el llamado “momento DeepSeek” de Google, en el cual una startup china lanzó un modelo de IA competitivo con un costo de desarrollo significativamente menor.
Antes de la presentación oficial de los resultados de TurboQuant, algunos analistas creen que este avance podría ser un cambio de juego en el sector, similar a lo que ocurrió con DeepSeek.
A pesar de su potencial, es importante señalar que TurboQuant solo afecta a la fase de inferencia. La fase de entrenamiento de los modelos de IA aún requiere grandes cantidades de memoria.
Los cambios en los precios de los módulos de memoria han comenzado a ser evidentes, con una caída notable en el costo de productos como los módulos Corsair Vengeance DDR5. La carrera por la optimización de recursos en IA avanza, y todavía queda por ver cómo las empresas se adaptarán a estas nuevas técnicas y qué implicaciones tendrán en el futuro.