Más pequeñas, muchas más posibilidades: así son las nuevas versiones “portátiles” de Llama, la IA de Meta

Meta Platforms ha lanzado versiones comprimidas de sus modelos de inteligencia artificial Llama 3.2 1B y 3B, que ahora pueden ejecutarse en smartphones y tablets. Estos nuevos modelos, que requieren hasta un 50% menos de memoria y funcionan hasta cuatro veces más rápido que sus predecesores, abren un amplio abanico de posibilidades para la inteligencia artificial móvil, acercándola al usuario y alejándola de los grandes centros de datos.

El avance se ha logrado gracias a una técnica llamada “cuantización”, que reduce los cálculos necesarios para procesar la IA. Meta ha implementado una combinación de Quantization-Aware Training con adaptadores LoRA (QLoRA) y SpinQuant, lo que permite mantener una alta precisión en el procesamiento, al mismo tiempo que se mejora la portabilidad. Las pruebas realizadas en smartphones como el OnePlus 12 muestran que los modelos comprimidos pueden procesar textos de hasta 8.000 caracteres, duplicando la velocidad en comparación con modelos anteriores.

Meta apuesta por un enfoque más abierto que sus rivales, Apple y Google, permitiendo que sus modelos de IA comprimidos puedan ser utilizados en distintos dispositivos, sin depender de actualizaciones o limitaciones impuestas por los sistemas operativos.

Al colaborar con Qualcomm y MediaTek, dos de los fabricantes de chips más importantes para Android, Meta se asegura de que esta tecnología llegue a una amplia variedad de dispositivos, incluidos aquellos de gama media y baja que dominan en los mercados emergentes.

Además, Meta distribuirá sus modelos no solo a través de su propia página web, sino también en Hugging Face, una plataforma popular entre los desarrolladores de IA. Esta doble estrategia facilita la integración de sus modelos en proyectos de IA móvil, apuntando a convertirlos en estándares de la industria, similares a lo que representan TensorFlow y PyTorch en el aprendizaje automático.