AMD se lance pleinement dans l'IA avec son premier LLM

AMD a présenté sa première série de grands modèles de langage (LLM) de 1 milliard de paramètres et en open source, appelée AMD OLMo, destinée à diverses applications et préentraînée sur les GPU Instinct MI250 de la société.

Les LLM open source d’AMD visent à améliorer la position de l’entreprise dans l’industrie de l’IA et à permettre à ses clients (et à tout le monde) d’implanter ces modèles open source avec le matériel d’AMD.

En rendant publics les données, les poids, les recettes d’entraînement et le code, AMD vise à permettre aux développeurs non seulement de reproduire les modèles, mais aussi de s’en inspirer pour continuer à innover.

Au-delà de l’utilisation dans les centres de données, AMD a permis le déploiement local de modèles OLMo sur des PC AMD Ryzen AI équipés d’unités de traitement neuronal (NPUs), permettant aux développeurs de tirer parti des modèles d’IA sur des appareils personnels.

Smol models ftw! @AMD released AMD OLMo 1B – beats OpenELM, tiny llama on MT Bench, Alpaca Eval – Apache 2.0 licensed ?

> Trained with 1.3 trillion (dolma 1.7) tokens on 16 nodes, each with 4 MI250 GPUs

> Three checkpoints:

– AMD OLMo 1B: Pre-trained model
– AMD OLMo 1B SFT:… pic.twitter.com/ae4pLzAKoA

— Vaibhav (VB) Srivastav (@reach_vb) November 2, 2024

Tout ce que nous savons sur le LLM d’AMD

Les modèles AMD OLMo ont été entraînés sur un vaste ensemble de données de 1,3 billion de tokens sur 16 nœuds, chacun équipé de quatre GPU AMD Instinct MI250 (64 processeurs au total). La gamme de modèles OLMo d’AMD a été entraînée en trois étapes.

Dans les propres tests d’AMD, les modèles OLMo d’AMD ont montré des performances impressionnantes par rapport à des modèles open source de taille similaire, tels que TinyLlama-1.1B, MobiLlama-1B et OpenELM-1_1B dans des tests de référence standard pour les capacités de raisonnement général et de compréhension multitâche.

Congratulations to @AMD on the launch of AMD OLMo 1B ? “AMD OLMo 1B is based on the model architecture and training set up of fully open source 1 billion version of OLMo.” Check out more details here: https://t.co/Uw0cd5Yn5e

— Ai2 (@allen_ai) November 4, 2024

Le modèle SFT à deux phases a connu des améliorations significatives en termes de précision, avec une augmentation de 5,09 % des scores MMLU et de 15,32 % dans GSM8k, ce qui démontre l’impact de l’approche d’entraînement d’AMD.

Le modèle final AMD OLMo 1B SFT DPO a surpassé d’autres modèles de chat open source d’au moins 2,60 % en moyenne lors des tests comparatifs.

De plus, AMD a testé des évaluations d’IA responsables, telles que ToxiGen (qui mesure le langage toxique, où un score plus bas est meilleur), crows_pairs (qui évalue les biais) et TruthfulQA-mc2 (qui évalue la véracité des réponses). Et il a été constaté que les modèles OLMo d’AMD étaient à la hauteur de modèles similaires dans la gestion de tâches d’IA éthiques et responsables.