La révolution de l’IA continue d’avancer à grands pas. Microsoft développe un modèle de langage de grande taille (LLM) qui compte environ 500 milliards de paramètres, selon The Information dans un récent article. On s’attend à ce que le LLM, connu en interne sous le nom de MAI-1, fasse ses débuts ce mois-ci.
Lorsque OpenAI a présenté GPT-3 à la mi-2020, il a détaillé que la version initiale du modèle avait 175 milliards de paramètres. La société a révélé que GPT-4 est plus grand, mais n’a pas encore partagé de chiffres concrets. Certains rapports suggèrent que le fleuron d’OpenAI comprend 1,76 billion de paramètres, tandis que Gemini Ultra de Google, qui a des performances comparables à GPT-4, aurait 1,6 billion.
De cette manière, en ayant 500 milliards de paramètres, le nouveau modèle de Microsoft, MAI-1, pourrait se positionner comme une option intermédiaire entre le GPT-3 et le GPT-4. Cette configuration permettrait au modèle d’offrir une grande précision de réponse, mais d’utiliser beaucoup moins de puissance que le fleuron d’OpenAI. Cela se traduirait par des coûts d’inférence moins élevés pour Microsoft.
Selon The Information, le développement de MAI-1 est supervisé par Mustafa Suleyman, fondateur de la société spécialisée dans le développement de LLM Inflection AI, qui a rejoint Microsoft en mars, aux côtés de la plupart des employés de la nouvelle entreprise. L’exécutif a précédemment cofondé DeepMind, l’équipe de recherche en IA de Google.
Avec cela à l’esprit, il ne serait pas très farfelu de penser que Microsoft utilise des données d’entraînement et d’autres actifs d’Inflection AI pour alimenter le MAI-1. L’ensemble de données d’entraînement du modèle inclurait également divers types d’informations, apparemment, tels que du texte généré par GPT-4 et du contenu web. De plus, la société de Redmond mènerait le processus de développement en utilisant un « grand cluster de serveurs » équipé de cartes graphiques Nvidia.
Les sources de The Information ont indiqué que l’entreprise n’a pas encore déterminé comment elle utilisera le MAI-1. Si le modèle compte effectivement 500 milliards de paramètres, il serait trop complexe pour être exécuté sur des appareils grand public, tels que les téléphones mobiles. Par conséquent, il est probable que Microsoft déploie le MAI-1 dans ses centres de données, où le LLM pourrait être intégré à des services tels que Bing et Azure.
