L’équipe de recherche en intelligence artificielle d’Apple a publié un article intéressant sur les faiblesses des capacités de raisonnement des modèles de langage. Dans cet article, disponible sur arXiv (via Macrumors), l’équipe explique comment elle a évalué une série de modèles de langage de différents développeurs leaders, y compris OpenAI et Meta, pour déterminer leur capacité à résoudre des problèmes mathématiques et de raisonnement logique. Les résultats indiquent une fragilité préoccupante dans la performance de ces modèles, qui semble être davantage liée à la correspondance de motifs qu’au raisonnement logique proprement dit. Le problème du […]
L’équipe de recherche en intelligence artificielle d’Apple a publié un article intéressant sur les faiblesses des capacités de raisonnement des modèles de langage. Dans cet article, disponible sur arXiv (via Macrumors), l’équipe explique comment elle a évalué une série de modèles de langage de différents développeurs leaders, y compris OpenAI et Meta, pour déterminer leur capacité à résoudre des problèmes mathématiques et de raisonnement logique. Les résultats indiquent une fragilité préoccupante dans la performance de ces modèles, qui semble être davantage liée à la correspondance de motifs qu’au raisonnement logique proprement dit.
Le problème du « raisonnement » dans les IA
L’un des résultats les plus remarquables de l’étude est que de petites variations dans la formulation d’une question peuvent entraîner de grandes divergences dans les réponses des modèles. Dans des situations où la cohérence logique et la précision sont requises, cette incohérence sape la fiabilité de ces IA. Par exemple, en posant une question mathématique apparemment simple, l’inclusion de détails non pertinents peut conduire à des réponses erronées.
Dans l’un des tests, un problème de mathématiques demandait combien de kiwis une personne avait récoltés au cours de plusieurs jours. En introduisant des informations supplémentaires, comme la taille de certains kiwis, les modèles, y compris le o1 d’OpenAI et le Llama de Meta, se sont trompés sur le total, bien que ces détails n’affectaient en rien le résultat final.
Selon l’équipe d’Apple, les modèles n’appliquent pas un raisonnement logique, mais utilisent des schémas appris lors de leur entraînement pour « deviner » les réponses. L’étude souligne que même un changement aussi mineur que les noms utilisés dans les questions peut altérer les résultats de 10 %.
Le défi de la logique dans l’IA : quelle est la solution ?
La principale préoccupation qui découle de ces découvertes est que les modèles actuels d’IA ne sont pas capables de raisonner de manière authentique. Au lieu d’utiliser la logique, ces systèmes reconnaissent des motifs complexes dans les données avec lesquelles ils ont été entraînés, ce qui leur permet de générer des réponses convaincantes dans une large variété de tâches. Cependant, cette approche a une limite claire : lorsque la tâche nécessite une réflexion cohérente et précise, l’IA échoue souvent.
Face à cette situation, Apple propose une solution possible : la combinaison de réseaux neuronaux avec le raisonnement symbolique traditionnel, une approche connue sous le nom d’IA neurosymbolique. Cette approche hybride vise à tirer parti du meilleur des deux mondes. Les réseaux neuronaux sont excellents pour les tâches de reconnaissance de motifs et le traitement du langage naturel, mais ils manquent des capacités de raisonnement logique nécessaires dans de nombreux scénarios. En intégrant des techniques symboliques, qui sont plus rigides mais beaucoup plus précises en termes de logique, les IA pourraient améliorer leur prise de décision et leur résolution de problèmes.
Les résultats de l’étude d’Apple mettent en évidence une limitation clé des technologies actuelles d’IA. Bien que cela ne semble pas évident, et tandis que les prémisses de nouvelles fonctionnalités d’Apple Intelligence apparaissent, nous sommes aux débuts du développement des intelligences artificielles et explorons encore leurs capacités. Dans ce contexte, des recherches comme celle-ci tracent une voie claire à suivre pour faire évoluer ces outils. Une voie où les IA seraient capables de raisonner et de nous offrir précision et cohérence lorsque nous en avons besoin.
