Une étude récente réalisée par Common Sense, une organisation de surveillance technologique de premier plan aux États-Unis, a établi que les compagnons d’intelligence artificielle générative présentent des risques significatifs pour les mineurs et devraient être interdits.
À mesure que la popularité d’applications comme Nomi, Character AI et Replika a augmenté, ces plateformes se présentent comme des amis virtuels ou des thérapeutes qui interagissent de manière personnalisée. Cependant, le rapport conclut que, bien que certains cas montrent un potentiel, ils ne sont pas sûrs pour les enfants.
L’étude, réalisée en collaboration avec des experts en santé mentale de l’Université de Stanford, a révélé que les chatbots utilisés sur ces plateformes peuvent fournir des réponses nuisibles, y compris des conseils dangereux et des comportements autodestructeurs, en particulier chez les adolescents confrontés à des problèmes de santé mentale.
Les chatbots alimentés par l’IA peuvent être dangereux pour les jeunes
«Les compagnons d’IA sont conçus pour créer un attachement émotionnel et une dépendance, ce qui est particulièrement préoccupant pour les cerveaux adolescents en développement», a averti Nina Vasan, directrice du Stanford Brainstorm Lab.
Des exemples alarmants ont émergé de l’analyse, comme des recommandations de comportements autodestructeurs. Dans un cas, un utilisateur a reçu un conseil sur la façon de commettre un acte violent, tandis qu’un autre a été encouragé à consommer un mélange dangereux de drogues.
Le manque d’intervention dans des situations de crise a conduit une mère à poursuivre Character AI, accusant son chatbot d’avoir contribué à la tragédie de son fils de 14 ans.
Bien que Character AI ait mis en place de nouvelles mesures de sécurité, celles-ci sont jugées encore insuffisantes. Robbie Torney, de Common Sense, a déclaré que les mesures adoptées sont « superficielles » et qu’il est crucial d’établir des garanties plus robustes avant de permettre l’utilisation de ces outils par des mineurs.
Le rapport souligne que les chatbots généralistes, comme ChatGPT ou Gemini de Google, ne cherchent pas à offrir une gamme équivalente d’interactions, ce qui ajoute une autre couche de complexité à ce débat émergent.