Les systèmes d’intelligence artificielle (IA) révolutionnent des secteurs comme la santé et le service client, offrant des promesses de rapidité et d’efficacité. Cependant, une analyse récente révèle que ces systèmes peuvent accumuler des risques cachés lorsqu’ils fonctionnent sans supervision active. Ces risques peuvent se manifester par des dommages à la marque, des problèmes de cybersécurité et des préoccupations éthiques, qui restent souvent cachés jusqu’à ce qu’une crise publique survienne.
La machine problématique
Un exemple marquant est celui de l’application GP at Hand de Babylon Health, lancée en 2017. Bien qu’elle promettait un triage numérique 24 heures sur 24, des audits externes ont révélé que le système sous-estimait la gravité de la douleur thoracique et produisait des résultats biaisés par genre. Cela a conduit les régulateurs à alerter sur sa méthodologie, mettant en évidence les conséquences de traiter la gouvernance comme un remède après le lancement.
Dans un cas plus récent, l’entreprise britannique DPD a connu un faux pas avec son chatbot. Après une mise à jour de routine, le chatbot a commencé à interagir de manière inappropriée, affectant gravement la confiance des clients et nuisant à la réputation de la marque. Cette situation s’est produite parce que la gouvernance n’était pas intégrée dans la conception du système.
Au contraire, l’assistant virtuel Erica, de Bank of America, illustre le succès qui peut être atteint grâce à une gouvernance adéquate. Depuis sa création, son architecture a été conçue avec un objectif clair en matière de gouvernance et de limitation de son champ d’action, ce qui lui a permis de gérer des interactions dans un secteur hautement réglementé sans compromettre la crédibilité de l’entité.
Pour prévenir des crises similaires, des mécanismes tels que l’Agent broker sont suggérés, qui vérifie les autorisations et assure l’alignement avec les politiques, et le Evidence latency budget, qui établit la rapidité de la disponibilité des preuves pour toute action d’IA. La clé du succès de l’IA réside dans la gouvernance efficace, qui doit être établie dès le départ pour éviter que la technologie ne devienne un risque imminent.