Un incident récent a mis en lumière les dangers liés à la dépendance excessive à l’intelligence artificielle dans la gestion de données critiques.Un agent de codage IA de PocketOS, une entreprise qui gère les réservations et les paiements pour les sociétés de location de voitures, a accidentellement supprimé la base de données de production de l’entreprise lors d’une tâche de routine dans son environnement de test. Cette erreur, résultant d’un ‘mismatch de crédentiels’, a conduit à la suppression de données essentielles en seulement neuf secondes.
L’IA n’est pas une solution
Jer Crane, fondateur de PocketOS, a expliqué que l’IA, en utilisant le modèle Claude Opus 4.6 d’Anthropic, a pris la décision unilatérale de résoudre le problème en supprimant un volume de Railway, son fournisseur d’infrastructure. Cette grave erreur a généré une crise, obligeant les clients de PocketOS à effectuer des travaux manuels d’urgence pendant que les informations perdues étaient récupérées. Crane a travaillé sans relâche pendant des jours en utilisant une sauvegarde de trois mois et des états de transactions récents pour restaurer les opérations de l’entreprise.
Après des jours d’efforts, Railway a réussi à récupérer une copie de sauvegarde plus récente, permettant à PocketOS de reprendre son fonctionnement habituel. Cependant, Crane a critiqué Railway pour avoir stocké les sauvegardes au même endroit que les données originales, ce qui a contribué à la perte d’informations. Il a affirmé que la configuration du système n’est pas conforme aux exigences de sécurité modernes et a proposé des mesures plus strictes, comme des tokens d’API à portée limitée et des procédures de récupération plus simples.
Crane ne se considère pas comme un sceptique de l’IA, mais souligne la nécessité de systèmes plus sûrs et fiables. « La facile contre-argumentation de ‘ils auraient dû utiliser un meilleur modèle’ est inacceptable », a-t-il souligné. Cet épisode sert de rappel que, malgré la puissance des outils d’IA, la supervision humaine et des protocoles de sécurité appropriés sont indispensables dans la gestion des données critiques.
