William Saunders, un ancien employé de la sécurité d’OpenAI, a comparé l’entreprise d’IA à la White Star Line, la compagnie qui a construit le Titanic. Saunders, qui a travaillé trois ans dans l’équipe de superalignement d’OpenAI, a expliqué dans une récente interview qu’il a démissionné parce qu’il ne voulait pas « finir par travailler pour le Titanic de l’IA ».
Pendant son temps chez OpenAI, Saunders se demandait si l’entreprise ressemblait plus au programme Apollo de la NASA ou au Titanic. Ses inquiétudes portaient sur le plan d’OpenAI d’atteindre l’Intelligence Artificielle Générale (AGI) tout en lançant des produits payants. Selon Saunders, l’entreprise privilégie la création de nouveaux « produits brillants », au lieu de se concentrer sur la sécurité et l’évaluation des risques, contrairement à ce qu’a fait le programme Apollo.
Saunders a souligné que le programme Apollo se caractérisait par la prévision et l’évaluation minutieuse des risques, en maintenant « suffisamment de redondance » pour s’adapter aux problèmes graves, comme ce fut le cas avec Apollo 13. En revanche, la White Star Line a construit le Titanic avec des compartiments étanches et l’a présenté comme insubmersible, mais n’a pas fourni suffisamment de canots de sauvetage, ce qui a conduit à la tragédie bien connue.
L’ancien employé d’OpenAI craint que l’entreprise ne fasse trop confiance à ses mesures de sécurité actuelles (et supposément insuffisantes), et a suggéré qu’OpenAI devrait retarder le lancement de nouveaux modèles d’IA pour étudier les dommages potentiels. Saunders, qui dirigeait un groupe chargé de comprendre les comportements des modèles linguistiques d’IA, a exprimé la nécessité de développer des techniques pour évaluer si ces systèmes « dissimulent des capacités ou des motivations » dangereuses.
Saunders a également exprimé sa déception quant aux actions d’OpenAI jusqu’à présent. En février, il a quitté l’entreprise et en mai, OpenAI a dissous l’équipe de superalignement, peu de temps après avoir lancé GPT-4, son modèle d’IA le plus avancé. La réponse d’OpenAI aux préoccupations de sécurité et son rythme de développement accéléré ont été critiqués par plusieurs employés et experts, qui mettent en garde contre la nécessité d’un plus grand contrôle gouvernemental pour prévenir de futures catastrophes.
Début juin, un groupe d’employés de DeepMind et OpenAI a publié une lettre ouverte, soulignant que les réglementations de supervision actuelles sont insuffisantes pour éviter une catastrophe pour l’humanité. De plus, Ilya Sutskever, cofondateur d’OpenAI et ancien directeur scientifique, a démissionné pour fonder Safe Superintelligence, une startup qui se concentrera sur la recherche en IA avec une priorité sur la sécurité.
