William Saunders, un exempleado de seguridad de OpenAI, ha comparado a la empresa de IA con White Star Line, la compañía que construyó el Titanic. Saunders, quien trabajó tres años en el equipo de superalineación de OpenAI, explicó en una reciente entrevista que renunció porque no quería “acabar trabajando para el Titanic de la IA”.
Durante su tiempo en OpenAI, Saunders se cuestionaba si la empresa se parecía más al programa Apolo de la NASA o al Titanic. Sus inquietudes se centraban en el plan de OpenAI de alcanzar la Inteligencia Artificial General (AGI) mientras lanzaba productos de pago. Según Saunders, la empresa prioriza la creación de nuevos “productos brillantes”, en lugar de enfocarse en la seguridad y evaluación de riesgos, al contrario de lo que hizo el programa Apolo.
Saunders señaló que el programa Apolo se caracterizaba por predecir y evaluar cuidadosamente los riesgos, manteniendo “suficiente redundancia” para adaptarse a problemas graves, como ocurrió con el Apolo 13. En contraste, la White Star Line construyó el Titanic con compartimentos estancos y lo promocionó como insumergible, pero no proporcionó suficientes botes salvavidas, lo que acabó resultando una tragedia cuando ocurrió el famoso desastre.
El exempleado de OpenAI teme que la empresa confíe demasiado en sus actuales (y supuestamente insuficientes) medidas de seguridad, y sugirió que OpenAI debería retrasar el lanzamiento de nuevos modelos de IA para investigar los posibles daños. Saunders, que dirigió un grupo enfocado en entender los comportamientos de los modelos lingüísticos de IA, expresó la necesidad de desarrollar técnicas para evaluar si estos sistemas “ocultan capacidades o motivaciones” peligrosas.
Saunders también manifestó su decepción con las acciones de OpenAI hasta la fecha. En febrero, dejó la empresa, y en mayo, OpenAI disolvió el equipo de superalineación, poco después de lanzar GPT-4, su modelo de IA más avanzado. La respuesta de OpenAI a las preocupaciones de seguridad y su ritmo acelerado de desarrollo han sido objeto de críticas por parte de diversos empleados y expertos, quienes advierten sobre la necesidad de un mayor control gubernamental para prevenir futuras catástrofes.
A principios de junio, un grupo de empleados de DeepMind y OpenAI publicó una carta abierta, destacando que las normas actuales de supervisión son insuficientes para evitar un desastre para la humanidad. Asimismo, Ilya Sutskever, cofundador de OpenAI y exjefe científico, dimitió para fundar Safe Superintelligence, una startup que se enfocará en investigar la IA con un enfoque prioritario en la seguridad.
