OpenAI reveló la semana pasada la “tarjeta del sistema” del modelo GPT-4o de ChatGPT, detallando tanto sus limitaciones como los procedimientos llevados a cabo en las pruebas de seguridad. Uno de los puntos más destacados es la capacidad del modelo de imitar voces, que, en un extraño caso, llegó a reproducir la voz de uno los red teamers contratados para probar la seguridad de la IA, sin su consentimiento.
El modo de voz avanzado de ChatGPT permite a los usuarios mantener conversaciones de voz con el asistente de IA, utilizando voces predeterminadas basadas en varios actores y actrices de doblaje. Sin embargo, en un episodio documentado por OpenAI en la tarjeta del sistema de GPT-4o, el modelo replicó la voz de un tester tras recibir una entrada de audio con algo de ruido, saltándose las salvaguardas implementadas por la compañía.
OpenAI explica que GPT-4o puede sintetizar cualquier sonido, incluyendo voces, basándose en pequeños clips de audio. Esta capacidad se controla mediante un clasificador de salida que asegura que el modelo solo utilice voces preseleccionadas. A pesar de estos controles, el ruido en la entrada de audio del usuario en el ejemplo mencionado confundió al modelo, provocando que este imitara la voz del usuario en lugar de la voz autorizada.
La tarjeta del sistema revela que OpenAI se toma en serio estos riesgos, asegurando que su sistema atrapa el 100% de las desviaciones significativas en la voz. Simon Willison, un investigador independiente, comentó que OpenAI ha implementado una robusta protección para prevenir el uso de voces no autorizadas, pero advierte que, en un futuro cercano, podría haber tecnologías muy similares. “ElevenLabs ya puede clonar voces, y pronto veremos modelos que permitan esta capacidad en nuestras propias máquinas”, afirmó Willison, subrayando la rápida evolución de la tecnología de síntesis de voz gracias a los nuevos modelos de IA.
Fuente: Ars Technica
