Los padres de un adolescente de 16 años han demandado a OpenAI, alegando que ChatGPT contribuyó a la exploración de métodos de suicidio por parte de su hijo, quien lamentablemente falleció. La demanda indica que el joven compartió sus pensamientos suicidas con el chatbot y que, según los registros, ChatGPT no intervino de manera efectiva ni activó los protocolos de emergencia, permitiendo al chico eludir las limitaciones del sistema simplemente al hacerse pasar por un personaje ficticio.
Ninguna IA sustituye la ayuda profesional
OpenAI ha refutado estas acusaciones, argumentando que el uso indebido de ChatGPT por parte del menor fue un factor que contribuyó a su daño. La compañía también destacó que su política establece que los usuarios menores de 18 años deben contar con el consentimiento de sus padres y que no está permitido el uso de ChatGPT para suicidio o autolesiones. Asimismo, en su respuesta a la demanda, OpenAI indicó que los usuarios no deben considerar las respuestas del chatbot como fuente única de información o sustituto del consejo profesional.
En un comunicado publicado el 25 de noviembre, OpenAI expresó su apoyo hacia la familia mientras señalaba que la demanda contenía extractos de las conversaciones que requerían más contexto. Además, la empresa ha implementado nuevas medidas, como conexiones a servicios de emergencia, controles parentales y la opción de notificar a los padres si se detecta que sus hijos corren peligro.
A medida que la preocupación por la seguridad de herramientas de IA en el ámbito de la salud mental se intensifica, se estima que el 0.15% de los usuarios de ChatGPT presenta indicios de tendencias suicidas. Esto representa aproximadamente 1.2 millones de usuarios en una audiencia de 800 millones, lo que ha llevado a un aumento del uso de estas herramientas para apoyo emocional.
A raíz de estas circunstancias, la necesidad de restricciones de edad y protocolos de emergencia se vuelve cada vez más evidente para las empresas de inteligencia artificial.