Un reciente estudio del Tow Center for Digital Journalism, perteneciente a la Escuela de Periodismo de Columbia, pone en evidencia los preocupantes fallos en las citas generadas por ChatGPT, incluso cuando los editores de noticias han autorizado el uso de su contenido.
Los investigadores examinaron cómo cita las fuentes el chatbot al responder consultas, analizando 200 citas provenientes de 20 editores, entre ellos The New York Times, The Washington Post y The Financial Times. El objetivo era evaluar si ChatGPT identificaba correctamente los artículos originales de los que procedían las citas.
Los resultados no son alentadores. Según los investigadores Klaudia Jaźwińska y Aisvarya Chandrasekar, “aunque OpenAI enfatiza su capacidad de proporcionar respuestas oportunas con enlaces a fuentes relevantes, no garantiza la precisión de esas citas”. De hecho, en 153 ocasiones las citas fueron parcial o totalmente incorrectas. Solo en siete casos el chatbot admitió no poder encontrar la fuente, utilizando términos como “parece” o “es posible”.
El estudio también reveló que ChatGPT suele mentir para generar respuestas cuando no encuentra la información, llegando a inventarse citas incluso en situaciones donde se bloqueó el acceso a los rastreadores de OpenAI. Por ejemplo, en un caso atribuyó un artículo de The New York Times a una página que había plagiado el contenido original, generando así dudas sobre la capacidad de OpenAI para filtrar datos de calidad.
Otro hallazgo preocupante es la inconsistencia de ChatGPT. Al repetir las consultas, el chatbot daba respuestas distintas, lo que dificulta confiar en la precisión de las citas. Los investigadores destacan que esta falta de transparencia puede causar daños reputacionales y desviar tráfico web de los editores de noticias.
Tanto los editores con acuerdos de licencia como aquellos que bloquean los rastreadores deben lidiar con problemas similares. “Los editores tienen poca capacidad significativa para controlar cómo se usa su contenido”, concluye el estudio. OpenAI, por su parte, ha defendido su herramienta, señalando que ya trabaja en mejoras para garantizar la precisión de las citas.
