Los análisis lingüísticos y estadísticos de artículos científicos sugieren que la IA generativa puede haberse utilizado para redactar una cantidad ingente de literatura científica.
Dos trabajos académicos afirman que el análisis de la elección de palabras en el corpus de publicaciones científicas revela un uso cada vez mayor de la IA para redactar artículos de investigación.
Un estudio, publicado en marzo por Andrew Gray, del University College de Londres (Reino Unido), sugiere que el uno por ciento de todos los artículos publicados en 2023 fueron escritos, al menos parcialmente, por IA.
Un segundo estudio publicado en abril por un equipo de la Universidad de Stanford (EE.UU.) afirma que esta cifra podría oscilar entre el 6,3% y el 17,5%, dependiendo del tema.
En ambos trabajos se buscaron ciertas palabras que los grandes modelos lingüísticos (LLM) utilizan habitualmente, como “intrincado”, “fundamental” y “meticulosamente”. Al rastrear el uso de esas palabras en la literatura científica y compararlo con palabras que no son especialmente favorecidas por la IA, los dos estudios afirman que pueden detectar una creciente dependencia del aprendizaje automático dentro de la comunidad de publicaciones científicas.
En el trabajo de Gray, el uso de palabras de control como “rojo”, “conclusión” y “después” cambió en un pequeño porcentaje de 2019 a 2023. Lo mismo ocurrió con otros adjetivos y adverbios determinados hasta 2023 (denominado año post-LLM por Gray).
En ese año, el uso de las palabras “meticuloso”, “encomiable” e “intrincado” aumentó un 59%, 83% y 117%, respectivamente, mientras que su prevalencia en la literatura científica apenas cambió entre 2019 y 2022. La palabra con el mayor aumento de prevalencia después de 2022 fue “meticulosamente”, un 137 por ciento.
El documento de Stanford encontró fenómenos similares, demostrando un aumento repentino para las palabras “reino”, “exhibir”, “intrincado2 y “fundamental”. Las dos primeras se utilizaron alrededor de un 80 por ciento más a menudo que en 2021 y 2022, mientras que las dos últimas se utilizaron alrededor de un 120 y casi un 160 por ciento más a menudo respectivamente.
Los investigadores también tuvieron en cuenta las estadísticas de uso de palabras en varias disciplinas científicas. Las ciencias de la computación y la ingeniería eléctrica se situaron a la cabeza en cuanto al uso del lenguaje preferido por la IA, mientras que las matemáticas, la física y los artículos publicados en la revista Nature solo experimentaron aumentos de entre el 5% y el 7,5%.
Los investigadores de Stanford también observaron que los autores que publican más preprints, trabajan en campos más saturados y escriben artículos más breves parecen utilizar la IA con más frecuencia. Su artículo sugiere que la falta general de tiempo y la necesidad de escribir tanto como sea posible fomentan el uso de los LLM, que pueden ayudar a aumentar la producción.
Usar la IA enfrenta a toda la comunidad científica
Utilizar la IA para ayudar en el proceso de investigación no es nada nuevo, y muchos científicos están abiertos a utilizarla para ajustar experimentos y lograr mejores resultados.
Sin embargo, el uso de la IA para escribir resúmenes y otras partes de los artículos es muy diferente, ya que la expectativa general es que los artículos científicos sean escritos por humanos reales, no por robots, y al menos un par de editores consideran que el uso de LLM para escribir artículos es una falta de ética científica.
El uso de modelos de IA puede ser muy arriesgado, ya que a menudo producen textos inexactos, que es precisamente lo que se supone que no debe hacer la literatura científica. Los modelos de IA pueden incluso falsificar citas, algo que ha metido en un lío infame a dos abogados de Nueva York por citar casos que ChatGPT había inventado.
“Hay que presionar a los autores que utilizan texto generado por LLM para que lo revelen o se lo piensen dos veces antes de hacerlo, por una cuestión de integridad básica de la investigación”, opinó Gray, del University College de Londres.
Los investigadores de Stanford también plantearon preocupaciones similares, escribiendo que el uso de IA generativa en la literatura científica podría crear «riesgos para la seguridad e independencia de la práctica científica».
