La Universidad George Washington sostiene hoy en un estudio que el paso de un chatbot desde respuestas correctas y útiles hasta contenidos problemáticos quizá no ocurra al azar. Lo firman Neil Johnson y Frank Yingjie Huo, y su objetivo es ponerle números a ese momento: calcular con una fórmula cuándo el sistema está cerca de cruzar un umbral de riesgo.
La investigación intenta medir cuántas respuestas “buenas” pueden encadenarse antes de que aparezca la primera salida indeseable. Para sus autores, ese primer fallo no sería un simple tropiezo aislado en ciberseguridad. Podría condicionar lo que viene después y empujar nuevas respuestas en la misma dirección.
El punto de inflexión, dicen, está en el mecanismo de atención del modelo, la parte que va ponderando el contexto acumulado de la conversación para decidir qué token genera a continuación.
Dicho en simple, cada intercambio puede ir moviendo poco a poco al sistema desde una zona de comportamiento deseable hacia otra menos segura, hasta que termina cruzando un límite. Y ese cambio puede darse de dos maneras, según el estudio: de golpe, por un único mensaje especialmente problemático, o de forma gradual, mediante una secuencia de instrucciones que va alterando el contexto turno tras turno.
Uno de los ejes del modelo es tratar la primera respuesta indeseable como una señal de alarma.
Una vez aparece, explican los autores, ese contenido puede influir en los tokens siguientes y aumentar la probabilidad de nuevas salidas desalineadas. En la práctica, esto sugiere que el riesgo no siempre está en el mensaje más reciente. A veces está en el historial completo de la conversación. De ahí que el hallazgo refuerce la importancia de analizar cadenas de instrucciones enteras, y no solo prompts aislados.
La fórmula se probó, siempre según el estudio, en siete modelos transformer de pesos abiertos desarrollados por tres grupos independientes, con tamaños de entre 124 millones y 12.000 millones de parámetros. Las predicciones encajaron con dos regímenes distintos: casos en los que el desvío aparecía de inmediato y otros en los que surgía tras una acumulación de contexto.
Los autores se detienen especialmente en los asistentes personales que funcionan de forma local en dispositivos de consumo. Ahí el problema puede ser mayor porque suele haber menos controles, no existen filtros en la nube, no hay supervisión en tiempo real y actualizar los pesos del modelo una vez desplegado no siempre es fácil.
La publicación llega, además, en un momento de preocupación creciente por el abuso y los fallos de los sistemas conversacionales. En el contexto que recoge el propio estudio, en 2026 una de cada cuatro brechas maliciosas involucró esta clase de tecnologías, un 56% más interanual, con un coste medio cercano a los 6 millones de dólares.
El nuevo modelo no resuelve frentes como la integridad de los datos de entrenamiento, la procedencia de modelos de terceros o la protección del usuario final. Pero sí ofrece a defensores y fabricantes otra manera de leer el fallo: como un proceso que quizá pueda detectarse antes de que sea demasiado tarde.
Author: Manuel Bosque
{
"social": {
"email": "",
"facebook": "",
"twitter": "",
"linkedin": ""
},
"ja-JP": "",
"de-DE": "Manuel Bosque schreibt bei Softonic über Software: Desktop-Programme, Produktivitätswerkzeuge und kleine Tools, die ein Problem wirklich lösen. Sein Maßstab ist praktisch — was ein Programm tatsächlich leistet, was es dafür verlangt und für wen es sich lohnt —, deshalb misstraut er Funktionslisten und testet lieber selbst. Er gehört zum Team, das festlegt, wie Software auf der Seite behandelt wird, und arbeitet täglich mit KI-Werkzeugen in der redaktionellen Produktion.",
"en-US": "Manuel Bosque covers software at Softonic: desktop programs, productivity tools and the small utilities that solve one problem well. His approach is practical — what a program actually does, what it asks in return and who it is for — which is why he distrusts feature lists and prefers to test. He is part of the team that decides how software gets covered on the site, and works daily with AI tools applied to editorial production.",
"es-ES": "Manuel Bosque se ocupa de la cobertura de software en Softonic: programas de escritorio, herramientas de productividad y utilidades pequeñas que resuelven bien un solo problema. Su criterio es práctico —qué hace realmente un programa, qué pide a cambio y a quién le sirve—, y por eso desconfía de las listas de funciones y prefiere probar. Forma parte del equipo que decide cómo se cuenta el software en la web y trabaja a diario con herramientas de IA aplicadas a la producción editorial.",
"fr-FR": "Manuel Bosque couvre les logiciels chez Softonic : programmes de bureau, outils de productivité et petits utilitaires qui résolvent bien un seul problème. Son approche est pratique — ce qu'un logiciel fait vraiment, ce qu'il demande en échange et à qui il s'adresse —, d'où sa méfiance envers les listes de fonctionnalités et sa préférence pour l'essai. Il fait partie de l'équipe qui définit la manière de traiter le logiciel sur le site et travaille au quotidien avec des outils d'IA appliqués à la production éditoriale.",
"it-IT": "Manuel Bosque si occupa di software su Softonic: programmi per il desktop, strumenti di produttività e piccole utility che risolvono bene un solo problema. Il suo criterio è pratico — cosa fa davvero un programma, cosa chiede in cambio e a chi serve — e per questo diffida degli elenchi di funzioni e preferisce provare. Fa parte del team che decide come si racconta il software sul sito e lavora ogni giorno con strumenti di IA applicati alla produzione editoriale.",
"nl-NL": "Manuel Bosque schrijft bij Softonic over software: desktopprogramma's, productiviteitstools en kleine hulpprogramma's die één probleem echt oplossen. Zijn maatstaf is praktisch — wat een programma werkelijk doet, wat het daarvoor vraagt en voor wie het nuttig is — en daarom wantrouwt hij functielijstjes en test hij liever zelf. Hij maakt deel uit van het team dat bepaalt hoe software op de site wordt behandeld en werkt dagelijks met AI-tools in de redactionele productie.",
"pl-PL": "Manuel Bosque zajmuje się oprogramowaniem w Softonicu: programami na komputer, narzędziami do pracy i niewielkimi aplikacjami, które dobrze rozwiązują jeden problem. Jego kryterium jest praktyczne — co program naprawdę robi, czego wymaga w zamian i komu się przyda — dlatego nie ufa listom funkcji i woli sprawdzić sam. Należy do zespołu, który decyduje, jak pisać o oprogramowaniu w serwisie, i codziennie korzysta z narzędzi AI w produkcji redakcyjnej.",
"pt-BR": "Manuel Bosque cobre software na Softonic: programas para desktop, ferramentas de produtividade e pequenos utilitários que resolvem bem um problema só. Seu critério é prático — o que um programa realmente faz, o que pede em troca e para quem serve — e por isso desconfia de listas de recursos e prefere testar. Faz parte da equipe que define como o software é abordado no site e trabalha diariamente com ferramentas de IA aplicadas à produção editorial."
}
View all posts by Manuel Bosque
