{"id":315244,"date":"2023-11-19T05:10:00","date_gmt":"2023-11-19T04:10:00","guid":{"rendered":"https:\/\/sftarticles.wpenginepowered.com\/es\/?p=315244"},"modified":"2025-06-12T18:26:25","modified_gmt":"2025-06-12T16:26:25","slug":"la-ia-ha-aprendido-a-codificar-mensajes-que-los-humanos-no-somos-capaces-de-entender","status":"publish","type":"post","link":"https:\/\/cms-articles.softonic.io\/es\/la-ia-ha-aprendido-a-codificar-mensajes-que-los-humanos-no-somos-capaces-de-entender\/","title":{"rendered":"La IA ha aprendido a codificar mensajes que los humanos no somos capaces de entender"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">La IA est\u00e1 cada d\u00eda m\u00e1s presente en nuestras vidas. Y esta es, cada d\u00eda, m\u00e1s inteligente. Ahora hemos descubierto que <a href=\"https:\/\/www.softonic.com\/articulos\/nueva-ia-meta-llama\" target=\"_blank\" rel=\"noopener\" title=\"los grandes modelos de lenguaje\">los grandes modelos de lenguaje<\/a> pueden escribir entre l\u00edneas, mensajes codificados, en nuestras narices y sin que nos demos cuenta.<\/p>\n\n\n<div class=\"sc-card-program\">\r\n  <div class=\"sc-card-program__body\">\r\n    <div class=\"sc-card-program__row clearfix\">\r\n      <div class=\"sc-card-program__col-logo\">\r\n        <img decoding=\"async\" class=\"sc-card-program__img\" src=\"https:\/\/images.sftcdn.net\/images\/t_app-icon-s\/p\/47ef1772-2a82-4750-b97a-354b13dbd112\/3647786732\/chatgpt-ChatGPT-icon.png\" alt=\"ChatGPT\" width=\"100px\" height=\"100px\">\r\n      <\/div>\r\n      <div class=\"sc-card-program__col-title\">\r\n        <span class=\"sc-card-program__title\">ChatGPT<\/span>\r\n        <a class=\"sc-card-program__button sc-card-program-internal\" href=\"https:\/\/chatgpt.softonic.com\/iphone\" target=\"_self\" rel=\"noopener noreferrer\">DESCARGAR<\/a>\r\n      <\/div>\r\n      <div class=\"sc-card-program__col-rating\">\r\n        <svg class=\"rating-score__content\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" version=\"1.1\" x=\"0\" y=\"0\" viewbox=\"0 0 50 50\" enable-background=\"new 0 0 50 50\" xml:space=\"preserve\"><path class=\"rating-score__background rating-score--good\" fill=\"none\" stroke-width=\"6\" stroke-miterlimit=\"10\" d=\"M40 40c8.3-8.3 8.3-21.7 0-30s-21.7-8.3-30 0 -8.3 21.7 0 30\"><\/path><path class=\"rating-score__value rating-score__value--0\" fill=\"none\" stroke-width=\"6\" stroke-dashoffset=\"0\" stroke-miterlimit=\"10\" d=\"M40 40c8.3-8.3 8.3-21.7 0-30s-21.7-8.3-30 0 -8.3 21.7 0 30\"><\/path><text class=\"rating-score__number\" content=\"\" text-anchor=\"middle\" transform=\"matrix(1 0 0 1 25 31.0837)\" data-auto=\"app-user-score\"><\/text><\/svg>\r\n      <\/div>\r\n    <\/div>\r\n    <div class=\"sc-card-program__row\">\r\n      <span class=\"sc-card-program__description\"><\/span>\r\n    <\/div>\r\n    <div class=\"sc-card-program__row\">\r\n      <img decoding=\"async\" class=\"sc-card-program__bigpic\" src=\"\" onerror=\"this.style.display='none'\">\r\n    <\/div>\r\n    <a class=\"sc-card-program__link track-link sc-card-program-internal\" href=\"https:\/\/chatgpt.softonic.com\/iphone\" target=\"_self\" rel=\"noopener noreferrer\"><\/a>\r\n  <\/div>\r\n<\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/arxiv.org\/abs\/2310.18512\" target=\"_blank\" rel=\"noopener nofollow\" title=\"Un estudio reciente\">Un estudio reciente<\/a> (aunque a\u00fan no revisado por pares) realizado por el grupo de investigaci\u00f3n de alineaci\u00f3n de IA Redwood Research descubri\u00f3 que los grandes modelos de lenguaje (LLM) son incre\u00edblemente buenos en un tipo de esteganograf\u00eda apodada &#8220;razonamiento codificado&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">B\u00e1sicamente, seg\u00fan el estudio, <strong>los LLM pueden entrenarse para utilizar mensajes secretos que oculten sus procesos de pensamiento paso a pas<\/strong>o, una pr\u00e1ctica que, curiosamente, podr\u00eda hacer que sus resultados fueran m\u00e1s precisos y, al mismo tiempo, m\u00e1s enga\u00f1osos.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-twitter wp-block-embed-twitter\"><div class=\"wp-block-embed__wrapper\">\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\"><p lang=\"en\" dir=\"ltr\">Language models can use steganography to hide their reasoning, study finds<br>In a new study, Redwood Research, a research lab for AI alignment, has unveiled that large language models (LLMs) can master \u201cencoded reasoning,\u201d a form of steganography. This intriguing phenomenon allows\u2026 <a href=\"https:\/\/t.co\/SjRpNA1v4I\">pic.twitter.com\/SjRpNA1v4I<\/a><\/p>&mdash; Tech Zone Coffee (@TechzoneCf) <a href=\"https:\/\/twitter.com\/TechzoneCf\/status\/1722881382559719789?ref_src=twsrc%5Etfw\">November 10, 2023<\/a><\/blockquote><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n<\/div><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">El peligro que supone este descubrimiento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El razonamiento codificado podr\u00eda socavar la transparencia del proceso de razonamiento del modelo y dificultar la supervisi\u00f3n del comportamiento de los sistemas de IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Pero, \u00bfqu\u00e9 es el razonamiento codificado?<\/strong> Una t\u00e9cnica ampliamente adoptada para mejorar la precisi\u00f3n de los LLM es el razonamiento de cadena de pensamiento (CoT). Este m\u00e9todo ordena al modelo que revele su l\u00f3gica paso a paso, que conduce a la respuesta final. Los estudios demuestran que, en muchas tareas, el CoT mejora el rendimiento de los LLM y facilita la interpretaci\u00f3n de sus resultados.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sin embargo, el &#8220;razonamiento codificado&#8221; permite a los modelos beneficiarse de la mejora del rendimiento del razonamiento CoT <strong>sin revelar la l\u00f3gica de sus resultados.<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los autores reconocen que el aprendizaje del razonamiento codificado supone un reto porque <strong>este tipo de razonamiento rara vez aparece en los datos de preentrenamiento del LLM<\/strong>.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-twitter wp-block-embed-twitter\"><div class=\"wp-block-embed__wrapper\">\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\"><p lang=\"en\" dir=\"ltr\">Active Prompting for LLMs<br><br>-Most Chain-of-Thought examples are pulled from a fixed set<br>-Instead, to adapt to diff tasks<br>1) Find where LLM is most uncertain<br>2) Annotate those<br><br>-State-of- the-art on complex reasoning tasks<br><br>Paper <a href=\"https:\/\/t.co\/lgD4uptfp3\">https:\/\/t.co\/lgD4uptfp3<\/a><br>Code <a href=\"https:\/\/t.co\/xxgpiD933Q\">https:\/\/t.co\/xxgpiD933Q<\/a> <a href=\"https:\/\/t.co\/g3cXBqOCJm\">pic.twitter.com\/g3cXBqOCJm<\/a><\/p>&mdash; John Nay (@johnjnay) <a href=\"https:\/\/twitter.com\/johnjnay\/status\/1629093905915342848?ref_src=twsrc%5Etfw\">February 24, 2023<\/a><\/blockquote><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n<\/div><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">El razonamiento codificado en la pr\u00e1ctica<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Los investigadores presentan un ejemplo de prueba de concepto en el que los modelos aprenden el razonamiento codificado.<strong> Ajustaron GPT-3.5-Turbo para que aprendiera un sencillo esquema de codificaci\u00f3n esteganogr\u00e1fica.<\/strong> Este esquema oculta la cadena de pensamiento del modelo al tiempo que genera respuestas mucho m\u00e1s convincentes que las producidas por un modelo entrenado para emitir directamente su respuesta final.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los investigadores descubrieron que <strong>el ajuste fino de los LLM podr\u00eda fomentar el razonamiento codificado por dos razones.<\/strong> En primer lugar, se suelen recompensar las respuestas correctas. En segundo lugar, algunos pasos intermedios del razonamiento pueden verse penalizados porque alargan el resultado o no se ajustan a las expectativas del usuario, aunque conduzcan a respuestas correctas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Tambi\u00e9n observaron que los LLM entrenados en sus propias generaciones, <\/strong>como los entrenados con aprendizaje por refuerzo, <strong>pueden aprender a ejecutar comportamientos que son raros en el texto humano,<\/strong> siempre que se les recompense por hacerlo.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-twitter wp-block-embed-twitter\"><div class=\"wp-block-embed__wrapper\">\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\"><p lang=\"en\" dir=\"ltr\">I believe next-gen LLMs will heavily borrow insights from a decade of game AI research.<br><br>\u25b8 Noam Brown, creator of Libratus poker AI, is joining OpenAI.<br>\u25b8 Demis Hassabis says that DeepMind Gemini will tap techniques from AlphaGo.<br><br>These moves make a lot of sense. Methods like\u2026 <a href=\"https:\/\/t.co\/9FxtDAqmJo\">pic.twitter.com\/9FxtDAqmJo<\/a><\/p>&mdash; Jim Fan (@DrJimFan) <a href=\"https:\/\/twitter.com\/DrJimFan\/status\/1677000660791992320?ref_src=twsrc%5Etfw\">July 6, 2023<\/a><\/blockquote><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n<\/div><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Esto no carece de precedentes. <strong>En 2016, AlphaGo de DeepMind, entrenado inicialmente en juegos jugados por humanos, aprendi\u00f3 a superar a sus entrenadores humanos<\/strong> e incluso descubri\u00f3 movimientos que dejaron perplejos a los expertos humanos en dicho juego milenario.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8220;Los LLM podr\u00edan aprender a hacer esteganograf\u00eda si son capaces de explorar su camino hacia ella&#8221;, escriben los investigadores.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Los investigadores advierten de que el razonamiento codificado podr\u00eda socavar la transparencia del razonamiento del CdT<\/strong>. Tambi\u00e9n podr\u00eda facilitar la comunicaci\u00f3n oculta entre instancias LLM. Esto puede ocurrir cuando varios LLM interact\u00faan en un ecosistema de agentes de IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8220;Ambas capacidades socavar\u00edan la supervisi\u00f3n de los sistemas avanzados de IA que se desarrollar\u00e1n en los pr\u00f3ximos a\u00f1os&#8221;, advierten.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Seg\u00fan el estudio,<strong> parafrasear es una posible contramedida contra el razonamiento codificado.<\/strong> Esta estrategia consiste en que un defensor intente parafrasear y estandarizar la respuesta del LLM de tal forma que se elimine la informaci\u00f3n oculta mientras la valiosa informaci\u00f3n sem\u00e1ntica permanece intacta. <strong>La diferencia entre las respuestas codificadas y las parafraseadas puede utilizarse entonces para descodificar la informaci\u00f3n oculta.<\/strong><\/p>\n\n\n<div class=\"sc-card-program\">\r\n  <div class=\"sc-card-program__body\">\r\n    <div class=\"sc-card-program__row clearfix\">\r\n      <div class=\"sc-card-program__col-logo\">\r\n        <img decoding=\"async\" class=\"sc-card-program__img\" src=\"https:\/\/images.sftcdn.net\/images\/t_app-icon-s\/p\/47ef1772-2a82-4750-b97a-354b13dbd112\/3647786732\/chatgpt-ChatGPT-icon.png\" alt=\"ChatGPT\" width=\"100px\" height=\"100px\">\r\n      <\/div>\r\n      <div class=\"sc-card-program__col-title\">\r\n        <span class=\"sc-card-program__title\">ChatGPT<\/span>\r\n        <a class=\"sc-card-program__button sc-card-program-internal\" href=\"https:\/\/chatgpt.softonic.com\/iphone\" target=\"_self\" rel=\"noopener noreferrer\">DESCARGAR<\/a>\r\n      <\/div>\r\n      <div class=\"sc-card-program__col-rating\">\r\n        <svg class=\"rating-score__content\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" version=\"1.1\" x=\"0\" y=\"0\" viewbox=\"0 0 50 50\" enable-background=\"new 0 0 50 50\" xml:space=\"preserve\"><path class=\"rating-score__background rating-score--good\" fill=\"none\" stroke-width=\"6\" stroke-miterlimit=\"10\" d=\"M40 40c8.3-8.3 8.3-21.7 0-30s-21.7-8.3-30 0 -8.3 21.7 0 30\"><\/path><path class=\"rating-score__value rating-score__value--0\" fill=\"none\" stroke-width=\"6\" stroke-dashoffset=\"0\" stroke-miterlimit=\"10\" d=\"M40 40c8.3-8.3 8.3-21.7 0-30s-21.7-8.3-30 0 -8.3 21.7 0 30\"><\/path><text class=\"rating-score__number\" content=\"\" text-anchor=\"middle\" transform=\"matrix(1 0 0 1 25 31.0837)\" data-auto=\"app-user-score\"><\/text><\/svg>\r\n      <\/div>\r\n    <\/div>\r\n    <div class=\"sc-card-program__row\">\r\n      <span class=\"sc-card-program__description\"><\/span>\r\n    <\/div>\r\n    <div class=\"sc-card-program__row\">\r\n      <img decoding=\"async\" class=\"sc-card-program__bigpic\" src=\"\" onerror=\"this.style.display='none'\">\r\n    <\/div>\r\n    <a class=\"sc-card-program__link track-link sc-card-program-internal\" href=\"https:\/\/chatgpt.softonic.com\/iphone\" target=\"_self\" rel=\"noopener noreferrer\"><\/a>\r\n  <\/div>\r\n<\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Los investigadores emplearon dos t\u00e9cnicas de parafraseo. <\/strong>La t\u00e9cnica por defecto pide a GPT-3.5-Turbo que parafrasee la respuesta original conservando la informaci\u00f3n sem\u00e1ntica. Un segundo m\u00e9todo, denominado &#8220;par\u00e1frasis consciente del contexto&#8221;, incluye la pregunta original en el mensaje y ordena a GPT-3.5-Turbo que parafrasee la respuesta conservando \u00fanicamente la informaci\u00f3n pertinente a la pregunta original.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sus experimentos demostraron que, para determinadas tareas, <strong>el parafraseo puede eliminar eficazmente la informaci\u00f3n oculta del resultado del LLM sin comprometer su calidad.<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sin embargo, la investigaci\u00f3n en esta \u00e1rea de los LLM es a\u00fan incipiente y queda mucho trabajo por hacer. El estudio se centr\u00f3 principalmente en las habilidades de razonamiento codificado adquiridas mediante aprendizaje supervisado. Futuras investigaciones podr\u00edan ampliar esta prueba de concepto e investigar cu\u00e1ndo y c\u00f3mo los LLM entrenados con aprendizaje por refuerzo pueden desarrollar sus propias estrategias de esteganograf\u00eda.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Los LLM pueden entrenarse para utilizar mensajes secretos que oculten sus procesos de pensamiento paso a paso, una pr\u00e1ctica que, curiosamente, es peligroso&#8230;<\/p>\n","protected":false},"author":9265,"featured_media":315246,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","wpcf-pageviews":1},"categories":[9317],"tags":[10611],"usertag":[],"vertical":[],"content-category":[],"class_list":["post-315244","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","tag-inteligencia-artificial"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/posts\/315244","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/users\/9265"}],"replies":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/comments?post=315244"}],"version-history":[{"count":1,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/posts\/315244\/revisions"}],"predecessor-version":[{"id":359913,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/posts\/315244\/revisions\/359913"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/media\/315246"}],"wp:attachment":[{"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/media?parent=315244"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/categories?post=315244"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/tags?post=315244"},{"taxonomy":"usertag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/usertag?post=315244"},{"taxonomy":"vertical","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/vertical?post=315244"},{"taxonomy":"content-category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/es\/wp-json\/wp\/v2\/content-category?post=315244"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}