El equipo de investigación de inteligencia artificial de Apple ha publicado un interesante paper sobre las debilidades en las capacidades de razonamiento de los modelos de lenguaje. En el paper, disponible en arXiv (vía Macrumors), el equipo explica cómo evaluó una serie de modelos de lenguaje de diferentes desarrolladores líderes, incluidos OpenAI y Meta, para determinar su habilidad en la resolución de problemas matemáticos y de razonamiento lógico. Los resultados apuntan a una preocupante fragilidad en el rendimiento de estos modelos, que parece estar más vinculado a la coincidencia de patrones que al razonamiento lógico propiamente dicho.
El problema del “razonamiento” en las IA
Uno de los hallazgos más destacables del estudio es que pequeñas variaciones en la formulación de una pregunta pueden desencadenar grandes discrepancias en las respuestas de los modelos. En situaciones donde se requiere coherencia lógica y precisión, esta inconsistencia mina la fiabilidad de estas IAs. Por ejemplo, al plantear una pregunta matemática aparentemente sencilla, la inclusión de detalles irrelevantes puede llevar a respuestas erróneas.
En una de las pruebas, un problema de matemáticas preguntaba cuántos kiwis había recolectado una persona a lo largo de varios días. Al introducir información extra, como el tamaño de algunos kiwis, los modelos, incluidos el o1 de OpenAI y el Llama de Meta, equivocaron el total, a pesar de que esos detalles no afectaban en absoluto el resultado final.
Según el equipo de Apple, los modelos no están aplicando un razonamiento lógico, sino que están utilizando patrones aprendidos durante su entrenamiento para “adivinar” las respuestas. El estudio destaca que incluso un cambio tan menor como los nombres utilizados en las preguntas puede alterar los resultados en un 10%.
El desafío de la lógica en la IA: ¿Cuál es la solución?
La principal preocupación que surge de estos hallazgos es que los modelos actuales de IA no son capaces de razonar de forma auténtica. En lugar de utilizar la lógica, estos sistemas reconocen patrones complejos en los datos con los que fueron entrenados, lo que les permite generar respuestas convincentes en una amplia variedad de tareas. Sin embargo, este enfoque tiene un límite claro: cuando la tarea requiere una reflexión consistente y precisa, la IA a menudo falla.
Ante esta situación, Apple sugiere una posible solución: la combinación de redes neuronales con el razonamiento simbólico tradicional, un enfoque conocido como IA neurosimbólica. Este enfoque híbrido tiene como objetivo sacar partido de lo mejor de ambos mundos. Las redes neuronales son excelentes para tareas de reconocimiento de patrones y procesamiento del lenguaje natural, pero carecen de las capacidades de razonamiento lógico necesarias en muchos escenarios. Al integrar técnicas simbólicas, que son más rígidas pero mucho más precisas en términos de lógica, las IAs podrían mejorar en su toma de decisiones y resolución de problemas.
Los resultados del estudio de Apple ponen de relieve una limitación clave de las tecnologías actuales de IA. Aunque no lo parezca, y mientras aparecen rastros de más funciones de Apple Intelligence, estamos en los principios del desarrollo de las inteligencias artificiales y todavía explorando de qué son capaces. En este contexto, investigaciones como esta, marcan un claro camino a seguir a la hora de evolucionar estas herramientas. Un camino por el que las IAs sean capaces de razonar y de ofrecernos precisión y coherencia cuando la necesitemos.
