Cómo perciben el texto los modelos de lenguaje LLM: un descubrimiento revolucionario de Anthropic

Los investigadores de Anthropic se propusieron una tarea aparentemente simple: entender cómo Claude 3.5 Haiku decide cuándo romper una línea de texto dentro de un ancho fijo. Este ejercicio, que requiere que el modelo rastree su posición mientras escribe, reveló hallazgos extraordinarios sobre el funcionamiento interno de los modelos de lenguaje.

A diferencia de lo que muchos podrían pensar tras leer sobre esta investigación en redes sociales, el estudio no trata sobre cómo los LLM leen o fragmentan contenido para su consumo. Andreas Volpini realizó una analogía sobre este trabajo relacionándola con la fragmentación de contenido para el consumo de IA, pero el enfoque real del documento es mucho más específico y fascinante: se centra en cómo estos modelos generan texto y determinan dónde insertar saltos de línea para ajustarse a un ancho arbitrario predefinido.

La verdadera magia radica en lo que este proceso revela sobre el funcionamiento interno de un LLM mientras mantiene el seguimiento de la posición del texto, la elección de palabras y los límites de los saltos de línea durante la escritura.

Aquí es donde el descubrimiento se vuelve verdaderamente fascinante. Los investigadores observaron que Claude 3.5 Haiku no representa los conteos de caracteres de línea como un proceso de conteo paso a paso, símbolo por símbolo. En su lugar, utiliza una estructura geométrica suave que se comporta como una superficie continuamente curvada, permitiendo al modelo rastrear la posición de manera fluida, sobre la marcha, en tiempo real.

Este hallazgo desafía la intuición común sobre cómo funcionan los ordenadores. Normalmente asumimos que las máquinas cuentan de forma discreta: uno, dos, tres, cuatro. Sin embargo, este modelo ha desarrollado algo más parecido a un sentido continuo del espacio, similar a cómo los humanos percibimos la distancia sin necesidad de contar cada centímetro.

Otro descubrimiento extraordinario fue la identificación de lo que los investigadores denominaron «boundary heads» o cabezales de límite. Se trata de un tipo especializado de «attention head» (cabezal de atención) responsable de detectar el límite de la línea.

Para entender esto, es necesario comprender cómo funciona la atención en los LLM. Un mecanismo de atención pondera la importancia de lo que se está considerando (los tokens o unidades de información). Un cabezal de atención es un componente especializado de este mecanismo. El boundary head se especializa en la tarea específica y limitada de detectar el final del límite de línea.

Los investigadores explican en su documento que una característica esencial de la representación de los conteos de caracteres de línea es que el boundary head «tuerce» la representación, permitiendo que cada conteo se empareje con un conteo ligeramente mayor, indicando que el límite está cerca. Existe un mapa lineal que desliza la curva del conteo de caracteres a lo largo de sí misma, una acción que no admiten las incrustaciones genéricas de alta curvatura del círculo o el intervalo, pero que está presente tanto en la variedad observada en Haiku como en la construcción de Fourier.

El proceso mediante el cual Claude 3.5 Haiku determina cuándo una línea de texto está a punto de alcanzar su límite es ingenioso. El modelo compara dos señales internas:

1. Cuántos caracteres ya ha generado
2. Cuánto debe medir la línea en total

Los boundary heads mencionados anteriormente deciden en qué partes del texto centrarse. Algunos de estos cabezales se especializan en detectar cuándo la línea está a punto de alcanzar su límite. Lo logran rotando ligeramente o alineando las dos señales internas (el conteo de caracteres y el ancho máximo de línea) de modo que cuando casi coinciden, la atención del modelo se desplaza hacia la inserción de un salto de línea.

Los investigadores lo explican así: para detectar un límite de línea que se aproxima, el modelo debe comparar dos cantidades: el conteo actual de caracteres y el ancho de la línea. Encuentran cabezales de atención cuya matriz QK rota una variedad de conteo para alinearla con la otra en un desplazamiento específico, creando un gran producto interno cuando la diferencia de los conteos cae dentro de un rango objetivo. Múltiples cabezales con diferentes desplazamientos trabajan juntos para estimar con precisión los caracteres restantes.

En esta fase del proceso, el modelo ya ha determinado qué tan cerca está del límite de la línea y cuánto medirá la siguiente palabra. El último paso consiste en utilizar esa información de manera efectiva.

El documento de investigación lo explica claramente: el paso final de la tarea de salto de línea es combinar la estimación del límite de línea con la predicción de la siguiente palabra para determinar si la siguiente palabra cabrá en la línea, o si la línea debe romperse.

Los investigadores descubrieron que ciertas características internas del modelo se activan cuando la siguiente palabra haría que la línea excediera su límite, sirviendo efectivamente como detectores de límites. Cuando esto sucede, el modelo aumenta la probabilidad de predecir un símbolo de nueva línea y disminuye la probabilidad de predecir otra palabra. Otras características hacen lo contrario: se activan cuando la palabra aún cabe, disminuyendo la probabilidad de insertar un salto de línea.

Juntas, estas dos fuerzas —una empujando hacia un salto de línea y otra conteniéndolo— se equilibran para tomar la decisión final.

La siguiente parte de la investigación resulta verdaderamente asombrosa. Los investigadores se propusieron comprobar si el modelo podría ser susceptible a ilusiones visuales que lo hicieran fallar. Partieron de la idea de cómo los humanos pueden ser engañados por ilusiones visuales que presentan una perspectiva falsa, haciendo que líneas de la misma longitud parezcan tener longitudes diferentes, una más corta que la otra.

Para probar esto, insertaron tokens artificiales, como «@@», para ver cómo interrumpían el sentido de posición del modelo. Estas pruebas causaron desalineaciones en los patrones internos que el modelo utiliza para mantener el seguimiento de la posición, similares a las ilusiones visuales que engañan la percepción humana. Esto provocó que el sentido de los límites de línea del modelo se desplazara, demostrando que su percepción de la estructura depende del contexto y de los patrones aprendidos.

Aunque los LLM no ven en el sentido literal, experimentan distorsiones en su organización interna similares a cómo los humanos juzgan erróneamente lo que ven mediante la interrupción de los cabezales de atención relevantes.

Los investigadores explicaron su hallazgo: «Descubrimos que sí modula el siguiente token predicho, ¡interrumpiendo la predicción de nueva línea! Como se predijo, los cabezales relevantes se distraen: mientras que con el prompt original, los cabezales atienden de nueva línea a nueva línea, en el prompt alterado, los cabezales también atienden al @@».

Surgió entonces una pregunta lógica: ¿había algo especial en los caracteres @@ o cualquier otro carácter aleatorio podría interrumpir la capacidad del modelo para completar la tarea con éxito?

Para responder a esto, ejecutaron una prueba con 180 secuencias diferentes y descubrieron que la mayoría de ellas no interrumpían la capacidad del modelo para predecir el punto de salto de línea. Solo un pequeño grupo de caracteres relacionados con código fueron capaces de distraer los cabezales de atención relevantes e interrumpir el proceso de conteo.

Este descubrimiento sugiere que la «distracción» del modelo no es arbitraria, sino que está relacionada con patrones específicos que ha aprendido durante su entrenamiento, probablemente debido a la prevalencia de código en sus datos de entrenamiento.

El estudio demuestra cómo las características basadas en texto evolucionan hacia sistemas geométricos suaves dentro de un modelo de lenguaje. También muestra que los modelos no solo procesan símbolos; crean mapas basados en la percepción a partir de ellos.

Esta parte sobre la percepción es, según muchos expertos, lo realmente interesante de la investigación. Los investigadores siguen volviendo a analogías relacionadas con la percepción humana y cómo estas analogías siguen encajando en lo que observan dentro del LLM.

En el documento escriben: «Aunque a veces describimos las capas tempranas de los modelos de lenguaje como responsables de ‘destokenizar’ la entrada, quizás sea más evocador pensar en esto como percepción. El comienzo del modelo es realmente responsable de ver la entrada, y gran parte del circuito temprano está al servicio de sentir o percibir el texto de manera similar a cómo las capas tempranas en los modelos de visión implementan la percepción de bajo nivel».

Más adelante añaden: «Los patrones geométricos y algorítmicos que observamos tienen paralelos sugestivos con la percepción en sistemas neuronales biológicos. Estas características exhiben dilatación —representando conteos de caracteres cada vez más grandes que se activan sobre rangos cada vez más amplios— reflejando la dilatación de las representaciones numéricas en cerebros biológicos. Además, la organización de las características en una variedad de baja dimensión es un ejemplo de un motivo común en la cognición biológica. Si bien las analogías no son perfectas, sospechamos que todavía hay una superposición conceptual fructífera de una mayor colaboración entre la neurociencia y la interpretabilidad».

Arthur C. Clarke escribió que la tecnología avanzada es indistinguible de la magia. Una vez que se comprende una tecnología, esta se vuelve más cercana y menos mágica. No todo conocimiento tiene un uso utilitario inmediato, pero comprender cómo un LLM percibe el contenido es valioso en la medida en que deja de ser mágico.

¿Hará esta investigación que seáis mejores profesionales del SEO? Profundiza nuestra comprensión de cómo los modelos de lenguaje organizan e interpretan la estructura del contenido, haciéndola más comprensible y menos mágica.

Para los profesionales del marketing digital y el SEO, este conocimiento tiene varias implicaciones prácticas:

Estructura del contenido: Entender que los LLM desarrollan representaciones geométricas y continuas del texto sugiere que la estructura coherente y la organización lógica del contenido no son solo importantes para los humanos, sino también para cómo los modelos procesan y comprenden la información.

Patrones y contexto: El hecho de que ciertos caracteres o patrones puedan «distraer» a los modelos sugiere que el contexto y la consistencia en la presentación del contenido importan. Los elementos inesperados o incoherentes podrían afectar cómo el modelo interpreta la información.

Más allá de las palabras clave: Este estudio refuerza la idea de que los modelos de lenguaje modernos van mucho más allá del simple procesamiento de palabras clave. Desarrollan comprensiones complejas y multidimensionales del contenido, más parecidas a la percepción humana de lo que se pensaba anteriormente.

La importancia de la naturalidad: Si los LLM desarrollan percepciones similares a las humanas, el contenido que fluye naturalmente y mantiene una estructura coherente probablemente será mejor comprendido y procesado por estos sistemas.

Esta investigación forma parte de un campo más amplio conocido como interpretabilidad de la IA, que busca abrir la caja negra de los modelos de aprendizaje automático para comprender realmente cómo toman decisiones.

Los hallazgos sugieren que los modelos de lenguaje no son simplemente procesadores estadísticos de texto, sino que desarrollan representaciones internas sofisticadas que comparten sorprendentes similitudes con la cognición biológica. Esta convergencia entre sistemas artificiales y biológicos abre preguntas fascinantes sobre la naturaleza de la inteligencia y la percepción.

Los investigadores señalan que, aunque las analogías entre los LLM y los cerebros biológicos no son perfectas, existe una superposición conceptual fructífera que podría beneficiarse de una mayor colaboración entre la neurociencia y el campo de la interpretabilidad de la IA.

Este estudio de Anthropic representa un paso significativo en la desmitificación de cómo funcionan los grandes modelos de lenguaje. Al revelar que estos sistemas desarrollan representaciones internas similares a la percepción humana, nos acerca a comprender que, aunque diferentes en su implementación, los LLM y los cerebros humanos pueden estar resolviendo problemas similares de maneras sorprendentemente parecidas.

Para los profesionales que trabajamos con contenido y SEO, esta investigación nos recuerda que estamos tratando con sistemas cada vez más sofisticados que van mucho más allá del simple análisis de palabras clave. Los modelos modernos de IA desarrollan comprensiones complejas y multidimensionales del contenido, percepciones que se asemejan a cómo los humanos procesamos la información.

El mensaje principal es claro: la calidad, la estructura coherente y la naturalidad del contenido no son solo principios de buenas prácticas para los lectores humanos, sino que resuenan con la forma fundamental en que los sistemas de IA perciben y procesan la información. En un mundo donde la IA juega un papel cada vez más importante en cómo se descubre y se clasifica el contenido, comprender estos principios subyacentes se vuelve no solo interesante, sino esencial.

• Cómo optimizar tu web para los AI Overviews de Google: guía completa 2025
• Por qué tu marca no aparece en las herramientas de búsqueda con IA (y cómo solucionarlo)
• BlockRank de Google: la revolución que democratiza la búsqueda semántica avanzada
• La inteligencia artificial de Google revoluciona la publicidad