Atención (mecanismo de atención)

Cuando una frase dice "María dejó las llaves en la mesa porque pesaban demasiado", para entender a qué se refiere "pesaban" un humano vuelve mentalmente a "llaves". El mecanismo de atención hace lo equivalente para el modelo. Por cada token, calcula tres vectores —query (consulta), key (clave) y value (valor)— y los compara con los de todos los demás tokens del contexto. La similitud entre query del token actual y key de cada otro token produce un peso de atención: cuánto va a influir cada token en la representación del actual. Después suma los values ponderados por esos pesos. El resultado: el token actual se enriquece con información relevante de todos los demás. La "self-attention" es cuando esto se hace dentro de la misma secuencia. Hay variantes: atención multi-cabeza (varios mecanismos en paralelo, cada uno aprendiendo a fijarse en cosas distintas), atención causal (solo se mira hacia atrás, usada en GPT y otros modelos generativos), atención cruzada (entre dos secuencias, usada en traducción). El coste computacional crece como n² donde n es la longitud de la secuencia, lo que explica por qué el contexto largo sale caro.