Contexto efectivo vs nominal
La ventana de contexto nominal es el máximo de tokens que un modelo admite técnicamente (por ejemplo, 200.000 o 1 millón). El contexto efectivo es cuánto de esa ventana el modelo realmente usa bien sin degradar la calidad. Casi siempre el efectivo es menor que el nominal: meter un millón de tokens no garantiza que el modelo los aproveche todos.
Definición rápida
La ventana de contexto nominal es el máximo de tokens que un modelo admite técnicamente (por ejemplo, 200.000 o 1 millón). El contexto efectivo es cuánto de esa ventana el modelo realmente usa bien sin degradar la calidad. Casi siempre el efectivo es menor que el nominal: meter un millón de tokens no garantiza que el modelo los aproveche todos.
Explicación ampliada
Por qué importa para tu empresa
Para una empresa, confundir contexto nominal con efectivo lleva a diseños caros y peores: pagar por procesar contextos enormes que el modelo no aprovecha y que encima diluyen la respuesta. La regla práctica: no llenar la ventana porque se pueda; seleccionar y ordenar la información relevante, poner lo crítico al principio o al final, y probar empíricamente a partir de qué volumen empieza a degradarse la calidad para ese caso de uso concreto. Es una decisión de diseño, no un parámetro del proveedor.
Ejemplo concreto
Una empresa con un asistente de soporte cargaba en cada consulta los 350.000 tokens del manual completo de producto "para que tuviera todo el contexto". Las respuestas eran lentas, caras y, sorprendentemente, a veces peores: el modelo se perdía entre tanta información. Sustituyeron el volcado por un RAG que recuperaba los 6.000 tokens más relevantes a la consulta. Resultado: respuestas más precisas, latencia un 80% menor y coste por consulta reducido a una fracción. El manual completo no cabía en el contexto efectivo aunque cupiera en el nominal.