KV cache (caché de claves y valores)

Cuando un modelo genera el token N, el mecanismo de atención necesita comparar el token N con todos los tokens anteriores (1 a N-1). Sin caché, esos cálculos se repetirían cada vez que se genera un token nuevo. El KV cache resuelve este desperdicio: durante la primera pasada del prompt, se calculan y guardan las claves (K) y valores (V) de cada token. Cuando llega el token N+1, no hay que recalcular las K y V de los anteriores; basta con calcular las del nuevo y combinar con la caché. El truco hace la generación viable. Pero el KV cache crece linealmente con la longitud del contexto y con el número de capas y cabezas de atención: para un modelo de 70B con 100K tokens de contexto puede ocupar decenas de GB de memoria de GPU. Optimizaciones modernas: paged attention (vLLM, dispone la caché en bloques como un sistema de paginación), KV cache compression (FP8, INT4 quantization de la caché), context caching o prompt caching de los proveedores de API (cobran solo el 10% del precio de input por tokens cacheados). Esta última es relevante para empresas: si tu prompt sistema es estable entre llamadas, hay que activar caching y ahorrar hasta 90% en input.