Decodificación especulativa (speculative decoding)

En la generación clásica de un modelo de lenguaje, los tokens se producen uno tras otro: el modelo predice el token 1, lo añade al contexto, predice el 2, etc. Cada token requiere una pasada completa por el modelo. Para un modelo de 70B parámetros eso es lento. La decodificación especulativa, popularizada por papers de Google y DeepMind en 2022-2023, usa dos modelos: un "borrador" (draft model) pequeño y rápido (3-7B típicamente) propone los próximos K tokens (K=4 a 8); el modelo grande los procesa todos en una sola pasada y "verifica" cuáles son correctos según su propia distribución de probabilidad. Si los K tokens son aceptados, el modelo grande ha procesado K tokens en el tiempo de uno. Si solo los primeros j son aceptados, sigue siendo más rápido. La técnica es matemáticamente exacta: la salida final es indistinguible de la del modelo grande sin especulación. Variantes recientes: medusa (varios "cabezales" que predicen tokens futuros sin necesitar modelo borrador), look-ahead decoding, paraghraph-level decoding. La mayoría de proveedores de inferencia (Groq, Together AI, Cerebras, Fireworks) usan estas técnicas internamente para ofrecer latencias bajas.