Destilación (distillation)

Entrenar un modelo grande desde cero cuesta cientos de millones de dólares y meses de procesamiento en miles de GPUs. Hacer un modelo pequeño de calidad equivalente desde cero sería casi tan caro y produciría peor resultado. La destilación resuelve eso: una vez tienes un modelo grande de calidad, generas con él millones de ejemplos pregunta-respuesta y entrenas a un modelo pequeño usando esos ejemplos. El pequeño aprende a imitar al grande con una fidelidad sorprendente. El resultado son las "familias" de modelos: cada gran fabricante publica varias tallas a partir del mismo entrenamiento base. Anthropic ofrece <strong>Opus</strong> (grande, máximo capaz), <strong>Sonnet</strong> (mediano, equilibrio coste-calidad) y <strong>Haiku</strong> (pequeño, rápido y barato). OpenAI hace lo mismo con <strong>GPT-5.5 Pro / Standard / Mini / Nano</strong>. Google con <strong>Gemini Pro / Flash / Flash-Lite</strong>. Meta con las distintas tallas de Llama. La diferencia de precio entre el más grande y el más pequeño de la misma familia suele ser de 20 a 100 veces. La destilación no es magia: el modelo pequeño destilado siempre rinde algo peor que su profesor, especialmente en tareas que requieren razonamiento profundo o conocimiento de cola larga. Pero para muchas tareas empresariales (clasificar correos, redactar respuestas estándar, extraer datos de documentos, traducir) la calidad del modelo destilado pequeño es indistinguible de la del grande para uso práctico.