Modelos de lenguaje (LLM)

Repetition penalty y frequency penalty

Repetition penalty y frequency penalty son parámetros de las APIs de modelos que penalizan la repetición de palabras o frases en la generación. Son útiles para evitar el problema de los modelos que se quedan "atascados" repitiendo la misma idea, párrafo o frase, especialmente en textos largos.

Por Ana María González Actualizado: 9 de mayo de 2026

Definición rápida

Respuesta directa

Explicación ampliada

Un modelo de lenguaje, especialmente en generación larga, puede caer en bucles: repetir la misma frase, el mismo párrafo, o variantes mínimas de la misma idea durante decenas de tokens. La causa raíz suele ser un sampling demasiado conservador (temperatura baja + top-p alto), o un prompt ambiguo. Las penalizaciones son una forma de salir de ese atascamiento. Repetition penalty (presente en muchas implementaciones, incluido OpenAI, Together AI, Hugging Face Transformers): factor multiplicativo (típicamente 1.0-1.3) que reduce la probabilidad de tokens ya generados. Cuanto mayor, más fuerza la diversidad. Frequency penalty (similar pero acumulativa con la frecuencia): cuanto más veces aparece un token, más penalización. Presence penalty (de OpenAI): penaliza si el token ya apareció una vez, independientemente de cuántas. Anthropic Claude no expone estos parámetros explícitamente porque su entrenamiento ya gestiona repetición razonablemente; OpenAI, Mistral, Llama y otros sí. Configuraciones típicas: textos creativos largos → repetition_penalty 1.05-1.15; clasificación o extracción → 1.0 (no penalizar, queremos respuestas reproducibles); diálogo conversacional → 1.0-1.05.

Por qué importa para tu empresa

Aplicación práctica

Para una empresa con uso de modelos para generar textos largos (informes, propuestas, descripciones de producto, contenido marketing), conocer estos parámetros es lo que diferencia "el modelo se atasca a veces" y "el modelo genera textos limpios". Es un ajuste fino que se hace tras observar problemas concretos, no por defecto. La regla práctica: empezar con valores por defecto del proveedor; si aparecen repeticiones notables en logs o muestras, subir repetition_penalty a 1.05 y subir progresivamente hasta 1.15 si persiste. No subir más (>1.2) porque empieza a degradar coherencia. Para casos de uso reproducibles (clasificación, extracción), no tocar.

Ejemplo concreto

Caso real

Una empresa de e-commerce generaba descripciones de producto largas (300-500 palabras) con un modelo open source en su infraestructura. Notaron que ~12% de descripciones tenían repeticiones de frases ("ideal para uso diario, este producto es ideal para...") que requerían edición manual. Tras revisar logs, identificaron que la causa era una combinación de prompt repetitivo y repetition_penalty=1.0. Subieron a 1.1; las repeticiones cayeron al 2%. Subieron a 1.15; bajaron al 0,5% pero algunas descripciones perdían fluidez. Quedaron en 1.1 como sweet spot. El cambio: una línea en la llamada API. Beneficio: ~10 horas/semana de edición manual recuperadas.