Top-p y top-k (sampling)
Top-p y top-k son dos parámetros que controlan la aleatoriedad de un modelo de lenguaje al elegir la siguiente palabra. Junto con la temperatura, determinan si el modelo será más predecible o más creativo. Cada modelo permite ajustarlos vía API.
Definición rápida
Top-p y top-k son dos parámetros que controlan la aleatoriedad de un modelo de lenguaje al elegir la siguiente palabra. Junto con la temperatura, determinan si el modelo será más predecible o más creativo. Cada modelo permite ajustarlos vía API.
Explicación ampliada
Por qué importa para tu empresa
Para una empresa estos tres parámetros son los principales ajustes para hacer un sistema IA reproducible y consistente. Si tu caso de uso requiere que la misma pregunta dé la misma respuesta (extracción de datos, clasificación de tickets, decisiones operacionales) usa temperatura 0 y top-p 1: el modelo es entonces casi determinista. Si quieres variedad (generación de copys, asistente conversacional, brainstorming) sube ambos. La trampa más habitual es dejarlos en valores creativos cuando se quiere consistencia: el sistema "alucina más" no porque el modelo sea malo, sino porque está configurado para inventar.
Ejemplo concreto
Una empresa de e-commerce tenía un asistente que clasificaba tickets de soporte en 12 categorías. Funcionaba al 84% pero con mucha variabilidad: el mismo ticket podía clasificarse de 2-3 formas distintas en pruebas repetidas. Investigando descubrieron que el desarrollador había dejado temperatura 0.7 (valor por defecto creativo). Al bajar a temperatura 0 y top-p 1, la consistencia subió al 99% (mismo ticket → misma categoría siempre) y la precisión global pasó del 84% al 91%, porque se eliminaron los "lapsus aleatorios".