Leyes de escalado (scaling laws)

Las primeras leyes de escalado fueron establecidas por Kaplan et al. (OpenAI, 2020) y refinadas por Hoffmann et al. (DeepMind, 2022, conocidas como "Chinchilla scaling laws"). Lo que muestran: la pérdida (error) de un modelo durante el entrenamiento sigue una curva predecible cuando se aumenta uno de los tres factores manteniendo los otros constantes. La ley de Chinchilla añadió un matiz importante: para un presupuesto de cómputo dado, la mejor estrategia es escalar parámetros y datos en proporción aproximadamente igual (cada parámetro debe entrenarse con ~20 tokens). Modelos anteriores (GPT-3, etc.) estaban "sobre-parametrizados": demasiados parámetros para los datos que se les daban. Las leyes guiaron la apuesta de la industria por modelos cada vez más grandes con más datos, cuyo coste creció exponencialmente. En 2024-2025 aparecieron señales de que las leyes clásicas se están deformando en el extremo de la curva: añadir más cómputo y datos da retornos decrecientes para los modelos frontera. La nueva apuesta de escalado se ha trasladado hacia "scaling de inferencia" (modelos de razonamiento que piensan más tiempo antes de responder, como o3 o Claude con extended thinking) y hacia mejores datos antes que más datos.