Parámetros (de un modelo)

Cuando lees que un modelo es de "7B" o "70B" o "405B", esos números se refieren a parámetros: 7.000 millones, 70.000 millones, 405.000 millones de valores ajustables que conforman la red neuronal. Cada parámetro es básicamente un pequeño dial que el entrenamiento ha calibrado para que, dado un texto de entrada, el modelo produzca la respuesta más probable. A más parámetros, más capacidad de capturar matices del lenguaje y del razonamiento, pero también más memoria de GPU necesaria para ejecutarlo y más coste por respuesta. Un modelo de 7B se puede ejecutar en un portátil decente. Un modelo de 70B requiere servidores con GPUs caras. Un modelo de 400B+ solo corre en infraestructura de centro de datos. La relación entre parámetros y calidad no es lineal: un modelo de 70B bien entrenado supera a uno de 200B mal entrenado, y técnicas como mezcla de expertos (MoE) permiten tener "muchos parámetros" pero activar solo una fracción en cada respuesta.