Conceptos fundamentales

Pre-entrenamiento

El pre-entrenamiento es la primera y más cara fase de la creación de un modelo de IA: se le hace leer cantidades masivas de texto de internet, libros y código para que aprenda a predecir la siguiente palabra. De esa fase salen las capacidades generales del modelo (lenguaje, razonamiento básico, conocimiento del mundo).

Por Ana María González Actualizado: 9 de mayo de 2026

Definición rápida

Respuesta directa

Explicación ampliada

Un modelo de lenguaje no nace sabiendo nada: empieza con parámetros aleatorios y se le presentan trillones de tokens de texto. Por cada fragmento, el modelo intenta predecir cuál es la siguiente palabra; cuando se equivoca, sus parámetros se ajustan ligeramente; cuando acierta, se refuerzan. Repetido billones de veces, el modelo termina internalizando patrones del lenguaje, hechos del mundo, estructuras de razonamiento, sintaxis de programación, etc. Esta fase es lo que cuesta cientos de millones de dólares en cómputo (decenas de miles de GPUs durante meses) y solo unas pocas empresas en el mundo (OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Mistral) la pueden afrontar. El resultado es un "modelo base": potente pero crudo, le falta saber comportarse como asistente. Para eso vienen las fases siguientes (fine-tuning instructivo, RLHF). Cuando alguien dice "entrenar un modelo desde cero", normalmente se refiere a esta fase.

Por qué importa para tu empresa

Aplicación práctica

Para una empresa, esta palabra importa para entender por qué casi nadie entrena modelos propios y por qué la decisión real es elegir entre usar un modelo ya pre-entrenado por otros (vía API o descarga) y, como mucho, hacer fine-tuning sobre él. La barrera de entrada al pre-entrenamiento es de cientos de millones de euros; la del fine-tuning, de unos cuantos miles. Confundir las dos cosas en una conversación con un proveedor te delata como negociador.

Ejemplo concreto

Caso real

Una empresa de servicios profesionales pidió presupuesto a una consultora para "entrenar un modelo de IA propio con nuestros documentos internos". La consultora aclaró que lo que quería de verdad era fine-tuning sobre un modelo base ya pre-entrenado: 15.000 € y dos meses, no 200 millones y dos años. El cambio de palabras evitó un malentendido que habría hecho fracasar el proyecto antes de empezar.