Inferencia

Hay dos fases en la vida de un modelo de IA. La primera, el entrenamiento, ocurre una sola vez (o cada cierto tiempo en versiones nuevas) y consume cantidades enormes de cómputo: meses de procesamiento en clusters de miles de GPUs valorados en cientos de millones de dólares. La segunda, la inferencia, ocurre cada vez que alguien usa el modelo: el modelo entrenado lee la pregunta, calcula la respuesta token a token y la devuelve. La inferencia consume mucho menos cómputo por consulta individual, pero al multiplicarse por miles de millones de peticiones diarias acaba siendo el coste dominante en el negocio de los proveedores de IA. El coste de inferencia se factura habitualmente en tokens (entrada y salida por separado), porque escala con la cantidad de texto procesado. Un modelo grande como Claude Opus o GPT-5.5 cobra entre 5 y 30 dólares por millón de tokens (Claude Opus 4.7 a 5/25, GPT-5.5 a 5/30); uno pequeño como Sonnet o GPT-5.5 mini, entre 0,1 y 3 dólares. Esa diferencia justifica una estrategia ya común en empresas que usan IA a escala: usar el modelo grande solo cuando hace falta razonamiento profundo, y delegar el resto a modelos pequeños. La inferencia también se puede ejecutar en local con modelos open-source (Llama, Mistral, Qwen) usando hardware modesto: un equipo con GPU de 24 GB ejecuta modelos de 30 mil millones de parámetros con calidad respetable. Es el camino preferido por empresas con datos especialmente sensibles que no pueden salir del perímetro corporativo.