Infraestructura y técnica

Inferencia serverless

Inferencia serverless es un modelo de despliegue de IA en el que el cliente paga solo por las llamadas reales al modelo, sin gestionar ni reservar servidores ni GPUs. El proveedor escala automáticamente la capacidad según la demanda. Es la forma habitual en la que se ofrecen las APIs comerciales como Claude, GPT o Gemini.

Por Ana María González Actualizado: 9 de mayo de 2026

Definición rápida

Respuesta directa

Explicación ampliada

Antes de las APIs serverless, desplegar un modelo IA significaba reservar GPUs (alquiler en cloud o compra) que estaban encendidas 24/7, con la factura corriendo aunque no se usaran. La inferencia serverless cambia el modelo: pagas por token procesado, sin coste fijo. El proveedor maneja autoescalado, balanceo de carga, parches y actualizaciones. Modalidades comunes: APIs comerciales de los proveedores frontera (Claude, GPT, Gemini, Mistral, etc., todas serverless por defecto); plataformas de inferencia para modelos abiertos (Together AI, Fireworks, Replicate, Anyscale, Groq, Cerebras), que permiten usar Llama, Mistral o DeepSeek con la misma facilidad de pago por uso; servicios cloud con esta arquitectura (AWS Bedrock, Google Vertex AI, Azure AI Foundry). Pros: cero capex, escalado instantáneo, sin equipo de ops dedicado. Contras: a partir de cierto volumen, el coste por token es mayor que el coste amortizado de hardware propio; menos control sobre versiones del modelo; latencia variable según carga del proveedor.

Por qué importa para tu empresa

Aplicación práctica

Para una empresa, la inferencia serverless es casi siempre el punto de entrada al uso de IA: prácticamente cualquier piloto y muchas producciones funcionan así, porque el coste de empezar es trivial. La frontera donde compensa salir de serverless y desplegar hardware propio (on-premise o cloud reservado) está en torno a 2-10 millones de tokens al día sostenidos: por debajo, serverless gana siempre; por encima, conviene hacer cuentas con tu carga real. Para modelos abiertos hay un punto interesante: las plataformas como Together AI o Groq ofrecen inferencia serverless de Llama o Mistral a precios a veces inferiores a los de los modelos cerrados equivalentes, manteniendo la comodidad sin operar hardware.

Ejemplo concreto

Caso real

Una empresa de marketing automatizaba contenido de redes sociales con Claude Sonnet vía API. Volumen: ~3,5 M tokens/día sostenidos. Coste serverless: ~$315/mes. Estimaron desplegar Llama 3.3 70B en su propia infraestructura: hardware ~22.000 €, electricidad y administración ~250 €/mes recurrentes. Amortización en 5,5 años. No compensaba. Para una empresa hermana con 50 M tokens/día (caso real distinto), las cuentas se invertían: amortización en 6 meses. La regla práctica: hasta varios millones de tokens al día, serverless gana; por encima, hay que mirar.