Caché de prompt (prompt caching)

Sin caché de prompt, cada llamada al modelo es independiente: el sistema lee el prompt sistema entero, lo procesa internamente, y empieza a generar la respuesta. Si el prompt sistema tiene 50.000 tokens de contexto (manuales, ejemplos, base de conocimiento RAG), eso son 50.000 tokens de entrada que se procesan y se cobran cada vez que llega una pregunta de un usuario. La caché de prompt cambia ese patrón. La primera vez que el modelo recibe el prompt sistema, lo procesa normalmente y guarda el estado interno calculado. La segunda vez que recibe el mismo prompt sistema (o uno con el mismo prefijo), recupera ese estado de la caché y solo procesa las partes nuevas. El resultado es que las llamadas posteriores con prompt sistema repetido cuestan una fracción y son notablemente más rápidas. Las implementaciones varían por proveedor. <strong>Anthropic</strong> ofrece prompt caching explícito desde 2024: el desarrollador marca qué partes del prompt deben cachearse. Lectura de caché cuesta el 10% del precio normal de tokens de entrada. <strong>OpenAI</strong> tiene caché automática desde 2024 sin intervención del desarrollador, con descuento del 50% para tokens cacheados. <strong>Google</strong> ofrece context caching explícito en Gemini, con descuentos similares. El impacto en costes reales es enorme. Un asistente con prompt sistema de 30.000 tokens y 10.000 consultas diarias de promedio: sin caché, factura 90 dólares al día solo en procesamiento del prompt sistema; con caché, baja a 9 dólares. Anualizado: 32.000 dólares de ahorro al año sin cambiar absolutamente nada de funcionalidad.