Olvido catastrófico (catastrophic forgetting)
El olvido catastrófico ocurre cuando un modelo, al ser ajustado (fine-tuned) para una tarea o dominio nuevo, pierde capacidades que tenía antes. Aprender lo nuevo "sobrescribe" lo viejo. Es un riesgo concreto y caro para empresas que personalizan un modelo: pueden acabar con un sistema bueno en lo suyo pero peor en lo general.
Definición rápida
El olvido catastrófico ocurre cuando un modelo, al ser ajustado (fine-tuned) para una tarea o dominio nuevo, pierde capacidades que tenía antes. Aprender lo nuevo "sobrescribe" lo viejo. Es un riesgo concreto y caro para empresas que personalizan un modelo: pueden acabar con un sistema bueno en lo suyo pero peor en lo general.
Explicación ampliada
Por qué importa para tu empresa
Para una empresa que va a personalizar un modelo, el olvido catastrófico es el riesgo técnico que más sorpresas desagradables causa. La regla práctica: antes de cualquier fine-tuning, fijar un conjunto de evaluación que mida también capacidades generales, no solo la tarea objetivo; comparar el modelo antes y después en ambas; y exigir contractualmente al proveedor que el ajuste no degrade por debajo de un umbral las capacidades generales. Preferir siempre métodos de ajuste ligeros salvo justificación sólida.
Ejemplo concreto
Una empresa ajustó un modelo con 10.000 fichas técnicas de su sector para que dominara su jerga. El modelo resultante respondía perfectamente sobre productos propios, pero había perdido capacidad de redacción clara y de razonamiento general: los correos que generaba para clientes habían empeorado notablemente. Nadie lo detectó hasta recibir quejas, porque solo se había evaluado la tarea específica. Rehicieron el ajuste con LoRA y mezclando datos generales, y añadieron una evaluación de capacidades generales obligatoria antes de poner cualquier modelo ajustado en producción.