Modelos de lenguaje (LLM)

LoRA (Low-Rank Adaptation)

LoRA es la técnica más usada para hacer fine-tuning ligero de un modelo de IA grande: en vez de reentrenar todos sus miles de millones de parámetros (caro, lento), añade un pequeño conjunto de pesos extra que se entrenan sobre los datos de la empresa. El archivo LoRA pesa pocos megabytes y se "monta" sobre el modelo base.

Por Ana María González Actualizado: 9 de mayo de 2026

Definición rápida

Respuesta directa

Explicación ampliada

Hacer fine-tuning completo de un modelo de 7B parámetros requiere reentrenar los 7.000 millones; necesitas hardware potente, varios días, y guardar 14-28 GB por cada versión personalizada. LoRA, presentada por Hu et al. en 2021, hace una observación clave: durante el fine-tuning, los pesos no cambian todos —cambian "en una dirección" que se puede aproximar con una matriz de rango bajo. En la práctica, en lugar de modificar la matriz de pesos W de 4096x4096 directamente, añades una matriz pequeña A (4096x8) y otra B (8x4096) y entrenas solo esas. El resultado: en vez de entrenar millones de parámetros, entrenas miles; en vez de un archivo de varios GB, generas uno de pocos MB. La calidad del fine-tuning resultante es prácticamente equivalente al fine-tuning completo para la mayoría de tareas. LoRA es lo que permite que la comunidad de Hugging Face publique miles de "adaptadores" para Llama, Mistral, etc.: cada uno es una especialización ligera que se monta sobre el modelo base. Variantes: QLoRA (LoRA + cuantización, aún más eficiente), DoRA, AdaLoRA.

Por qué importa para tu empresa

Aplicación práctica

Para una empresa LoRA es la diferencia entre "fine-tuning es caro y reservado a las grandes" y "fine-tuning es barato y rentable". Permite adaptar un modelo abierto al lenguaje específico de tu sector, a tu tono de marca, a tu base documental, con un coste de unos cientos a unos pocos miles de euros (vs decenas de miles del fine-tuning completo) y en hardware modesto. La regla práctica: si vas a especializar un modelo abierto, empieza por LoRA. Solo si los resultados no son suficientes, escala a fine-tuning completo.

Ejemplo concreto

Caso real

Una agencia de traducción jurídica adaptó Llama 3.1 8B con LoRA usando 12.000 pares de traducciones suyas previas (español-francés jurídico). Coste: 380 € en cómputo cloud, 6 horas de entrenamiento. Resultado: el modelo adaptado producía traducciones que sus traductores aceptaban con muchos menos cambios que la versión base —ahorro estimado de 35 minutos por documento. El archivo LoRA pesa 28 MB y se monta sobre Llama base. Pueden tener tres LoRAs distintos (jurídico, técnico, médico) y cargar el adecuado según el caso.