LLM local (Ollama, llama.cpp)

Ejecutar un LLM en local fue cosa de investigadores hasta 2023; en 2026 es práctica común gracias a tres avances: modelos abiertos potentes (Llama 3.x, Llama 4, Gemma 3, Qwen 3, Mistral, DeepSeek), técnicas de cuantización (que comprimen un modelo de 16 GB a 4-8 GB sin perder mucha calidad) y herramientas que simplifican el despliegue. Llama.cpp es el motor de inferencia C++ que ejecuta modelos en CPU o GPU con configuraciones extremas; Ollama es una capa de comodidad sobre llama.cpp con CLI tipo Docker (ollama run llama3), API REST compatible con OpenAI, y catálogo de modelos automático; LM Studio es la versión con UI gráfica para usuarios no desarrolladores; Jan es similar pero open source. Los tamaños prácticos: un MacBook Pro M3 con 16 GB RAM corre cómodo modelos de 7-8B parámetros cuantizados; con 32-64 GB, modelos de 30-70B; en una workstation con 2-4 GPUs profesionales, modelos de 100B+. Los modelos abiertos disponibles en 2026 cubren desde 1B (móvil, edge) hasta cientos de B (frontera abierta), todos descargables gratuitamente desde Hugging Face u Ollama.