Modelos de lenguaje (LLM)

Modelos de lenguaje (LLM)

Atención (mecanismo de atención)

La atención es el mecanismo matemático por el que un modelo de lenguaje, al procesar una palabra, "mira" a otras palabras del contexto y les…

Modelos de lenguaje (LLM)

Cadena de pensamiento (chain-of-thought)

La cadena de pensamiento, conocida en inglés como chain-of-thought o CoT, es una técnica que consiste en pedirle a un modelo de lenguaje que…

Modelos de lenguaje (LLM)

Context engineering (ingeniería del contexto)

Context engineering es la práctica de diseñar y gestionar todo el contexto que un modelo de IA recibe en cada interacción: prompt del sistem…

Modelos de lenguaje (LLM)

Destilación (distillation)

La destilación es la técnica para crear un modelo pequeño y rápido a partir de uno grande y potente. El modelo grande actúa de "profesor" y …

Modelos de lenguaje (LLM)

Evaluación de modelos (evals)

La evaluación de modelos, abreviado "evals", es el conjunto de métodos para medir la calidad y comportamiento de un modelo de IA en tareas c…

Modelos de lenguaje (LLM)

Evaluación de RAG (RAGAS, retrieval metrics)

La evaluación de RAG es el conjunto de métricas y procesos para medir la calidad de un sistema de Retrieval-Augmented Generation. Cubre dos …

Modelos de lenguaje (LLM)

Fine-tuning

El fine-tuning es un proceso técnico mediante el cual se reentrena parcialmente un modelo de IA ya existente con datos específicos para espe…

Modelos de lenguaje (LLM)

Hiperparámetros

Los hiperparámetros son los ajustes de configuración de un modelo de IA que se eligen antes del entrenamiento o que se modifican al usarlo, …

Modelos de lenguaje (LLM)

JSON mode y structured output

JSON mode (modo JSON) y structured output (salida estructurada) son funcionalidades de las APIs modernas de modelos que obligan al modelo a …

Modelos de lenguaje (LLM)

LoRA (Low-Rank Adaptation)

LoRA es la técnica más usada para hacer fine-tuning ligero de un modelo de IA grande: en vez de reentrenar todos sus miles de millones de pa…

Modelos de lenguaje (LLM)

Lost in the middle (problema del contexto largo)

"Lost in the middle" es un fenómeno documentado en 2023 por Liu et al.: los modelos de lenguaje, al recibir contextos largos, tienden a pres…

Modelos de lenguaje (LLM)

Mezcla de expertos (MoE)

Mezcla de expertos (Mixture of Experts) es una arquitectura de modelo en la que, en lugar de un solo "cerebro" gigante, hay varios "expertos…

Modelos de lenguaje (LLM)

Modelo base vs modelo instruct

Un modelo "base" es el modelo recién salido del pre-entrenamiento: sabe completar texto pero no se comporta como asistente. Un modelo "instr…

Modelos de lenguaje (LLM)

Modelo de lenguaje grande (LLM)

Un modelo de lenguaje grande, o LLM por sus siglas en inglés (large language model), es un sistema de inteligencia artificial entrenado con …

Modelos de lenguaje (LLM)

Modelo open-weight (de pesos abiertos)

Un modelo open-weight es un modelo de IA cuyos parámetros entrenados (los "pesos") están disponibles públicamente y se pueden descargar, eje…

Modelos de lenguaje (LLM)

Repetition penalty y frequency penalty

Repetition penalty y frequency penalty son parámetros de las APIs de modelos que penalizan la repetición de palabras o frases en la generaci…

Modelos de lenguaje (LLM)

RLHF (aprendizaje por refuerzo con feedback humano)

RLHF (Reinforcement Learning from Human Feedback) es la técnica que convierte un modelo de lenguaje crudo en un asistente conversacional úti…

Modelos de lenguaje (LLM)

Tokenización

La tokenización es el proceso por el que un texto se rompe en piezas pequeñas (tokens) que el modelo puede procesar numéricamente. No siempr…

Modelos de lenguaje (LLM)

Top-p y top-k (sampling)

Top-p y top-k son dos parámetros que controlan la aleatoriedad de un modelo de lenguaje al elegir la siguiente palabra. Junto con la tempera…

Modelos de lenguaje (LLM)

Ventana de contexto

La ventana de contexto es la cantidad máxima de información (medida en tokens) que un modelo de IA puede tener "presente" en una sola intera…