Curso online de DialoGPT Nivel Intermedio bonificado

💻 Software

• Python 3.10 o superior (3.13 recomendado) — descarga gratuita en python.org
• Hugging Face Transformers — librería open source, instalación con pip
• PyTorch 2.x — versión CPU suficiente para prácticas introductorias; GPU acelera el entrenamiento pero no es obligatoria
• Jupyter Notebook o VS Code con extensión Python — ambos gratuitos
• Git para gestionar repositorios de código — gratuito
• Opcional: Google Colab (gratuito) como alternativa si tu equipo no tiene suficiente RAM para entrenar modelos localmente

?️ Hardware

• PC o Mac de los últimos 6 años
• 8 GB de RAM mínimo (los modelos DialoGPT-small y medium cargan en 8 GB; para large se recomienda 16 GB o usar Colab gratuito)
• 10 GB de espacio libre en disco para modelos y datasets
• GPU NVIDIA no obligatoria — el entrenamiento en CPU es más lento pero funcional para prácticas del curso; Colab T4 cubre los ejercicios pesados gratis

🔑 Cuentas necesarias

• Hugging Face — cuenta gratuita para acceder a modelos y datasets
• Google — cuenta gratuita para usar Colab si entrenas en la nube

📚 Conocimientos previos

• Python funcional: bucles, funciones, manejo de ficheros y pip
• Haber trabajado antes con DialoGPT a nivel básico o conocer la API de Hugging Face Transformers
• Nociones básicas de Machine Learning (qué es un modelo, qué es el entrenamiento) — no se exige matemática avanzada

Durante el curso construyes sistemas conversacionales reales, desde la limpieza de datos hasta el despliegue en la nube. Estos son los proyectos principales que desarrollarás:

1. Pipeline de limpieza y tokenización de diálogos — Partes de un dataset de conversaciones en bruto (ej. DailyDialog), aplicas normalización, eliminación de ruido y tokenización con Hugging Face. Caso de uso: preprocesamiento reutilizable para cualquier proyecto de chatbot.
2. Fine-tuning de DialoGPT-medium para soporte técnico — Ajustas el modelo con conversaciones de un dominio concreto (FAQ de soporte TI). Mides la mejora con BLEU y Perplexity antes y después. Caso de uso: chatbot de helpdesk automatizado.
3. Analizador de sentimiento integrado en el flujo de respuesta — Combinas un clasificador de sentimientos con DialoGPT para que el bot detecte frustración y cambie su tono. Caso de uso: atención al cliente con escalado automático a agente humano.
4. API RESTful sobre DialoGPT con FastAPI — Expones tu modelo como endpoint HTTP consumible desde cualquier aplicación web o móvil. Caso de uso: integración en un sitio de comercio electrónico.
5. Despliegue en Google Cloud Run o Hugging Face Spaces — Containerizas el servicio con Docker y lo publicas para recibir tráfico real. Caso de uso: demo funcional para presentar a un cliente o en un portfolio técnico.

Estos son los errores más frecuentes al trabajar con DialoGPT a nivel intermedio. Identificarlos antes de que te ocurran te ahorrará horas de depuración.

• No gestionar el historial de conversación correctamente: DialoGPT necesita que concatenes todos los turnos previos al input. Si solo pasas el último mensaje, el modelo pierde el contexto y las respuestas se vuelven incoherentes.
• Ignorar el token de fin de secuencia (EOS): Sin configurar eos_token_id y pad_token_id correctamente, el modelo genera texto infinito o lanza errores en batch inference.
• Fine-tuning con tasa de aprendizaje demasiado alta: Valores superiores a 5e-5 en AdamW provocan catastrophic forgetting: el modelo olvida el conocimiento base y solo replica tu dataset.
• No limpiar el ruido del dataset antes de tokenizar: URLs, emojis sin normalizar o turnos vacíos en el dataset de entrenamiento se cuelan en el vocabulario y degradan la calidad de las respuestas.
• Confundir Perplexity baja con buena calidad conversacional: Un modelo puede tener Perplexity excelente y generar respuestas genéricas o sin sentido contextual. Complementa siempre con evaluación humana.
• Usar DialoGPT-large en local sin verificar la RAM disponible: El modelo large ocupa ~3 GB en disco y necesita ~12-16 GB de RAM en inferencia. Sin comprobarlo antes el proceso muere con OOM y se pierde el entrenamiento.
• Asumir que el modelo recuerda entre sesiones distintas: Cada sesión de inferencia empieza desde cero. Si tu aplicación necesita memoria persistente debes implementarla tú en la capa de aplicación.
• No versionar los checkpoints de entrenamiento: Sin guardar checkpoints intermedios con save_pretrained() cada N pasos, un corte de sesión en Colab o un crash implica empezar el fine-tuning desde cero.

Recursos gratuitos y comunidades que usarás durante el curso y que te seguirán siendo útiles después.

⌨️ Atajos y comandos esenciales

• model.generate(input_ids, max_length=200, do_sample=True, top_p=0.95) — generación con muestreo nucleus para respuestas más variadas
• trainer.train(resume_from_checkpoint=True) — reanudar fine-tuning desde el último checkpoint guardado
• tokenizer.apply_chat_template() — formateo correcto de turnos de conversación en modelos recientes de Hugging Face
• En Jupyter: Shift+Tab para ver la firma de cualquier función, %%time para medir cuánto tarda una celda

?️ Herramientas gratuitas imprescindibles

• Google Colab — GPU T4 gratuita para entrenar sin coste; suficiente para DialoGPT-medium
• Hugging Face Spaces — despliegue gratuito de demos con Gradio o Streamlit directamente desde tu repositorio
• Weights and Biases (wandb) — plan gratuito para registrar métricas de entrenamiento y comparar experimentos
• LM Studio — ejecuta modelos de lenguaje en local sin necesidad de GPU potente, útil para pruebas rápidas

📖 Documentación de referencia

• huggingface.co/docs/transformers — documentación oficial de Transformers, incluye guías de fine-tuning y generación de texto
• huggingface.co/microsoft/DialoGPT-medium — model card oficial con ejemplos de código y limitaciones conocidas
• platform.openai.com/docs — útil para comparar enfoques GPT y entender diferencias con DialoGPT
• paperswithcode.com — estado del arte en modelos de diálogo y benchmarks actualizados

👥 Comunidades activas

• r/MachineLearning y r/LocalLLaMA en Reddit — debates técnicos sobre fine-tuning, hardware y modelos open source
• Hugging Face Forums (discuss.huggingface.co) — el lugar más directo para resolver dudas sobre Transformers y DialoGPT
• Discord de Hugging Face — canal #transformers con respuesta rápida de la comunidad y a veces del equipo oficial