Curso online de Google BERT Nivel Intermedio bonificado

💻 Software

• Python 3.13 — imprescindible. Instálalo desde python.org.
• Hugging Face Transformers — librería principal del curso, gratuita: pip install transformers.
• PyTorch 2.x o TensorFlow 2.x — elige uno como backend. Ambos gratuitos.
• Jupyter Notebook o VS Code con extensión Python — gratuitos.
• Google Colab — gratuito, permite ejecutar modelos BERT sin GPU local. Recomendado si tu equipo es modesto.

?️ Hardware

• PC o Mac de los últimos 6 años, 8 GB RAM mínimo (16 GB recomendado para fine-tuning local).
• GPU propia NO es obligatoria: Google Colab (gratuito) cubre todos los ejercicios del curso con GPU en la nube.
• Si entrenas localmente con datasets grandes, una GPU NVIDIA con 6 GB VRAM acelera el proceso, pero no es requisito.

🔑 Cuentas

• Cuenta Hugging Face — gratuita, necesaria para descargar modelos BERT y subir tus propios checkpoints.
• Cuenta Google — gratuita, para Google Colab y Google Drive (almacenamiento de modelos).
• Cuenta Kaggle — gratuita, alternativa a Colab con GPU sin límite diario tan estricto.

📚 Conocimientos previos

• Python fluido: funciones, clases, manejo de ficheros, entornos virtuales.
• Nociones de Machine Learning: qué es una época de entrenamiento, qué es la función de pérdida, métricas de evaluación (accuracy, F1).
• Haber visto BERT a nivel conceptual (arquitectura Transformer, tokenización, embeddings). Este es un curso de nivel intermedio.

Cada proyecto te hace pasar por el ciclo completo: carga del modelo preentrenado, adaptación a tus datos y evaluación de resultados. Son ejercicios aplicables directamente en entornos reales.

1. Clasificador de sentimiento para reseñas de productos — fine-tuning de bert-base-uncased sobre un dataset de e-commerce. Caso de uso: equipo de producto que necesita procesar miles de opiniones de clientes automáticamente.
2. Sistema de clasificación multiclase de tickets de soporte — BERT entrenado para categorizar incidencias (facturación, técnico, devoluciones). Caso de uso: reducir el enrutamiento manual en un help desk.
3. Extractor de entidades en contratos — NER (Named Entity Recognition) con BERT para identificar partes, fechas y cláusulas clave. Caso de uso: despacho jurídico o área de compliance.
4. Motor de preguntas y respuestas sobre documentación interna — pipeline de QA con bert-large-uncased-whole-word-masking-finetuned-squad. Caso de uso: chatbot corporativo que responde sobre manuales técnicos.
5. Modelo multilingüe para análisis de texto en español e inglés — uso de mBERT o BETO para clasificar comentarios en dos idiomas con un solo modelo. Caso de uso: marca con presencia en mercados hispanohablantes y anglosajones.
6. Compresión y cuantización de BERT para despliegue ligero — aplicar DistilBERT o cuantización INT8 para reducir el modelo al 40% de su tamaño. Caso de uso: integración en una API REST con recursos limitados.

Estos son los errores que cometen con más frecuencia quienes trabajan con BERT en nivel intermedio. Identificarlos antes te ahorra horas de depuración.

• No truncar ni rellenar (padding) correctamente las secuencias: BERT tiene un límite de 512 tokens. Si no configuras truncation=True, padding=True en el tokenizador, obtendrás errores de dimensión o resultados silenciosamente incorrectos.
• Usar tasa de aprendizaje demasiado alta en fine-tuning: Con tasas como 1e-3 el modelo colapsa y pierde el conocimiento preentrenado. El rango habitual para fine-tuning de BERT es 1e-5 a 5e-5.
• No congelar capas en datasets pequeños: Con menos de 1.000 ejemplos, entrenar todas las capas de BERT lleva a sobreajuste. Congela las primeras capas del encoder y ajusta solo las últimas.
• Confundir el token [CLS] con una representación semántica universal: El embedding de [CLS] es útil para clasificación solo si el modelo ha sido fine-tuneado para esa tarea. En un modelo base sin ajustar, no representa el significado global de la frase de forma fiable.
• Ignorar el warmup del scheduler de aprendizaje: Empezar el entrenamiento sin un periodo de warmup genera gradientes inestables en las primeras iteraciones. Usa al menos un 6-10% de los pasos totales como warmup.
• Evaluar solo con accuracy en datos desbalanceados: Un dataset con 90% de una clase da accuracy alta aunque el modelo no aprenda nada. Usa siempre F1 macro o la matriz de confusión completa.
• No reproducir resultados por falta de semilla aleatoria: Sin fijar seed en PyTorch, NumPy y Python, cada ejecución da métricas distintas y no puedes comparar experimentos.
• Subir datos sensibles a Hugging Face Hub o Google Colab sin revisar: Modelos y datasets subidos públicamente quedan accesibles a cualquiera. Marca siempre el repositorio como privado si los datos son corporativos.
• Mezclar modelos cased y uncased sin coherencia: Usar bert-base-uncased con texto en mayúsculas o con entidades propias importantes provoca pérdida de información. Elige bert-base-cased si el texto tiene nombres propios relevantes.

Estos recursos son gratuitos, están activos y te van a resultar útiles durante el curso y después de él.

⚡ Atajos y comandos clave

• from transformers import pipeline; clasificador = pipeline('text-classification', model='nlptown/bert-base-multilingual-uncased-sentiment') — clasificador listo en 3 líneas.
• trainer.train() con TrainingArguments de Hugging Face — entrena y evalúa con logging automático.
• model.half() — convierte el modelo a FP16 para reducir uso de VRAM a la mitad en GPU compatible.
• En Colab: !nvidia-smi para verificar GPU disponible antes de lanzar un entrenamiento largo.

?️ Herramientas gratuitas esenciales

• Hugging Face Hub (huggingface.co) — repositorio de modelos BERT preentrenados, datasets y Spaces para demos.
• Google Colab — GPU gratuita (T4) suficiente para fine-tuning de bert-base con datasets medianos.
• Kaggle Notebooks — alternativa a Colab con 30 h/semana de GPU P100, sin límite de sesión tan estricto.
• Weights & Biases (wandb.ai) — seguimiento de experimentos gratuito para equipos pequeños; se integra con Hugging Face Trainer en dos líneas.
• BertViz — librería Python gratuita para visualizar los pesos de atención de BERT y depurar comportamientos inesperados.

📖 Documentación y referencias

• Hugging Face Docs — Transformers: documentación oficial completa de la librería, con ejemplos para cada tarea NLP.
• Papers With Code — BERT: recopila benchmarks, implementaciones y papers derivados de BERT ordenados por rendimiento.
• Google AI Blog — BERT original: artículo oficial explicando la arquitectura y los experimentos de preentrenamiento.

👥 Comunidades activas

• r/MachineLearning y r/LanguageTechnology en Reddit — discusiones técnicas sobre NLP, BERT y modelos de lenguaje.
• Hugging Face Forum (discuss.huggingface.co) — soporte oficial para dudas sobre Transformers, Trainer y modelos específicos.
• Discord de Hugging Face — canal activo con investigadores y practitioners; ideal para preguntas rápidas sobre fine-tuning.