• No necesitas tener una laptop o computadora potente pues todo se trabaja en la nube.
• Conocimientos previos: lenguaje de programación y SQL.

• Ingenieros de Datos
• Analistas de Datos
• Científicos de Datos
• Desarrolladores
• Estudiantes de carreras relacionadas con datos.
• Personas con conocimiento básico en análisis de datos.

• 1. Conceptos Básicos de Cloud y Databricks

• Fundamentos de Cloud Computing
• Conceptos de Azure y AI
• Arquitectura de Azure Databricks
• Control Plane y Data Plane
• Exploración de la interfaz de Databricks

Laboratorio: Navegación por Azure, configuración de workspace en Databricks Free Edition y manejo de sus herramientas.

• 2. Procesamiento con Spark SQL

• Fundamentos de Spark SQL
• Construcción de CTEs, CTAS
• Lectura y escritura de datos con JSON, CSV y parquet
• Manipulación de datos con Spark SQL
• Visualización de datos con Spark SQL

Laboratorio: Lectura, manipulación y transformación de datos con Spark SQL

• 3. Procesamiento con PySpark

• Arquitectura de Apache spark
• Driver vs Executors
• Lazy Evaluation, DAG, Logical Plan, Logical Physical
• Lectura y escritura de datos con JSON, CSV, parquet
• Manipulación de datos con pyspark (métodos, funciones, UDF, Windows functions)
• Visualización de datos con PySpark

Laboratorio: Lectura, manipulación y transformación de datos con PySpark.

• 4. ETL con Spark SQL y Pyspark

• Diseño de procesos ETL
• Diseño de conexiones de databricks hacia un azure datalake de tipo Key, SAS, Service Principal y Managed identity
• Extracción de datos desde diversas fuentes, desde un Datalake, Blob Storage, Azure SQL, Cosmos DB
• Transformaciones complejas con PySpark y SQL
• Manejo de errores y excepciones

Laboratorio: Desarrollo de ETL complejo usando Pyspark y Spark SQL desde múltiples fuentes aplicando transformaciones completas con buenas prácticas de desarrollo.

• 5. Optimizaciones en Delta Lake con Pyspark

• Arquitectura a Delta Lake
• ACID Transactions
• Delta Time Travel (DTT)
• Restore Table
• Schema Enforcement vs Evolution
• MERGE INTO
• Optimize & Z-ordering
• Vacuum
• Clustering
• Change Data Feed (CDF)

Laboratorio: Creación de tablas delta, particionamiento de tablas, y optimizaciones en tablas delta, Restaurar tablas delta.

• 6. Incremental Data Processing

• Que es la carga incremental
• Funciones de Carga Incremental
• Merge, Auto Loader, Copy Into

Laboratorio: Incremental Data en casos reales y prácticos con Pyspark y Spark SQL

• 7. Workflows en Azure Databricks

• Qué son los workflows
• Creación de pipelines con workflows
• Conceptos de Jobs, triggers, dependencias, retries, librerías, permisos, tags, etc
• Parametrización de workflows

Laboratorio: Creación, monitoring de workflows en Databricks

• 8. Construyendo Dataflows y pipelines de datos con Data Factory

• Introducción a Azure Data Factory
• Creación de pipelines
• Integración con Azure Databricks
• Orquestación de pipelines

Laboratorio: Creación de dataflows y pipelines de datos usando Data Factory y Databricks.

• 9. Delta Live Tables (DLT)

• Introducción a Delta Live Tables
• Creación de pipeline de datos
• Automatización de workflows con Delta Live Tables

Laboratorio: Creación de pipelines con Delta Live Table

• 10. Gobernanza en Databricks con Unit Catalog

• Creación y montado de metastore en databricks manage account
• Manejo de permisos y roles en databricks en user managment
• Creación y manejos de storage credential y external location
• Brindar grans y revoke a objetos de unit catalog
• Linaje de datos
• Delta sharing

Laboratorio: Montar unit catalog, asignación de roles, definición de storage credential y external location, linaje y auditoria de datos sobre databricks

• 11. Seguridad y administración de Databricks

• Administración de usuarios y grupos dentro de user managment
• Gobierno de tags
• Auditoria de objetos de unit catalog
• Creación de policy dentro de Databricks

Laboratorio: Trabajo sobre usuarios, grupos, definición de accesos y creación de políticas.

• 12. Real time streaming con even hubs, stream Analitycs
  y Azure Databricks

• Introducción a Event Hubs y Azure Streaming
• Integración de Event Hubs con Databricks
• Integración de Azure Streaming con Databricks
• Procesamiento con spark streaming con API entre evento hubs y databricks

Laboratorio: Integración de servicios streaming con Databricks.

• 13. Dashboard Databricks y PowerBI

• Mostrar resultados de tablas del unit catalog en Power BI
• Generación de dashboard con tablas de unit catalog
• Diseño de dashboard lakeview en databricks

Laboratorio: Creación de dashboard interactivos con databricks y Conexión de tablas de unit catalog con Power BI.

• 14. CI/CD features con Databricks

• Introducción a CI/CD en Databricks
• Git Repos, Databricks CLI y REST API
• Integración con GitHub Actions
• Despliegue usando Asset Boundles
• Manejo de Git Flow usando Repos de Databricks

Laboratorio: Configuración de repositorio Git, uso de databricks CLI y creación de CI/CD con git hub actions.

• 15. AI Generativa con Databricks

• Introducción a la IA Generativa
• ¿Qué es Genie?
• Conversación en lenguaje natural a SQL
• Uso de Playground databricks
• Modelos de Lenguaje Grande (LLM)
• Exploración de model serving y creación de endpoints

Laboratorio: Consultas en playground con serving enpoint con un modelo LLM.

• 15. Desarrollo de Agentes de AI Databricks

• ¿Qué es un AI Agent?
• Construcción de un agente AI
• Integración de modelos de IA en Databricks APP
• Integración de Lakebase como BD OLPT en Databricks APP

Laboratorio: Creación de un Agente IA usando modelos LLM en Azure Databricks.