• No necesitas tener una laptop o computadora potente pues todo se trabaja en la nube.
• Conocimientos previos: lenguaje de programación y SQL.

• Ingenieros de Datos
• Analistas de Datos
• Científicos de Datos
• Desarrolladores
• Estudiantes de carreras relacionadas con datos.
• Personas con conocimiento básico en análisis de datos.

• 1. Conceptos Básicos de Cloud y Databricks

• Informática en la nube
• Conceptos de Azure y Databricks
• Creación de workspace Databricks en azure (configuración de clúster)
• Exploración de la interfaz de Databricks

Laboratorio: Navegación por Azure, configuración de workspace en Databricks y manejo clúster.

• 2. Procesamiento con Spark SQL

• Fundamentos de Spark SQL
• Lectura y escritura de datos con JSON, CSV, parquet
• Manipulación de datos con Spark SQL
• Visualización de datos con Spark SQ

Laboratorio: Lectura, manipulación y transformación de datos con Spark SQL.

• 3. Procesamiento con PySpark

• Introducción a PySpark
• Lectura y escritura de datos con JSON, CSV, parquet
• Manipulación de datos con PySpark (métodos, funciones, UDF)
• Visualización de datos con PySpark

Laboratorio: Lectura, manipulación y transformación de datos con PySpark.

• 4. Optimizaciones en Delta Lake con PySpark

• Introducción a Delta Lake
• Conceptos de tablas delta
• Delta time Table (DTT)
• Conversiones a tablas delta
• Optimizaciones (Z-ordering, partitioning, Vacuum, Optimize)

Laboratorio: Creación de tablas delta, particionamiento de tablas, y optimizaciones en tablas delta.

• 5. ETL con Spark SQL y PySpark

• Diseño de procesos ETL
• Extracción de datos desde diversas fuentes
• Transformaciones complejas con PySpark y SQL

Laboratorio: Desarrollo de ETL complejo usando PySpark y Spark SQL desde múltiples fuentes aplicando transformaciones completas con buenas prácticas de desarrollo.

• 6. Incremental Data Processing

• Definición de carga incremental, maestra y temporal.
• Funciones de Carga Incremental.
• Merge, Auto Loader, Copy Into.

Laboratorio: Incremental Data en casos reales y prácticos con PySpark y Spark SQL

• 7. Workflows en Azure Databricks

• Definición de workflows
• Creación de pipelines con workflows
• Conceptos de Jobs, triggers, dependencias
• Parametrización de workflows

Laboratorio: Creación de workflows en Databricks completo.

• 8. Delta Live Tables (DLT)

• Introducción a Delta Live Tables
• Creación de pipeline de datos
• Automatización de workflows con delta live tables

Laboratorio: Creación de pipelines con Delta Live Table.

• 9. Gobernanza en Databricks con Unit Catalog

• Creación de metastore
• Manejo de permisos y roles en Databricks
• Creación de storage credential y external location
• Linaje y auditoria de datos

Laboratorio: Montar unit catalog , asignación de roles, definición de storage credential y external location, linaje y auditoria de datos sobre Databricks.

• 10. Seguridad y administración de Databricks

• Administración de usuarios y grupos dentro de unit catalog
• Seguridad a nivel de red y cifrado
• Monitorización de actividad y auditorías
• Creación de políticas dentro de Databricks

Laboratorio: Trabajo sobre usuarios, grupos, definición de accesos y creación de políticas.

• 11. Construyendo Dataflows y pipelines de datos con Data Factory

• Introducción a Azure Data Factory
• Creación de pipelines
• Integración con Azure Databricks
• Orquestación de pipelines

Laboratorio: Creación de dataflows y pipelines de datos usando Data Factory y Databricks.

• 12. Real time streaming con even hubs, stream Analitycs y Azure Databricks

• Introducción a Event Hubs y Azure Streaming
• Integración de Event Hubs con Databricks
• Integración de Azure Streaming con Databricks
• Procesamiento con Spark streaming

Laboratorio: Integración de servicios streaming con Databricks.

• 13. Dashboard Databricks y PowerBI

• Generación de dashboard con PySpark
• Generación de dashboard con tablas de unit catalog
• Conexión de Databricks con power bi

Laboratorio: Creación de dashboard interactivos con Databricks y Conexión de tablas de unit catalog con Power BI.

• 14. CI/CD features con Databricks  

• Introducción a CI/CD en Databricks
• Git Repos, Databricks CLI y API
• Integración con Azure DevOps y GitHub Actions

Laboratorio: Configuración de repositorio git, uso de Databricks CLI y creación de CI/CD con git hub actions.

• 15. IA Generativa con Databricks

• Introducción a la IA Generativa
• Modelos de Lenguaje Grande (LLM)
• Integración de modelos de IA con Databricks

Laboratorio: Creación de un modelo de IA Generativa en Databricks.