Data Engineering on Microsoft Azure (DP-203)

DP203
Intermedio
Azure
30 horas
510 €
Convocatorias
Inicio - Fin
Horario  
7 sep. - 16 sep. Mar, Mie, Jue de 09:00 a 14:00 Sin definir
18 oct. - 28 oct. Lun, Mar, Mie, Jue de 16:00 a 19:45 Sin definir
Descripción


En este curso, el alumno aprenderá sobre los patrones y prácticas de ingeniería de datos en lo que respecta a trabajar con soluciones analíticas por lotes y en tiempo real utilizando tecnologías de plataforma de datos de Azure.

Los alumnos comenzarán por entender las principales tecnologías de computación y almacenamiento que se utilizan para construir una solución analítica. A continuación, explorarán cómo diseñar una capa de servicio analítica y se centrarán en las consideraciones de ingeniería de datos para trabajar con archivos de origen.

Los alumnos aprenderán a explorar interactivamente datos almacenados en archivos en un lago de datos. Aprenderán distintas técnicas de ingesta que pueden utilizarse para cargar datos utilizando la capacidad de Apache Spark que se encuentra en Azure Synapse Analytics o Azure Databricks, o cómo ingerir utilizando Azure Data Factory o Azure Synapse pipelines. Los alumnos también aprenderán las distintas maneras en que pueden transformar datos utilizando las mismas tecnologías que se utilizan para la ingesta de datos.

El alumno dedicará tiempo al curso aprendiendo a monitorizar y analizar el rendimiento del sistema analítico para poder optimizar el rendimiento de cargas de datos, o consultas que se emitan contra los sistemas. Comprenderá la importancia de aplicar la seguridad para garantizar la protección de los datos en reposo o en tránsito. A continuación, el alumno mostrará cómo se pueden utilizar los datos de un sistema analítico para crear cuadros de mando o construir modelos predictivos en Azure Synapse Analytics. 

Examen de Certificación

El curso prepara para la obtención de la certificación Azure Data Engineer Associate, esta certificación se obtiene mediante la realización del examen DP-203: Data Engineering on Microsoft Azure.

¿Qué es la certificación Azure Data Engineer Associate?

La certificación Azure Data Engineer Associate valida su capacidad para integrar, transformar y consolidar datos de varios sistemas en estructuras adecuadas para crear soluciones de análisis, en entornos Microsoft Azure.

Esta certificación forma parte del itinerario de formación de los profesionales que quieran especializarse en soluciones de Datos y AI.


Objetivos

Los alumnos que aprueben este curso tendrán conocimientos sobre computación en cloud y conceptos básicos de datos, así como experiencia profesional con soluciones de datos. Una vez finalizado el curso los alumnos podrán:

  • Explorar opciones de computación y almacenamiento para cargas de trabajo de ingeniería de datos en Azure
  • Diseñar e implementar la capa de servicio
  • Comprender las consideraciones de ingeniería de datos
  • Ejecutar consultas interactivas utilizando pools de SQL sin servidor
  • Explorar, transformar y cargar datos en el almacén de datos utilizando Apache Spark
  • Realizar la exploración y transformación de datos en Azure Databricks
  • Ingerir y cargar Datos en el Almacén de Datos
  • Transformar datos con Azure Data Factory o Azure Synapse Pipelines
  • Integrar datos de Notebooks con Azure Data Factory o Azure Synapse Pipelines
  • Optimizar el Rendimiento de Consulta con Pools SQL Dedicados en Azure Synapse
  • Analizar y Optimizar el Almacenamiento en el Almacén de Datos
  • Apoyar el Hybrid Transactional Analytical Processing (HTAP) con Azure Synapse Link
  • Realiza seguridad integral con Azure Synapse Analytics
  • Realiza un Procesamiento de Flujo en tiempo real con Stream Analytics
  • Crear una Solución de Procesamiento de Flujo con Event Hubs y Azure Databricks
  • Crear informes utilizando la integración de Power BI con Azure Synapse Analytics
  • Realizar Procesos de Aprendizaje Automático Integrados en Azure Synapse Analytics

Requisitos previos

Antes de realizar el curso, es necesario que los alumnos hayan cursado previamente los siguientes cursos o bien posean los conocimientos que se imparten en ellos:

Contenido

Module 1: Explore compute and storage options for data engineering workloads

  • Introduction to Azure Synapse Analytics

  • Describe Azure Databricks

  • Introduction to Azure Data Lake storage

  • Describe Delta Lake architecture

  • Work with data streams by using Azure Stream Analytics

Module 2: Design and implement the serving layer

  • Design a multidimensional schema to optimize analytical workloads

  • Code-free transformation at scale with Azure Data Factory

  • Populate slowly changing dimensions in Azure Synapse Analytics pipelines

Module 3: Data engineering considerations for source files

  • Design a Modern Data Warehouse using Azure Synapse Analytics

  • Secure a data warehouse in Azure Synapse Analytics

Module 4: Run interactive queries using Azure Synapse Analytics serverless SQL pools

  • Explore Azure Synapse serverless SQL pools capabilities

  • Query data in the lake using Azure Synapse serverless SQL pools

  • Create metadata objects in Azure Synapse serverless SQL pools

  • Secure data and manage users in Azure Synapse serverless SQL pools

Module 5: Explore, transform, and load data into the Data Warehouse using Apache Spark

  • Understand big data engineering with Apache Spark in Azure Synapse Analytics

  • Ingest data with Apache Spark notebooks in Azure Synapse Analytics

  • Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics

  • Integrate SQL and Apache Spark pools in Azure Synapse Analytics

Module 6: Data exploration and transformation in Azure Databricks

  • Describe Azure Databricks

  • Read and write data in Azure Databricks

  • Work with DataFrames in Azure Databricks

  • Work with DataFrames advanced methods in Azure Databricks

Module 7: Ingest and load data into the data warehouse

  • Use data loading best practices in Azure Synapse Analytics

  • Petabyte-scale ingestion with Azure Data Factory

Module 8: Transform data with Azure Data Factory or Azure Synapse Pipelines

  • Data integration with Azure Data Factory or Azure Synapse Pipelines

  • Code-free transformation at scale with Azure Data Factory or Azure Synapse Pipelines

Module 9: Orchestrate data movement and transformation in Azure Synapse Pipelines

  • Orchestrate data movement and transformation in Azure Data Factory

Module 10: Optimize query performance with dedicated SQL pools in Azure Synapse

  • Optimize data warehouse query performance in Azure Synapse Analytics

  • Understand data warehouse developer features of Azure Synapse Analytics

Module 11: Analyze and Optimize Data Warehouse Storage

  • Analyze and optimize data warehouse storage in Azure Synapse Analytics
  • Design hybrid transactional and analytical processing using Azure Synapse Analytics

  • Configure Azure Synapse Link with Azure Cosmos DB

  • Query Azure Cosmos DB with Apache Spark pools

  • Query Azure Cosmos DB with serverless SQL pools

Module 13: End-to-end security with Azure Synapse Analytics

  • Secure a data warehouse in Azure Synapse Analytics

  • Configure and manage secrets in Azure Key Vault

  • Implement compliance controls for sensitive data

Module 14: Real-time Stream Processing with Stream Analytics

  • Enable reliable messaging for Big Data applications using Azure Event Hubs

  • Work with data streams by using Azure Stream Analytics

  • Ingest data streams with Azure Stream Analytics

Module 15: Create a Stream Processing Solution with Event Hubs and Azure Databricks

  • Process streaming data with Azure Databricks structured streaming

Module 16: Build reports using Power BI integration with Azure Synapase Analytics

  • Create reports with Power BI using its integration with Azure Synapse Analytics

Module 17: Perform Integrated Machine Learning Processes in Azure Synapse Analytics

  • Use the integrated machine learning process in Azure Synapse Analytics