Data Engineering on Microsoft Azure (DP-203)

DP203
Intermedio
Azure
25 horas
480 €
Convocatorias
Inicio - Fin
Horario  
18 oct. - 28 oct. Lun, Mar, Mie, Jue de 16:00 a 19:45 Sin definir
5 nov. - 19 nov. Vie de 15:30 a 20:30 y Sáb de 09:00 a 14:00 Sin definir
Descripción

Este curso prepara para el examen DP-203: Data Enginnering on Microsoft Azure que es parte de los requisitos para la obtención de la certificación Microsoft Certified: Azure Data Engineer Associate.

En este curso, el alumno aprenderá sobre los patrones y prácticas de ingeniería de datos en lo que respecta a trabajar con soluciones analíticas por lotes y en tiempo real utilizando tecnologías de plataforma de datos de Azure.

Los alumnos comenzarán por entender las principales tecnologías de computación y almacenamiento que se utilizan para construir una solución analítica. A continuación, explorarán cómo diseñar una capa de servicio analítica y se centrarán en las consideraciones de ingeniería de datos para trabajar con archivos de origen. Los alumnos aprenderán a explorar interactivamente datos almacenados en archivos en un lago de datos. Aprenderán distintas técnicas de ingesta que pueden utilizarse para cargar datos utilizando la capacidad de Apache Spark que se encuentra en Azure Synapse Analytics o Azure Databricks, o cómo ingerir utilizando Azure Data Factory o Azure Synapse pipelines.

Los alumnos también aprenderán las distintas maneras en que pueden transformar datos utilizando las mismas tecnologías que se utilizan para la ingesta de datos. El alumno dedicará tiempo al curso aprendiendo a monitorizar y analizar el rendimiento del sistema analítico para poder optimizar el rendimiento de cargas de datos, o consultas que se emitan contra los sistemas.

Comprenderá la importancia de aplicar la seguridad para garantizar la protección de los datos en reposo o en tránsito. A continuación, el alumno mostrará cómo se pueden utilizar los datos de un sistema analítico para crear cuadros de mando o construir modelos predictivos en Azure Synapse Analytics.

Objetivos

El público principal de este curso son profesionales de datos, arquitectos de datos y profesionales de la inteligencia empresarial que quieren aprender sobre ingeniería de datos y construcción de soluciones analíticas utilizando tecnologías de plataformas de datos que existen en Microsoft Azure.

El curso es indicado para aquellos alumnos que deseen obtener la certificación Microsoft Certified: Azure Data Engineer Associate, ya que el examen DP-203 es uno de los requisitos de esta certificación.

El examen DP-203 sustituye a los exámenes DP-200 y DP-201 que se han retirado a 31 de agosto de 2021.

Una vez finalizado el curso, los alumnos habrán adquirido las siguientes aptitudes o conocimientos:

  • Explora opciones de computación y almacenamiento para cargas de trabajo de ingeniería de datos en Azure
  • Diseñar e implementar la capa de servicio
  • Comprender las consideraciones de ingeniería de datos
  • Ejecutar consultas interactivas utilizando pools de SQL sin servidor
  • Explorar, transformar y cargar datos en el almacén de datos utilizando Apache Spark
  • Realizar la exploración y transformación de datos en Azure Databricks
  • Ingerir y cargar Datos en el Almacén de Datos
  • Transformar datos con Azure Data Factory o Azure Synapse Pipelines
  • Integrar datos de Notebooks con Azure Data Factory o Azure Synapse Pipelines
  • Optimizar el Rendimiento de Consulta con Pools SQL Dedicados en Azure Synapse
  • Analizar y Optimizar el Almacenamiento en el Almacén de Datos
  • Apoyar el Hybrid Transactional Analytical Processing (HTAP) con Azure Synapse Link
  • Realiza seguridad integral con Azure Synapse Analytics
  • Realiza un Procesamiento de Flujo en tiempo real con Stream Analytics
  • Crear una Solución de Procesamiento de Flujo con Event Hubs y Azure Databricks
  • Crear informes utilizando la integración de Power BI con Azure Synapse Analytics
  • Realizar Procesos de Aprendizaje Automático Integrados en Azure Synapse Analytics
Contenido

Module 1: Explore compute and storage options for data engineering workloads

  • Introduction to Azure Synapse Analytics

  • Describe Azure Databricks

  • Introduction to Azure Data Lake storage

  • Describe Delta Lake architecture

  • Work with data streams by using Azure Stream Analytics

Module 2: Run interactive queries using Azure Synapse Analytics serverless SQL pools

  • Explore Azure Synapse serverless SQL pools capabilities

  • Query data in the lake using Azure Synapse serverless SQL pools

  • Create metadata objects in Azure Synapse serverless SQL pools

  • Secure data and manage users in Azure Synapse serverless SQL pools

Module 3: Data exploration and transformation in Azure Databricks

  • Describe Azure Databricks

  • Read and write data in Azure Databricks

  • Work with DataFrames in Azure Databricks

  • Work with DataFrames advanced methods in Azure Databricks

Module 4: Explore, transform, and load data into the Data Warehouse using Apache Spark


  • Understand big data engineering with Apache Spark in Azure Synapse Analytics

  • Ingest data with Apache Spark notebooks in Azure Synapse Analytics

  • Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics

  • Integrate SQL and Apache Spark pools in Azure Synapse Analytics

Module 5: Ingest and load data into the data warehouse

  • Use data loading best practices in Azure Synapse Analytics

  • Petabyte-scale ingestion with Azure Data Factory

Module 6: Transform data with Azure Data Factory or Azure Synapse Pipelines

  • Data integration with Azure Data Factory or Azure Synapse Pipelines

  • Code-free transformation at scale with Azure Data Factory or Azure Synapse Pipelines

Module 7: Orchestrate data movement and transformation in Azure Synapse Pipelines

  • Orchestrate data movement and transformation in Azure Data Factory

Module 8: End-to-end security with Azure Synapse Analytics

  • Secure a data warehouse in Azure Synapse Analytics

  • Configure and manage secrets in Azure Key Vault

  • Implement compliance controls for sensitive data

  • Design hybrid transactional and analytical processing using Azure Synapse Analytics

  • Configure Azure Synapse Link with Azure Cosmos DB

  • Query Azure Cosmos DB with Apache Spark pools

  • Query Azure Cosmos DB with serverless SQL pools

Module 10: Real-time Stream Processing with Stream Analytics

  • Enable reliable messaging for Big Data applications using Azure Event Hubs

  • Work with data streams by using Azure Stream Analytics

  • Ingest data streams with Azure Stream Analytics

Module 11: Create a Stream Processing Solution with Event Hubs and Azure Databricks

  • Process streaming data with Azure Databricks structured streaming