Neste curso, os alunos irão aprender sobre a engenharia de dados em relação ao trabalho com soluções analíticas em batch e em tempo real, utilizando as tecnologias da plataforma de dados do Azure. O curso começa com uma compreensão das tecnologias de computação e armazenamento que são essenciais para construir uma solução analítica. Os alunos irão explorar de forma interativa dados armazenados em ficheiros num data lake, além de aprender várias técnicas de ingestão para carregar dados utilizando a capacidade Apache Spark no Azure Synapse Analytics ou no Azure Databricks, ou através de ingestão usando o Azure Data Factory ou pipelines do Azure Synapse. Os alunos também aprenderão as várias formas de transformar dados utilizando as mesmas tecnologias usadas para ingestão. Além disso, compreenderão a importância da implementação de medidas de segurança para proteger os dados tanto em repouso como em trânsito. O curso finaliza com a criação de um sistema analítico em tempo real para gerar soluções analíticas em tempo real.
A crescente necessidade de analisar grandes volumes de dados em tempo real requer engenheiros de dados capazes de construir soluções robustas, seguras e escaláveis. Este curso oferece um programa estruturado para desenvolver competências práticas e teóricas que permitirão criar, gerir e otimizar soluções analíticas baseadas na plataforma de dados do Azure.
Profissionais de Dados e Arquitetos de Dados – Especialistas em engenharia de dados e design de soluções analíticas que querem trabalhar com tecnologias de dados na plataforma Azure.
Profissionais de Business Intelligence (BI) – Profissionais focados em relatórios e visualização de dados que desejam aprender a criar pipelines de dados robustos.
Analistas e Cientistas de Dados (público secundário) – Profissionais que trabalham com análise e modelagem de dados, interessados em integrar modelos analíticos com soluções baseadas no Azure.
Pré-requisitos
Os alunos devem iniciar este curso com conhecimentos em computação na cloud e conceitos de dados fundamentais, bem como experiência profissional com soluções de dados.
-> Recomenda-se que os alunos tenham completado os seguintes cursos:
AZ-900 – Fundamentos do Azure
DP-900 – Fundamentos de Dados no Microsoft Azur3
Capacitar os alunos com competências práticas e teóricas para a construção de soluções analíticas eficazes e escaláveis no Azure, abordando tanto a ingestão e transformação de dados como a criação de pipelines e sistemas de análise em tempo real.
Módulo 1: Explorar opções de computação e armazenamento para cargas de trabalho de engenharia de dados
Descrição: Apresentação das tecnologias de computação e armazenamento do Azure para engenheiros de dados. Estruturar o data lake e otimizar ficheiros para processamento exploratório, streaming e batch.
Módulo 2: Executar consultas interativas usando Azure Synapse Analytics (pools SQL sem servidor)
Descrição: Consultar dados armazenados no data lake e fontes externas com T-SQL.
Módulo 3: Exploração e transformação de dados no Azure Databricks
Descrição: Exploração de dados e transformação através do Apache Spark no Azure Databricks.
Módulo 4: Explorar, transformar e carregar dados no Data Warehouse usando Apache Spark
Descrição: Carregar dados em armazéns relacionais e executar consultas.
Módulo 5: Ingestão e carregamento de dados no Data Warehouse
Descrição: Ingestão de dados em armazéns de dados utilizando T-SQL e pipelines.
Módulo 6: Transformar dados com Azure Data Factory ou Azure Synapse Pipelines
Descrição: Criar pipelines de integração de dados, transformar dados com data flows.
Módulo 7: Orquestrar movimentação e transformação de dados no Azure Synapse Pipelines
Descrição: Criação de serviços vinculados e orquestração de movimentação de dados.
Módulo 8: Segurança de ponta a ponta com Azure Synapse Analytics
Descrição: Implementar medidas de segurança para proteger o ambiente Synapse Analytics.
Módulo 9: Suportar processamento híbrido com Azure Synapse Link
Descrição: Conectar uma conta Azure Cosmos DB a um espaço de trabalho Synapse.
Módulo 10: Processamento de fluxos de dados em tempo real com Stream Analytics
Descrição: Ingestão de dados de streaming e processamento em tempo real com Stream Analytics.
Módulo 11: Criar uma solução de processamento de streaming com Event Hubs e Azure Databricks
Descrição: Processar dados de streaming com Spark Structured Streaming e Event Hubs.