Microsoft DP-601: Implement a Lakehouse with Microsoft Fabric

Apresentação

Este curso introduz os conceitos fundamentais para a implementação de um data lakehouse utilizando o Microsoft Fabric, a plataforma unificada de análise de dados da Microsoft. Os participantes aprenderão a combinar a flexibilidade do armazenamento em data lakes com as capacidades analíticas de data warehouses, explorando a forma como o Microsoft Fabric integra dados, análises, automação e governança num único ambiente SaaS.
O curso abrange desde a criação e gestão de lakehouses até à ingestão, orquestração e transformação de dados, com recurso a Apache Spark, Delta Lake e Dataflows Gen2, preparando os formandos para construir soluções analíticas completas e escaláveis.

Enquadramento

O Microsoft Fabric é uma plataforma integrada que permite às organizações consolidar as suas necessidades de dados e analytics num único ambiente, simplificando a criação de pipelines, modelos e relatórios analíticos. Este curso enquadra-se nas formações de engenharia e análise de dados, sendo essencial para profissionais que pretendem compreender e aplicar a arquitetura de lakehouse e os princípios da medallionarchitecture (Bronze, Silver e Gold) no contexto do Microsoft Fabric.

Destinatários 

• Engenheiros de dados e analistas que pretendam iniciar-se na utilização do Microsoft Fabric. 

• Profissionais de TI responsáveis pela implementação de soluções de dados e análises empresariais. 

• Técnicos e gestores que desejem compreender os fundamentos de data lakehouses e da arquitetura de dados moderna.

Pré-requisitos 

• Familiaridade com conceitos e terminologia básica de dados.

• Conhecimentos introdutórios de análise de dados, data lakes ou data warehouses são recomendados, mas não obrigatórios.

Objectivo Geral

Dotar os participantes de uma visão integrada e prática sobre a implementação de data lakehouses no Microsoft Fabric, capacitando-os para gerir, transformar e analisar dados de forma eficiente e escalável. 

Objectivos Específicos

No final do curso, os participantes serão capazes de: 

• Compreender os conceitos e a estrutura do Microsoft Fabric.

• Criar e gerir lakehouses dentro do Microsoft Fabric.

• Utilizar o Apache Spark para processamento e análise de grandes volumes de dados.

• Trabalhar com tabelas Delta Lake e compreender o seu papel na persistência e performance analítica.

• Ingerir e transformar dados através dos Dataflows Gen2.

• Orquestrar processos e fluxos de dados com Data Factory no Microsoft Fabric.

• Implementar a arquitetura Medallion (Bronze, Silver, Gold) para organizar e otimizar dados analíticos.

Programa 

1. Introdução à análise de dados ponta a ponta com o Microsoft Fabric 
2. Conceitos e funcionalidades do Microsoft Fabric 
3. Casos de uso empresariais e integração com outros serviços Microsoft 
4. Introdução aos Lakehouses no Microsoft Fabric 
5. Diferenças entre data lakes, data warehouses e lakehouses 
6. Criação e gestão de um lakehouse no Microsoft Fabric 
7. Utilização do Apache Spark no Microsoft Fabric 
8. Fundamentos do Spark e do processamento distribuído 
9. Execução de transformações e análises em larga escala 
10. Trabalhar com Tabelas Delta Lake no Microsoft Fabric 
11. Estrutura e funcionamento das tabelas Delta 
12. Implementação de análises avançadas com Delta Lake 
13. Ingestão de Dados com Dataflows Gen2 no Microsoft Fabric 
14. Criação visual de fluxos de ingestão e transformação de dados 
15. Integração com o Power Query Online 
16. Orquestração de Processos e Movimentação de Dados no Microsoft Fabric 
17. Criação e gestão de pipelines de dados 
18. Automação de tarefas com Data Factory 
19. Organização de um Lakehouse com a Arquitetura Medallion 
20. Estrutura Bronze, Silver e Gold 
21. Boas práticas de transformação e otimização de dados