Fundamentos de Hadoop

Apresentação 

O curso Fundamentos de Hadoop oferece uma introdução técnica e aplicada ao ecossistema Hadoop, focandose nos princípios de processamento de dados distribuídos e nas capacidades da plataforma para gerir grandes volumes de informação.  

Enquadramento 

O Hadoop é um dos frameworks mais relevantes no contexto de Big Data, permitindo o processamento distribuído de conjuntos massivos de dados através de clusters de servidores. Esta formação providencia uma base sólida que permite compreender a arquitectura e os componentes essenciais de um ambiente Hadoop, incluindo HDFS, YARN e MapReduce, bem como uma visão geral do ecossistema adjacente.  

Destinatários 

Este curso destinase a: 

• Profissionais de TI que se iniciam na área de Big Data; 

• Analistas de dados e desenvolvedores que queiram aprender a trabalhar com dados em escala; 

• Técnicos que desejam entender a arquitetura e o funcionamento de clusters distribuídos; 

• Gestores técnicos que necessitam de compreender os fundamentos do processamento de dados distribuído.  

Prérequisitos 

Para beneficiar deste curso, recomendase: 

• Conhecimentos básicos de programação (por exemplo Java ou Python); 

• Noções de SQL ou experiência em manipulação de dados; 

• Familiaridade com sistemas operativos baseados em Linux é vantajosa.  

Objectivo Geral 

Dotar os participantes com os conhecimentos essenciais sobre a plataforma Hadoop, incluindo os seus principais componentes, arquitectura e métodos de processamento, capazes de lhes permitir operar e compreender ambientes Hadoop com confiança.  

Objectivos Específicos 

No final do curso os participantes serão capazes de: 

• Explicar a arquitectura e os princípios subjacentes do Hadoop e o seu propósito.  
• Compreender e utilizar o HDFS para armazenamento e recuperação de dados.  
• Entender o modelo de programação MapReduce e como aplicar tarefas de processamento distribuído.  
• Trabalhar com os elementos básicos do ecossistema Hadoop.  
• Reconhecer os papéis dos componentes como YARN e sua importância no processamento de aplicações distribuídas.  
• Introduzir o participante aos conceitos de cluster e sua monitorização básica.

Programa 

Módulo 1 — Introdução ao Big Data e Hadoop 

• Conceitos fundamentais de Big Data e motivação para Hadoop 

Módulo 2 — Arquitectura Hadoop e HDFS 

• Estrutura do Hadoop Distributed File System (HDFS) 

• Armazenamento distribuído e replicação de blocos 

Módulo 3 — YARN e Gestão de Recursos 

• Função do YARN no processamento de aplicações 

Módulo 4 — MapReduce: Conceitos e Execução 

• Lógica de Map e Reduce 

• Execução prática de jobs MapReduce 

Módulo 5 — Navegação do Ecossistema Hadoop 

• Visão geral de Hive, Pig, HBase, Sqoop e Flume 

Módulo 6 — Operações Básicas em Cluster Hadoop

• Comandos fundamentais e administração simples 

• Ferramentas de monitorização 

Módulo 7 — Casos de Utilização 

• Exemplos de aplicações reais de Hadoop em Big Data