Gestão Avançada de Hadoop

Apresentação 

O curso Gestão Avançada de Hadoop é uma formação focada nas competências de administração e operação de clusters Hadoop, cobrindo temas como deployment, monitorização, segurança, tuning e manutenção de ambientes distribuídos de processamento de dados.   

Enquadramento 

Administrar um cluster Hadoop numa organização exige conhecimento profundo da sua arquitectura, capacidade de implementar soluções estáveis e seguras, assim como a habilidade de monitorizar performance e resolver problemas complexos. Esta formação é ideal para profissionais responsáveis por ambientes Hadoop em produção ou que pretendem especializarse nesta área.  

Destinatários 

Este curso destinase a: 

• Administradores de sistemas que querem gerir ambientes Hadoop; 

• Profissionais de DevOps/SRE com responsabilidades em Big Data; 

• Técnicos que já têm experiência básica em Hadoop e querem aprofundar competências; 

• Engenheiros de dados que participam na manutenção operacional de clusters.  

Prérequisitos 

Os candidatos ao curso devem possuir: 

• Experiência básica com administração de sistemas (Linux, rede, scripting); 

• Compreensão fundamental de Hadoop e do processamento distribuído; 

• Familiaridade com conceitos como sistemas de ficheiros distribuídos e utilização de linha de comandos.  

Objectivo Geral 

Capacitar os formandos com técnicas e práticas de administração sustentável de clusters Hadoop, incluindo instalação, configuração, monitorização, performance tuning e segurança.   

Objectivos Específicos 

No final da formação os participantes serão capazes de: 

• Instalar e configurar Hadoop em ambientes distribuídos.  
• Compreender e gerir os componentes chave do cluster, como HDFS, YARN e MapReduce.  
• Aplicar práticas de segurança para proteger dados e serviços.  
• Monitorizar performance e diagnosticar problemas comuns no cluster.  
• Optimizar parâmetros para melhorar desempenho de jobs e recursos.  
• Implementar estratégias de backup e recuperação e assegurar alta disponibilidade. 

Programa 

Módulo 1 — Arquitectura e Deployment de Hadoop 

• Componentes Apache Hadoop e suas funções 

• Métodos de instalação (single e multinode) 

Módulo 2 — Gestão de HDFS em Produção 

• Configurações avançadas e operações do HDFS 

Módulo 3 — YARN & MapReduce em Ambientes Operacionais 

• Controlo de recursos e scheduling 

Módulo 4 — Monitorização e Diagnóstico 

• Logs, ferramentas e métricas de performance 

Módulo 5 — Segurança e Controlo de Acesso 

• Kerberos, ACLs e encriptação 

Módulo 6 — Planeamento e Escalabilidade de Clusters 

• Estratégias de expansão e manutenção 

Módulo 7 — Backup, Recuperação e HA 

• Políticas de backup e práticas de recuperação 

Módulo 8 — Tuning e Optimização 

• Parameter tuning e gestão avançada de recursos