Com a maior adoção do Hadoop em soluções de TI corporativas tradicionais e o aumento do número de implementações do Hadoop no ambiente de produção, a necessidade de especialistas em operações e administração do Hadoop para cuidar dos grandes clusters do Hadoop está se tornando vital.
Responsabilidades do administrador do Hadoop:
- Responsável pela implementação e administração contínua da infraestrutura Hadoop.
- Alinhando-se com a equipe de engenharia de sistemas para propor e implantar novos ambientes de hardware e software necessários para o Hadoop e para expandir os ambientes existentes.
- Trabalhar com equipes de entrega de dados para configurar novos usuários Hadoop. Esse trabalho inclui a configuração de usuários do Linux, a configuração dos principais do Kerberos e o teste de acesso HDFS, Hive, Pig e MapReduce para os novos usuários.
- Manutenção de cluster, bem como criação e remoção de nós usando ferramentas como Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage e outras ferramentas.
- Ajuste de desempenho de clusters Hadoop e rotinas Hadoop MapReduce.
- Faça a triagem dos desempenhos de trabalho do cluster Hadoop e do planejamento de capacidade
- Monitore a conectividade e a segurança do cluster Hadoop
- Gerenciar e revisar arquivos de log do Hadoop.
- Gerenciamento e monitoramento do sistema de arquivos.
- Suporte e manutenção de HDFS.
- Trabalhando diligentemente com as equipes de infraestrutura, rede, banco de dados, aplicativos e inteligência de negócios para garantir alta qualidade e disponibilidade dos dados.
- Colaborar com as equipes de aplicativos para instalar o sistema operacional e atualizações do Hadoop, patches e atualizações de versão quando necessário.
- Ponto de contato para escalação de fornecedor
A administração do Hadoop é uma carreira gratificante e lucrativa com muitas oportunidades de crescimento. Se as responsabilidades do cargo listadas acima interessam a você, é hora de se aprimorar em Administração do Hadoop e entrar no caminho de carreira de administrador do Hadoop.
tag html para inserir uma quebra de linha
Responsabilidades do DBA desempenhadas por um administrador Hadoop:
- Modelagem de dados, design e implementação com base em padrões reconhecidos.
- Instalação e configuração de software.
- Backup e recuperação de banco de dados.
- Conectividade e segurança de banco de dados.
- Monitoramento e ajuste de desempenho.
- Gerenciamento de espaço em disco.
- Patches e atualizações de software.
- Automatize tarefas manuais.
Responsabilidades de desenvolvimento DWH desempenhadas pelo administrador do Hadoop:
As responsabilidades do trabalho do administrador DWH incluem o desenvolvimento, teste e monitoramento de trabalhos em lote para as seguintes tarefas:
- Garanta integridade referencial.
- Execute a execução da chave primária.
- Realize reformulações de dados.
- Carregue grandes volumes de dados em tempo hábil.
Agora que você sabe sobre as responsabilidades do trabalho de um administrador do Hadoop, vamos dar uma olhada nas habilidades necessárias para ser um.
Habilidades necessárias para se tornar um administrador Hadoop:
- Experiência operacional geral, como boas habilidades de solução de problemas, compreensão da capacidade do sistema, gargalos, noções básicas de memória, CPU, SO, armazenamento e redes.
- Habilidades do Hadoop como HBase, Hive, Pig, Mahout, etc.
- Os requisitos mais essenciais são: Eles devem ser capazes de implantar o cluster Hadoop, adicionar e remover nós, controlar as tarefas, monitorar as partes críticas do cluster, configurar a alta disponibilidade do nó de nome, agendar e configurar e fazer backups.
- Bons conhecimentos de Linux, pois o Hadoop é executado no Linux.
- Familiaridade com gerenciamento de configuração de código aberto e ferramentas de implantação, como Puppet ou Chef e scripts Linux.
- O conhecimento de solução de problemas de aplicativos Java essenciais é uma vantagem.
Edureka curou especialmente um curso de Administração do Hadoop. Clique no botão abaixo para começar a usar a Administração do Hadoop e aprender como o curso ajuda você a se tornar um Administrador do Hadoop.
Postagens relacionadas:
c ++ como classificar um array