Um dos recursos mais atraentes da estrutura Hadoop é o seu utilização de hardware commodity . No entanto, isso leva a travamentos frequentes do DataNode em um cluster Hadoop. Outra característica marcante do Hadoop Framework é o facilidade de escala de acordo com o rápido crescimento do volume de dados . Por esses dois motivos, uma das tarefas mais comuns de um administrador do Hadoop é comissão (Adicionar) e desmantelamento (Remover) Nós de dados em um cluster Hadoop.
tipos de dados no mysql com exemplos
Nós de comissionamento e descomissionamento em um cluster Hadoop:
O diagrama acima mostra um processo passo a passo para descomissionar um DataNode no cluster.
A primeira tarefa é atualizar o ‘ excluir ‘Arquivos para ambos HDFS (hdfs-site.xml) e MapReduce (mapred-site.xml).
O arquivo ‘excluir’:
- para jobtracker contém a lista de hosts que devem ser excluídos pelo jobtracker. Se o valor estiver vazio, nenhum host será excluído.
- para Namenode contém uma lista de hosts que não têm permissão para se conectar ao Namenode.
Aqui está a configuração de amostra para o arquivo de exclusão em hdfs-site.xml e mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / excludes
verdade
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / excludes
verdade
Nota: O nome do caminho completo dos arquivos deve ser especificado.
Da mesma forma, temos os arquivos ‘incluir’:
- para jobtracker contendo a lista de nós que podem se conectar ao JobTracker. Se o valor estiver vazio, todos os hosts são permitidos.
- para Namenode contendo uma lista de hosts que têm permissão para se conectar ao Namenode. Se o valor estiver vazio, todos os hosts são permitidos.
O ' dfsadmin 'E' mradmin Os comandos atualizam a configuração com as mudanças para torná-los cientes do novo nó.
O ' escravos 'Arquivo no servidor mestre contém a lista de todos os nós de dados. Isso também deve ser atualizado para garantir quaisquer problemas na inicialização / parada do daemon hadoop futuro.
A etapa importante no processo de comissão do nó de dados é executar o Cluster Balancer.
> balanceador hadoop - limite 40
Balanceador tenta fornecer um equilíbrio a um certo limite entre os nós de dados, copiando os dados do bloco de nós mais antigos para nós recém-comissionados.
Então, é assim que você pode fazer - Comissionamento e Descomissionamento Nós em um cluster do Hadoop.
Tem alguma questão para nós? Mencione isso na seção de comentários e entraremos em contato com você.
Links Relacionados: