Introdução ao Hadoop Job Tracker



Isso dá uma ideia do uso do rastreador de trabalho

o que é a linguagem de programação sas

Hadoop Job Tacker

Job Tracker é o daemon principal para gerenciamento de recursos de trabalho e agendamento / monitoramento de trabalhos. Ele atua como uma ligação entre o Hadoop e seu aplicativo.





O processo

O usuário primeiro copia os arquivos para o Sistema de Arquivos Distribuídos (DFS), antes de enviar um trabalho para o cliente. O cliente então recebe esses arquivos de entrada. O usuário receberá as divisões ou blocos com base nos arquivos de entrada.O cliente poderiacriar divisões ou blocos em um homemner prefers, pois há certas considerações por trás disso. Se for feita uma análise dos dados completos, você os dividirá em divisões. Os arquivos não são copiados por meio do cliente, mas são copiados usando flume ou Sqoop ou qualquer cliente externo.

Depois que os arquivos são copiados para o DFS e o cliente interage com o DFS,as divisões irão executar um MapReduce job. O trabalho é enviado por meio de um rastreador de trabalho. O rastreador de trabalho é o daemon mestre que roda no mesmo nó quecorreesses vários trabalhos em nós de dados. Esses dados estarão em vários nós de dados, mas é responsabilidade do rastreador de tarefas cuidar disso.



Depois que um cliente envia emo rastreador de trabalho, o trabalho é inicializado na fila de trabalho e o rastreador de trabalho cria mapas e reduz. Com base no programa que está contido na função de mapa e na função de redução, ele criará a tarefa de mapa e a tarefa de redução. Esses dois serão executados nas divisões de entrada. Nota: Quando criada pelos clientes, esta divisão de entrada contém todos os dados.

Cada divisão de entrada tem um trabalho de mapa em execução e a saída da tarefa de mapa vai para a tarefa de redução. O rastreador de trabalho executa a trilha em um dado particular. Pode haver várias replicações disso para que ele escolha os dados locais e execute a tarefa naquele rastreador de tarefa específico. O rastreador de tarefa é aquele que realmente executa a tarefa no nó de dados. O rastreador de trabalho passará peloem formaçãopara o rastreador de tarefas e o rastreador de tarefas executará o trabalho no nó de dados.

Uma vez que o trabalho foi atribuído ao rastreador de tarefas, há uma pulsação associada a cada rastreador de tarefas e rastreador de trabalhos. Ele envia sinais para descobrir se os nós de dados ainda estão vivos. Os dois estão frequentemente em sincronia, pois existe a possibilidade de os nós desaparecerem gradualmente.



Tem alguma questão para nós? Mencione-os na seção de comentários e entraremos em contato com você.

qual é a diferença entre xml e html

Postagens relacionadas:

é um mestrado considerado pós-graduação