Comandos HDFS: Comandos Hadoop Shell para gerenciar HDFS



Este blog fala sobre os vários comandos HDFS como fsck, copyFromLocal, expunge, cat etc. que são usados ​​para gerenciar o sistema de arquivos Hadoop.

Comandos HDFS

No meu blogs anteriores , Já discuti o que é HDFS, seus recursos e arquitetura. O primeiro passo para a jornada para está executando comandos HDFS e explorando como o HDFS funciona. Neste blog, falarei sobre os comandos HDFS com os quais você pode acessar o sistema de arquivos Hadoop.

Portanto, deixe-me contar a você os comandos HDFS importantes e seu funcionamento, que são usados ​​com mais frequência ao trabalhar com o Hadoop File System.





  • fsck

Comando HDFS para verificar a integridade do sistema de arquivos Hadoop.

Comando: hdfs fsck /



HDFS Filesystem Health - HDFS Commands - Edureka

  • ls

Comando HDFS para exibir a lista de arquivos e diretórios no HDFS.

Comando: hdfsdfs –Ls /



  • mkdir

Comando HDFS para criar o diretório no HDFS.

Uso: hdfs dfs –mkdir / directory_name

Comando: hdfs dfs –mkdir / new_edureka

Nota: Aqui, estamos tentando criar um diretório chamado “new_edureka” no HDFS.

substring em exemplos de servidor sql
  • toque

Comando HDFS para criar um arquivo em HDFS com tamanho de arquivo 0 bytes.

Uso: hdfs dfs –touchz / diretório / nome do arquivo

Comando: hdfs dfs –touchz / new_edureka / sample

Nota: Aqui, estamos tentando criar um arquivo chamado “sample” no diretório “new_edureka” de hdfs com tamanho de arquivo 0 bytes.

  • do

Comando HDFS para verificar o tamanho do arquivo.

Uso: hdfs dfs –du –s / diretório / nome do arquivo

Comando: hdfs dfs –du –s / new_edureka / sample

  • gato

Comando HDFS que lê um arquivo no HDFS e imprime o conteúdo desse arquivo na saída padrão.

Uso: hdfs dfs –cat / path / to / file_in_hdfs

Comando: hdfs dfs –cat / new_edureka / test

  • texto

Comando HDFS que pega um arquivo de origem e gera o arquivo em formato de texto.

Uso: hdfs dfs –text / diretório / nome do arquivo

Comando: hdfs dfs –text / new_edureka / test

  • copyFromLocal

Comando HDFS para copiar o arquivo de um sistema de arquivos local para HDFS.

Uso: hdfs dfs -copyFromLocal

Comando: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Nota: Aqui, o teste é o arquivo presente no diretório local / home / edureka e após o comando ser executado, o arquivo de teste será copiado no diretório / new_edureka do HDFS.

  • copyToLocal

Comando HDFS para copiar o arquivo do HDFS para o Sistema de Arquivos Local.

Uso: hdfs dfs -copyToLocal

Comando: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Nota: Aqui, teste é um arquivo presente no diretório new_edureka do HDFS e após o comando ser executado, o arquivo de teste será copiado para o diretório local / home / edureka

  • colocar

Comando HDFS para copiar uma fonte única ou fontes múltiplas do sistema de arquivos local para o sistema de arquivos de destino.

Uso: hdfs dfs -put

Comando: hdfs dfs –put / home / edureka / test / user

Nota: O comando copyFromLocal é semelhante ao comando put, exceto que a origem é restrita a uma referência de arquivo local.

  • obter

Comando HDFS para copiar arquivos de hdfs para o sistema de arquivos local.

Uso: hdfs dfs -get

Comando: hdfs dfs –get / user / test / home / edureka

Nota: O comando copyToLocal é semelhante ao comando get, exceto que o destino é restrito a uma referência de arquivo local.

  • contagem

Comando HDFS para contar o número de diretórios, arquivos e bytes nos caminhos que correspondem ao padrão de arquivo especificado.

Uso: hdfsdfs -count

Comando: hdfs dfs –count / user

  • rm

Comando HDFS para remover o arquivo do HDFS.

Uso: hdfs dfs –rm

Comando: hdfs dfs –rm / new_edureka / test

  • rm -r

Comando HDFS para remover todo o diretório e todo o seu conteúdo do HDFS.

Uso: hdfs dfs -rm -r

Comando: hdfs dfs -rm -r / new_edureka

  • cp

Comando HDFS para copiar arquivos da origem para o destino. Este comando também permite várias fontes, caso em que o destino deve ser um diretório.

Uso: hdfs dfs -cp

Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

Comando HDFS para mover arquivos da origem para o destino. Este comando também permite várias fontes, caso em que o destino precisa ser um diretório.

Uso: hdfs dfs -mv

Comando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • expurgar

Comando HDFS que esvazia a lixeira.

Comando: hdfsdfs-expurgar

  • rmdir

Comando HDFS para remover o diretório.

Uso: hdfs dfs -rmdir

como criar matriz de objetos em java

Comando: hdfs dfs –rmdir / user / hadoop

  • uso

Comando HDFS que retorna a ajuda para um comando individual.

Uso: hdfs dfs -usage

Comando: hdfs dfs -usage mkdir

Nota: Usando o comando de uso, você pode obter informações sobre qualquer comando.

  • Socorro

Comando HDFS que exibe ajuda para determinado comando ou todos os comandos se nenhum for especificado.

Comando: hdfs dfs -help

Este é o fim do blog HDFS Commands, espero que tenha sido informativo e você tenha conseguido executar todos os comandos. Para mais comandos HDFS, você pode consultar o Apache Hadoopdocumentação Aqui.

Agora que você executou os comandos HDFS acima, verifique o pela Edureka, uma empresa de aprendizagem online confiável com uma rede de mais de 250.000 alunos satisfeitos espalhados por todo o mundo. O curso Edureka Big Data Hadoop Certification Training ajuda os alunos a se tornarem especialistas em HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop usando casos de uso em tempo real no domínio de varejo, mídia social, aviação, turismo, finanças.

Tem alguma questão para nós? Mencione isso na seção de comentários e entraremos em contato com você.