Comandos HDFS
No meu blogs anteriores , Já discuti o que é HDFS, seus recursos e arquitetura. O primeiro passo para a jornada para está executando comandos HDFS e explorando como o HDFS funciona. Neste blog, falarei sobre os comandos HDFS com os quais você pode acessar o sistema de arquivos Hadoop.
Portanto, deixe-me contar a você os comandos HDFS importantes e seu funcionamento, que são usados com mais frequência ao trabalhar com o Hadoop File System.
fsck
Comando HDFS para verificar a integridade do sistema de arquivos Hadoop.
Comando: hdfs fsck /
ls
Comando HDFS para exibir a lista de arquivos e diretórios no HDFS.
Comando: hdfsdfs –Ls /
mkdir
Comando HDFS para criar o diretório no HDFS.
Uso: hdfs dfs –mkdir / directory_name
Comando: hdfs dfs –mkdir / new_edureka
Nota: Aqui, estamos tentando criar um diretório chamado “new_edureka” no HDFS.
substring em exemplos de servidor sql
toque
Comando HDFS para criar um arquivo em HDFS com tamanho de arquivo 0 bytes.
Uso: hdfs dfs –touchz / diretório / nome do arquivo
Comando: hdfs dfs –touchz / new_edureka / sample
Nota: Aqui, estamos tentando criar um arquivo chamado “sample” no diretório “new_edureka” de hdfs com tamanho de arquivo 0 bytes.
do
Comando HDFS para verificar o tamanho do arquivo.
Uso: hdfs dfs –du –s / diretório / nome do arquivo
Comando: hdfs dfs –du –s / new_edureka / sample
gato
Comando HDFS que lê um arquivo no HDFS e imprime o conteúdo desse arquivo na saída padrão.
Uso: hdfs dfs –cat / path / to / file_in_hdfs
Comando: hdfs dfs –cat / new_edureka / test
texto
Comando HDFS que pega um arquivo de origem e gera o arquivo em formato de texto.
Uso: hdfs dfs –text / diretório / nome do arquivo
Comando: hdfs dfs –text / new_edureka / test
copyFromLocal
Comando HDFS para copiar o arquivo de um sistema de arquivos local para HDFS.
Uso: hdfs dfs -copyFromLocal
Comando: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka
Nota: Aqui, o teste é o arquivo presente no diretório local / home / edureka e após o comando ser executado, o arquivo de teste será copiado no diretório / new_edureka do HDFS.
copyToLocal
Comando HDFS para copiar o arquivo do HDFS para o Sistema de Arquivos Local.
Uso: hdfs dfs -copyToLocal
Comando: hdfs dfs –copyToLocal / new_edureka / test / home / edureka
Nota: Aqui, teste é um arquivo presente no diretório new_edureka do HDFS e após o comando ser executado, o arquivo de teste será copiado para o diretório local / home / edureka
colocar
Comando HDFS para copiar uma fonte única ou fontes múltiplas do sistema de arquivos local para o sistema de arquivos de destino.
Uso: hdfs dfs -put
Comando: hdfs dfs –put / home / edureka / test / user
Nota: O comando copyFromLocal é semelhante ao comando put, exceto que a origem é restrita a uma referência de arquivo local.
obter
Comando HDFS para copiar arquivos de hdfs para o sistema de arquivos local.
Uso: hdfs dfs -get
Comando: hdfs dfs –get / user / test / home / edureka
Nota: O comando copyToLocal é semelhante ao comando get, exceto que o destino é restrito a uma referência de arquivo local.
contagem
Comando HDFS para contar o número de diretórios, arquivos e bytes nos caminhos que correspondem ao padrão de arquivo especificado.
Uso: hdfsdfs -count
Comando: hdfs dfs –count / user
rm
Comando HDFS para remover o arquivo do HDFS.
Uso: hdfs dfs –rm
Comando: hdfs dfs –rm / new_edureka / test
rm -r
Comando HDFS para remover todo o diretório e todo o seu conteúdo do HDFS.
Uso: hdfs dfs -rm -r
Comando: hdfs dfs -rm -r / new_edureka
cp
Comando HDFS para copiar arquivos da origem para o destino. Este comando também permite várias fontes, caso em que o destino deve ser um diretório.
Uso: hdfs dfs -cp
Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2
Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
mv
Comando HDFS para mover arquivos da origem para o destino. Este comando também permite várias fontes, caso em que o destino precisa ser um diretório.
Uso: hdfs dfs -mv
Comando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2
expurgar
Comando HDFS que esvazia a lixeira.
Comando: hdfsdfs-expurgar
rmdir
Comando HDFS para remover o diretório.
Uso: hdfs dfs -rmdir
como criar matriz de objetos em java
Comando: hdfs dfs –rmdir / user / hadoop
uso
Comando HDFS que retorna a ajuda para um comando individual.
Uso: hdfs dfs -usage
Comando: hdfs dfs -usage mkdir
Nota: Usando o comando de uso, você pode obter informações sobre qualquer comando.
Socorro
Comando HDFS que exibe ajuda para determinado comando ou todos os comandos se nenhum for especificado.
Comando: hdfs dfs -help
Este é o fim do blog HDFS Commands, espero que tenha sido informativo e você tenha conseguido executar todos os comandos. Para mais comandos HDFS, você pode consultar o Apache Hadoopdocumentação Aqui.
Agora que você executou os comandos HDFS acima, verifique o pela Edureka, uma empresa de aprendizagem online confiável com uma rede de mais de 250.000 alunos satisfeitos espalhados por todo o mundo. O curso Edureka Big Data Hadoop Certification Training ajuda os alunos a se tornarem especialistas em HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop usando casos de uso em tempo real no domínio de varejo, mídia social, aviação, turismo, finanças.
Tem alguma questão para nós? Mencione isso na seção de comentários e entraremos em contato com você.