Neste post, vou falar sobre Instalação do Apache Pig no Linux . Vamos começar com a definição básica de Apache Pig e Pig Latin.
Porco apache é uma ferramenta / plataforma para criar e executar o programa Map Reduce usado com o Hadoop. É uma ferramenta / plataforma para analisar grandes conjuntos de dados. Você pode dizer que o Apache Pig é uma abstração do MapReduce. Os programadores que não são tão bons em Java costumavam ter dificuldade em trabalhar no Hadoop, principalmente ao escrever trabalhos MapReduce.Portanto, é um tópico importante para aprender e dominar para .Apache Pig tem sua própria linguagem Porco latino o que é uma vantagem para programadores pobres.
Uma introdução básica ao Pig Latin o ajudará a entender melhor:
A linguagem procedural de alto nível usada na plataforma Apache Pig é chamada Porco latino . O Apache Pig apresenta o ‘Pig Latin’, que é uma linguagem relativamente mais simples que pode ser executada em conjuntos de dados distribuídos no Hadoop File System (HDFS). No Apache Pig, você precisa escrever scripts Pig usando a linguagem Pig Latin, que é convertida em uma tarefa MapReduce quando você executa o script Pig. O Apache Pig possui vários operadores que são usados para realizar tarefas como leitura, gravação e processamento de dados. Para saber mais sobre os operadores do Apache Pig, acesse nosso blog “ Operadores no Apache Pig: Parte 1 - Operadores relacionais ”.
Agora que você tem um conhecimento básico do Apache Pig, vamos começar com a instalação do Apache Pig no Linux.
Instalação do Apache Pig no Linux:
Abaixo estão as etapas para a instalação do Apache Pig no Linux (ubuntu / centos / windows usando Linux VM). Estou usando o Ubuntu 16.04 na configuração abaixo.
Passo 1: Baixar Porco alcatrão Arquivo.
Comando: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Passo 2: Extraia o alcatrão arquivo usando o comando tar. No comando abaixo do tar, x significa extrair um arquivo, com significa filtrar um arquivo através do gzip, f significa nome de arquivo de um arquivo compactado.
Comando: tar -xzf pig-0.16.0.tar.gz
Comando: ls
como implementar método abstrato em java
Etapa 3: Edite o “ .bashrc ”Arquivo para atualizar as variáveis de ambiente do Apache Pig. Estamos configurando para que possamos acessar o pig de qualquer diretório, não precisamos ir ao diretório pig para executar comandos pig. Além disso, se qualquer outro aplicativo estiver procurando o Pig, ele saberá o caminho do Apache Pig a partir desse arquivo.
Comando: sudo gedit .bashrc
Adicione o seguinte ao final do arquivo:
# Set PIG_HOME
export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
export PIG_CLASSPATH = $ HADOOP_CONF_DIR
Além disso, certifique-se de que o caminho do hadoop também esteja definido.
Execute o comando abaixo para fazer as alterações serem atualizadas no mesmo terminal.
Comando: source .bashrc
Passo 4: Verifique a versão pig. Isso é para testar se o Apache Pig foi instalado corretamente. Caso você não tenha a versão do Apache Pig, é necessário verificar se você seguiu as etapas acima corretamente.
Comando: pig -version
Etapa 5 :Verifique a ajuda do porco para ver todas as opções de comando do porco.
definindo java classpath no linux
Comando: porco-ajuda
Etapa 6 :Execute Pig para iniciar o shell grunhido. O shell Grunt é usado para executar scripts do Pig Latin.
Comando: porco
Se você olhar a imagem acima corretamente, o Apache Pig tem dois modos nos quais pode ser executado; por padrão, ele escolhe o modo MapReduce. O outro modo em que você pode executar o Pig é o modo Local. Deixe-me contar mais sobre isso.
Modos de execução no Apache Pig:
- Modo MapReduce - Este é o modo padrão, que requer acesso a um cluster Hadoop e instalação HDFS. Visto que este é um modo padrão, não é necessário especificar o sinalizador -x (você pode executar porco OU porco -x mapreduce ) A entrada e a saída neste modo estão presentes no HDFS.
- Modo local - Com acesso a uma única máquina, todos os arquivos são instalados e executados usando um host local e sistema de arquivos. Aqui, o modo local é especificado usando '-x flag' ( pig -x local ) A entrada e a saída neste modo estão presentes no sistema de arquivos local.
Comando: pig -x local
inverta um número em python
Você pode seguir o vídeo abaixo para assistir à instalação do Apache Pig no Linux:
Instalação do Apache Pig | Instalação do Pig no Linux | Edureka
Agora que você concluiu a instalação do Apache Pig no Linux, a próxima etapa é experimentar alguns operadores Pig relacionais no shell Pig Grunt. Portanto, o próximo blog “ Operadores no Apache Pig: Parte 1 - Operadores relacionais ”Irá ajudá-lo a dominar os operadores Pig.
Agora que você instalou o Apache Pig no Linux, verifique o pela Edureka, uma empresa de aprendizagem online confiável com uma rede de mais de 250.000 alunos satisfeitos espalhados por todo o mundo. O curso Edureka Big Data Hadoop Certification Training ajuda os alunos a se tornarem especialistas em HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop usando casos de uso em tempo real no varejo, mídia social, aviação, turismo, domínio financeiro.
Tem alguma questão para nós? Mencione isso na seção de comentários e entraremos em contato com você.