Apache Falcon: nova plataforma de gerenciamento de dados para o ecossistema Hadoop



Apache Falcon é uma nova plataforma de gerenciamento de dados para o ecossistema Hadoop que simplifica o processamento de feed de integração e gerenciamento de feed em clusters de hadoop. Aprenda como configurá-lo.

Apache Falcon é uma estrutura para gerenciar o ciclo de vida de dados em clusters Hadoop. Ele estabelece relacionamento entre vários dados e elementos de processamento em um ambiente Hadoop e também fornece serviços de gerenciamento de feed, como retenção de feed, replicações entre clusters, arquivamento, etc.





Vamos primeiro discutir como configurar o Apache Falcon. Execute o comando fornecido abaixo para baixar o repositório git do Falcon:

Comando: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Para executar o Falcon, você precisa construí-lo primeiro.

Comando: falcão cd



Comando: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Comando: mvn clean assembly: assembly -DskipTests -DskipITs

Depois de criar o falcon, você encontrará um pacote falcon dentro do diretório / falcon / distro / target /.

Os comandos para construir o falcão parecem muito fáceis, mas você enfrentará muitos problemas antes de ver a mensagem de sucesso de construção. Eu enfrentei muitos problemas ao criá-lo para Hadoop-2.2.0

Portanto, para pular a dor de construir o Falcon, estou lhe dando um pacote do Falcon construído com sucesso, que você pode baixar usando o link abaixo.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Descompacte o arquivo para obter o diretório falcon-0.10.

Comando: unzip falcon-0.10-SNAPSHOT.zip

dígitos reversos de um python inteiro

Defina as variáveis ​​de ambiente flacon no arquivo .bashrc.

Comando: sudo gedit .bashrc

Comando: source .bashrc

Você pode ir ao diretório falcon e ver os arquivos e diretórios dentro dele.

Comando: cd falcon-0.10-SNAPSHOT /

Comando: ls

Você pode encontrar scripts falcon dentro do diretório bin.

Execute o comando abaixo para iniciar o Falcon.

Comando: ./bin/falcon-start

Você verá um novo daemon FalconServer em execução agora.

Comando: jps

Comando: ./bin/falcon admin -version

Abra seu navegador e vá para localhost: 15000 . Você pode ver a interface do usuário da web do Falcon.

Tem alguma questão para nós? Mencione-os na seção de comentários e entraremos em contato com você.

Postagens relacionadas:

Detalhamento no Apache Drill