Apache Hive é uma das estruturas mais importantes no ecossistema Hadoop, por sua vez, tornando-se muito crucial para . Neste blog, aprenderemos sobre a instalação do Apache Hive e Hive no Ubuntu.
O que é Apache Hive?
Apache Hive é uma infraestrutura de data warehouse que facilita a consulta e o gerenciamento de grandes conjuntos de dados que residem em um sistema de armazenamento distribuído. Ele é construído com base no Hadoop e desenvolvido pelo Facebook. Colmeia fornece uma maneira de consultar os dados usando uma linguagem de consulta semelhante a SQL chamada HiveQL (linguagem de consulta do Hive).
Internamente, um compilador traduz HiveQL declarações em MapReduce empregos, que são então submetidos a Framework Hadoop para execução.
Diferença entre Hive e SQL:
Colmeia é muito semelhante ao banco de dados tradicional com SQL Acesso. No entanto, porque Colmeia é baseado em Hadoop e MapReduce operações, existem várias diferenças importantes:
Como o Hadoop se destina a longas varreduras sequenciais e Colmeia é baseado em Hadoop , você esperaria que as consultas tivessem uma latência muito alta. Significa que Colmeia não seria apropriado para os aplicativos que precisam de tempos de resposta muito rápidos, como você pode esperar com um banco de dados RDBMS tradicional.
Finalmente, Colmeia é baseado em leitura e, portanto, não é apropriado para o processamento de transações que normalmente envolve uma alta porcentagem de operações de gravação.
como escrever alerta em javascript
Instalação do Hive no Ubuntu:
Siga as etapas abaixo para instalar Apache Hive no Ubuntu:
Passo 1: Baixar Hive tar.
Comando: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Passo 2: Extraia o alcatrão Arquivo.
Comando: tar -xzf apache-hive-2.1.0-bin.tar.gz
Comando: ls
Etapa 3: Edite o “.Bashrc” arquivo para atualizar as variáveis de ambiente para o usuário.
Comando: sudo gedit .bashrc
Adicione o seguinte ao final do arquivo:
# Set HIVE_HOME
export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Além disso, certifique-se de que o caminho do hadoop também esteja definido.
Execute o comando abaixo para fazer as alterações funcionarem no mesmo terminal.
Comando: source .bashrc
Passo 4: Verifique a versão da colmeia.
como compilar em java
Etapa 5: Crio Colmeia diretórios dentro HDFS . O diretório 'armazém' é o local para armazenar a tabela ou dados relacionados à colmeia.
Comando:
- hdfs dfs -mkdir -p / user / hive / warehouse
- hdfs dfs -mkdir / tmp
Etapa 6: Defina as permissões de leitura / gravação para a tabela.
Comando:
Neste comando, damos permissão de gravação ao grupo:
- hdfs dfs -chmod g + w / user / hive / warehouse
- hdfs dfs -chmod g + w / tmp
Etapa 7: Conjunto Hadoop caminho em h ive-env.sh
Comando: cd apache-hive-2.1.0-bin /
Comando: gedit conf / hive-env.sh
Defina os parâmetros conforme mostrado no instantâneo abaixo.
Etapa 8: Editar hive-site.xml
Comando: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true string de conexão JDBC para um metastore JDBC. Para usar SSL para criptografar / autenticar a conexão, forneça sinalizador SSL específico do banco de dados no URL de conexão. Por exemplo, jdbc: postgresql: // myhost / db? Ssl = true para o banco de dados postgres. hive.metastore.warehouse.dir / user / hive / local do warehouse do banco de dados padrão para o warehouse hive.metastore.uris Thrift URI para o metastore remoto. Usado pelo cliente metastore para se conectar ao metastore remoto. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Nome da classe do driver para uma classe JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory que implementa a classe jdo persistence
Etapa 9: Por padrão, o Hive usa Derby base de dados. Inicialize o banco de dados Derby.
lista encadeada no programa c
Comando: bin / schematool -initSchema -dbType derby
Etapa 10 :Lançamento Hive.
Comando: colmeia
Etapa 11 :Execute algumas consultas no shell do Hive.
Comando: mostrar bancos de dados
Comando: criar tabela de funcionários (id string, nome string, depto string) campos delimitados por formato de linha terminados por ‘‘ armazenados como arquivo de texto
Comando: mostrar tabelas
Etapa 12: Para sair de Colmeia:
Comando: Saída
Agora que você concluiu a instalação do Hive, a próxima etapa é experimentar os comandos do Hive no shell do Hive. Portanto, nosso próximo blog “ Principais comandos do Hive com exemplos em HQL ”Irá ajudá-lo a dominar os comandos do Hive.
Postagens relacionadas: