Nós aprendemos como Construir Hive e Yarn no Spark . Agora, vamos experimentar exemplos de Hive e Yarn no Spark.
o que é eco em php
Exemplo de Hive no Spark
Executaremos um exemplo de Hive no Spark. Vamos criar uma tabela, carregar dados nessa tabela e executar uma consulta simples. Ao trabalhar com o Hive, deve-se construir um HiveContext que herda de SQLContext .
Comando: cd spark-1.1.1
Comando: ./bin/spark-shell
Crie um arquivo de entrada 'amostra' em seu diretório inicial como o instantâneo abaixo (separado por tabulações).
Comando: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Comando: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY‘ ‘LINES TERMINATED BY‘
‘”)
Comando: sqlContext.sql (“LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’INTO TABLE test”)
Comando: sqlContext.sql (“SELECT * FROM teste WHERE classificação<5”).collect().foreach(println)
Exemplo de fio no Spark
Vamos executar o exemplo SparkPi no Yarn. Podemos implantar o Yarn no Spark em dois modos: modo cluster e modo cliente. No modo yarn-cluster, o driver Spark é executado dentro de um processo mestre do aplicativo que é gerenciado pelo Yarn no cluster, e o cliente pode sair após iniciar o aplicativo. No modo cliente yarn, o driver é executado no processo cliente e o mestre do aplicativo é usado apenas para solicitar recursos do Yarn.
Comando: cd spark-1.1.1
Comando: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Depois de executar o comando acima, aguarde algum tempo até obter COM SUCESSO mensagem.
Squeaky toy localhost: 8088 / cluster e clique no aplicativo Spark.
é hadoop fácil de aprender
Clique em Histórico .
Clique em saída padrão para verificar a saída.
Para implantar o Yarn no Spark no modo cliente, basta fazer –Deploy-mode Como 'cliente'. Agora, você sabe como construir Hive e Yarn no Spark. Também fizemos exercícios práticos sobre eles.
Tem alguma questão para nós? Mencione-os na seção de comentários e entraremos em contato com você.
qual ide usar para java
Postagens Relacionadas
Apache Spark com Hadoop - Por que é importante?
Hive & Yarn são eletrificados por faísca