Processamento de Big Data com Apache Spark e Scala



O Apache Spark surgiu como um grande desenvolvimento no processamento de big data.

tipo de dados data t sql

IST: 7h00 - 8h00, 17 de outubro'14





PDT: 18h30 - 19h30, 16 de outubro de 2014

Lugares limitados !! Preencha o formulário à direita e reserve sua vaga hoje.



Olá a todos, estamos conduzindo um Webinar gratuito sobre Apache Spark e Scala em 18 de outubro de 2014. O título do webinar é ‘Processamento de Big Data com Apache Spark e Scala’ . Neste webinar, os tópicos essenciais sobre Apache Spark e Scala serão discutidos. Quaisquer dúvidas ou dúvidas podem ser esclarecidas durante a sessão.

Tópicos a serem abordados:

  • O que é Big Data?
  • O que é Spark?
  • Por que Spark?
  • Ecossistema Spark
  • Uma nota sobre Scala
  • Por que Scala?
  • Hello Spark - mãos à obra

Por que Spark?

Apache Spark é uma estrutura de computação em cluster de código aberto para clusters da comunidade Hadoop. Ele se qualifica para ser um dos melhores mecanismos de análise e processamento de dados para dados em grande escala com sua velocidade incomparável, facilidade de uso e análises sofisticadas. A seguir estão as vantagens e recursos que tornam o Apache Spark um sucesso cruzado para análises operacionais e investigativas:

  • Os programas desenvolvidos no Spark são executados 100 vezes mais rápido do que aqueles desenvolvidos no Hadoop MapReduce.
  • O Spark compila 80 operadores de alto nível.
  • O Spark Streaming permite o processamento de dados em tempo real.
  • GraphX ​​é uma biblioteca para cálculos gráficos.
  • MLib é a biblioteca de aprendizado de máquina do Spark.
  • Escrito principalmente em Scala, o Spark pode ser incorporado em qualquer sistema operacional baseado em JVM, ao mesmo tempo em que também pode ser usado de forma REPL (Ler, Avaliar, Processar e Carregar).
  • Possui recursos poderosos de cache e persistência de disco.
  • O Spark SQL permite que ele lide com proficiência as consultas SQL
  • O Apache Spark pode ser implantado por meio do Apache Mesos, Yarn no HDFS, HBase, Cassandra ou Spark Cluster Manager (gerenciador de cluster do próprio Spark).
  • O Spark simula o estilo funcional e a API de coleções do Scala, o que é uma grande vantagem para os desenvolvedores de Scala e Java.

Necessidade do Apache Spark:

O Spark está trazendo imensos benefícios para a indústria em termos de velocidade, variedade de tarefas que pode realizar, flexibilidade, análise de dados de qualidade, custo-benefício, etc., que são as necessidades do dia. Ele oferece soluções analíticas de big data de ponta e em tempo real para o setor de TI, atendendo à crescente demanda dos clientes. A análise em tempo real potencializa os recursos de negócios em muitos. Sua compatibilidade com o Hadoop torna muito fácil para as empresas adotá-lo rapidamente. Há uma grande necessidade de especialistas e desenvolvedores com conhecimento do Spark, pois esta é uma tecnologia relativamente nova, que está sendo cada vez mais adotada.