O Apache Storm é popular por causa de seus recursos de processamento em tempo real e muitas organizações o implementaram como parte de seus sistemas exatamente por esse motivo. Vamos dar uma olhada em como as organizações estão integrando o Apache Storm.
Casos de uso do Apache Storm:
Storm é usado para alimentar uma variedade de sistemas do Twitter, como análises em tempo real, personalização, pesquisa, otimização de receita e muito mais. O Apache Storm assimila com o resto da infraestrutura do Twitter, que inclui sistemas de banco de dados como Cassandra, Memcached, etc, a infraestrutura de mensagens, Mesos e os sistemas de monitoramento e alerta. O programador de isolamento do Storm torna viável o uso do mesmo cluster para aplicativos de produção e aplicativos em desenvolvimento. Ele fornece uma maneira eficiente de planejamento de capacidade.
perguntas da entrevista c ++ stl
Yahoo!
Yahoo! está trabalhando em uma plataforma de próxima geração que permite a fusão de Big Data e processamento de baixa latência. Embora Hadoop seja a principal tecnologia usada aqui para processamento em lote, o Apache Storm permite o processamento de fluxo de eventos do usuário, feeds de conteúdo e logs de aplicativo.
Infochimps
A Infochimps usa o Apache Storm como fonte para um dos três serviços de dados em nuvem - Data Delivery Services (DDS), que emprega Storm para fornecer coleta, transporte e serviço de nuvem de processamento in-stream complexo de dados corporativos tolerante a falhas e linearmente escalável . Semelhante ao Hadoop, que fornece ETL em lote e processamento analítico em lote em grande escala, o DDS também fornece ETL em tempo real e processamento em tempo real em grande escala.
Flipboard
Flipboard é um lugar único para explorar, coletar e compartilhar notícias de seu interesse. O Flipboard usa o Storm para uma ampla gama de serviços como pesquisa de conteúdo, análise em tempo real, feeds de revistas personalizadas, etc. O Apache Storm é integrado à infraestrutura que inclui sistemas como ElasticSearch, Hadoop, HBase e HDFS, para criar uma plataforma de dados altamente escalável.
Ooyala
A Ooyala é uma empresa privada apoiada por capital de risco que fornece produtos e serviços de tecnologia de vídeo online para algumas das maiores redes, marcas e empresas de mídia do mundo. A Ooyala tem um mecanismo de análise que processa mais de dois bilhões de eventos de análise todos os dias, gerados a partir de quase 200 milhões de telespectadores em todo o mundo que assistem a vídeos em um player equipado com Ooyala. A Ooyala usa o Apache Storm para fornecer aos seus clientes análises de streaming em tempo real sobre o comportamento de visualização do consumidor e tendências de conteúdo digital. Storm permite a mineração rápida de seus conjuntos de dados de vídeo online para fornecer inteligência de negócios atual, como visualização de padrões em tempo real, sugestões de conteúdo personalizado, guias de programação e percepções valiosas sobre maneiras de aumentar a receita.
Taobao
O Taobao, com a ajuda do Apache Storm, cria estatísticas de logs e extrai informações úteis das estatísticas em tempo real. Os logs são lidos de filas de mensagens persistentes em spouts, processados e, em seguida, passados para as topologias, para computar os resultados necessários. A contagem de registro de entrada do Taobao varia em qualquer lugar entre 2 milhões a 1,5 bilhões a cada dia.
como criar um pacote
Klout
Klout é um aplicativo que usa análise de mídia social para classificar as bases de seus usuários na influência social online por meio do 'Klout Score', que é um valor numérico entre 1 e 100. Klout usa a abstração Trident embutida do Apache Storm para criar topologias complexas que transmitem dados de coletores de rede via Kafka e, em seguida, processados e gravados no HDFS.
Nós vamos
Wega é o mecanismo de metabusca de viagens abrangente do mundo, operando em todo o mundo e usado por inúmeros viajantes para obter mais opções de pagar menos e viajar mais. O Wego compara e exibe horários de voos em tempo real, disponibilidade de hotéis, preços e exibe outros sites de viagens ao redor do mundo. Aqui, o Apache Storm transmite dados de metabusca em tempo real de afiliados para usuários finais. Os conceitos de topologia no Storm resolvem problemas de simultaneidade e, ao mesmo tempo, os ajudam a integrar, dissecar e limpar os dados de maneira implacável. Além disso, as ferramentas fornecidas no Storm permitem a atualização incremental para aprimorar seus dados.
Combustível de foguete
A Rocket Fuel oferece uma plataforma líder de compra de mídia em escala de Big Data que aproveita o poder da inteligência artificial (IA) para expandir o ROI de marketing em mídia digital. Eles estão construindo uma plataforma em tempo real em cima do Storm, que imita os fluxos de trabalho críticos de tempo já existentes no pipeline ETL baseado em Hadoop. Esta plataforma rastreia impressões, cliques, conversões, solicitações de lance etc. em tempo real.
Navsite
Navsite está usando o Apache Storm como parte de seu sistema de auditoria e monitoramento de log de eventos do servidor. As mensagens de log de milhares de servidores são enviadas para o cluster RabbitMQ e o Storm é usado para comparar cada mensagem com um conjunto de expressões regulares. Se houver uma correspondência, a mensagem será enviada para um bolt que armazena dados no MongoDB. No momento, 5-10k mensagens por segundo estão sendo tratadas, no entanto, os clusters RabbitMQ + Storm existentes foram testados até cerca de 50k por segundo.
Existem muito mais organizações implementando o Apache Storm e espera-se que ainda mais se juntem a este jogo, já que o Apache Storm continua a ser um líder em análises em tempo real.
Confira nosso .