Quando eu era mais jovem, costumava adorar a série de filmes Star Wars. Eu amei tanto que tinha essas fitas de vídeo de cada um deles. Eu costumava assisti-los uma e outra vez. Então chegou a hora dos DVD players e eu tive que colocar esses filmes novamente em DVD. Não tive dúvidas em comprar todo o conjunto novamente em DVD, pois queria experimentar a nova tecnologia e continuar a desfrutar dos meus filmes favoritos também. As coisas estavam ótimas até que outra nova tecnologia, o Blu-ray, surgiu. Já tendo comprado os filmes duas vezes, eu não estava ansioso para comprá-los novamente. Por algum tempo, não fiz nenhum esforço para me 'atualizar', pensando que estaria bem sem essa tecnologia. E eu fui bem. Não afetou minha vida de qualquer maneira. Mas pude ver uma mudança na tendência e não pude compartilhar meus filmes com meus amigos, como eles faziam entre si. Eu realmente me senti excluída.
Eu finalmente saí e peguei o filme em Blu-ray. Lembro-me não porque adoro o filme, mas porque a qualidade do vídeo foi alucinante. E ainda por cima, tenho todo o conjunto de filmes em um único disco Blu-ray.
A necessidade ou o desejo de se manter atualizado é mais forte quando se trata da nossa profissão, pois os riscos são maiores. Tornou-se essencial permanecer no topo do seu jogo.
4 razões práticas para aprender Hadoop 2.0:
Por mais inevitável que seja, manter-se atualizado em nossa profissão tornou-se uma parte importante de nossas vidas. Por mais assustador que possa parecer, não há necessidade de se alarmar, pois as tecnologias não mudam tão rápida ou drasticamente. Mas as palestras e informações sobre essas tecnologias e as coisas que podemos fazer com elas estão ganhando visibilidade. Aqui estão alguns motivos pelos quais você deve se manter atualizado:
# 1: Não seja pego
Não prestar atenção à última atualização de uma tecnologia pode fazer você parecer um cervo pego por um farol. Não é exatamente uma imagem radiante de suas capacidades profissionais. Estar atualizado fará com que você seja respeitado por seus colegas por suas habilidades profissionais. Pode não haver necessidade de implementar todas as coisas novas que você aprende, mas estar ciente das atualizações é fundamental.
Por exemplo, quando há uma conversa sobre Hadoop, você pode informar a seus colegas que o Hadoop 2.5.0 tem melhorias de autenticação ao usar um servidor proxy HTTP. E também na mesma versão do Hadoop, há uma provisão para gravar diretamente no Graphite.
É essencial estar em dia com as atualizações mais recentes quando as organizações estão pensando em migrar para o Hadoop. E 'saber' pode fazer uma grande diferença em sua carreira.
# 2: Ter uma vantagem competitiva
apache spark vs hadoop mapreduce
Profissionais qualificados em suas áreas são respeitados. E manter-se atualizado é a melhor maneira de estar por cima. Sua necessidade de se manter atualizado reflete sua paixão pelo trabalho. Ao desenvolver experiência em seu trabalho e no setor, você ganhará a confiança e o respeito das pessoas ao seu redor. Do ponto de vista da liderança, isso é inestimável!
Mesmo se sua organização ainda estiver trabalhando com o Hadoop 1.0, conhecer todos os recursos mais recentes do Hadoop 2 o manterá no caminho certo, pois é relativamente novo e definitivamente melhor. Ser o primeiro a aprender isso lhe daria uma vantagem sobre seus colegas.
Nº 3: novas oportunidades
É uma triste realidade que nossa função atual continue mudando. Com o tempo, vêm responsabilidades e oportunidades adicionais para realizar novas tarefas. Ao se manter atualizado sobre as tendências do setor, você está na melhor posição para aproveitar essas oportunidades.
Empresas como Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory e muitos mais estão procurando pessoas habilitadas nos recursos mais recentes do Hadoop 2, como YARN.
Nº 4: tome melhores decisões
As informações extras permitirão que você faça escolhas informadas e melhores decisões. Isso o ajudará a reconhecer oportunidades e agregar valor à estratégia de sua organização.
O Hadoop 2 possui recursos que aumentam a velocidade e também reduzem os custos. Sugerir opções para melhorar o desempenho e aumentar a velocidade pode definitivamente aumentar a produtividade da organização. Aqui estão alguns recursos do Hadoop 2 que irão beneficiar a organização e sugerir que eles irão impulsionar sua carreira também.
Suporte para executar Hadoop no Microsoft Windows
Distribuição simplificada de binários MapReduce via HDFS em YARN Distributed Cache.
Suporte aprimorado para novos aplicativos no YARN com Application History Server e Application Timeline Server
Suporte HTTPS completo em HDFS
Integração Kerberos para o armazenamento da linha do tempo do YARN.
Suporte para hierarquia de armazenamento heterogêneo em HDFS.
Cache in-memory para dados HDFS com administração e gerenciamento centralizados.
Distribuição simplificada de binários MapReduce via HDFS em YARN Distributed Cache.
Existem mais do que razões práticas para se manter atualizado. Existem também razões técnicas. O Hadoop possui vários recursos que são vantajosos para as organizações. Observá-los em profundidade lhe dará uma imagem clara de quais são as vantagens.
Qual é a atualização mais recente do Hadoop?
Cada produto passa por vários estágios de lançamento e vem com várias versões de si mesmo. O Hadoop não é exceção e veio com o Hadoop 2.0. A fundação Apache surgiu com versões subsequentes do Hadoop, como Hadoop 2.1.0, Hadoop 2.4.0, e alcançou o Hadoop 2.5.1, que é a versão mais recente lançada em setembro de 2014.
Por que o Hadoop 2 foi lançado?
Com a nova versão vem recursos adicionais e bugs corrigidos. Portanto, toda vez que usar uma versão específica do Hadoop e pensar que um determinado recurso pode ser adicionado ou alguns bugs precisam ser corrigidos, você avisa o pessoal da Fundação Apache sobre isso. Esses caras, por sua vez, trabalham nisso e fornecem um produto melhor na próxima versão.
Hadoop 2 - não apenas um número
O Hadoop 2 não é apenas a versão mais recente do Hadoop. Em geral, é uma arquitetura de segunda geração. Arun Murthy, fundador e arquiteto do distribuidor Hadoop Hortonworks, insiste que a distinção é importante porque a quantidade de reengenharia necessária para mover o Hadoop além do processamento em lote e no mundo da análise em tempo real foi substancial.
Vamos discutir como o Hadoop 2.0 é diferente de seu predecessor Hadoop 1.0. Obviamente, a versão lançada mais tarde será superior à versão anterior. A seguir estão as quatro principais melhorias no Hadoop 2.0 em relação ao Hadoop 1.x:
Federação HDFS - escalabilidade horizontal de NameNode
Alta disponibilidade de NameNode - NameNode não é mais um ponto único de falha
YARN - Capacidade de processar Terabytes e Petabytes de dados disponíveis em HDFS usando aplicativos não MapReduce, como MPI, GIRAPH
Resource Manager - divide as duas principais funcionalidades do sobrecarregado JobTracker (gerenciamento de recursos e agendamento / monitoramento de trabalhos) em dois daemons separados: um Resource Manager global e ApplicationMaster por aplicativo
Existem recursos adicionais, como Agendador de capacidade (Habilitar suporte a multilocação no Hadoop), instantâneo de dados, suporte para Windows, acesso NFS, permitindo maior adoção do Hadoop na indústria para resolver problemas de Big Data.
Hadoop 2.X Vs Hadoop 1.X
Vamos fazer uma pequena comparação e ver de que forma o Hadoop 2.0 é melhor e diferente do Hadoop 1.0
Por que o Hadoop 2 é preferível ao Hadoop 1.0?
O Hadoop 2.0 oferece melhorias de desempenho que beneficiam tecnologias relacionadas no ecossistema Hadoop. Além dos recursos inovadores do HDFS e da arquitetura de segunda geração (YARN), há ainda mais e maiores razões para preferir o Hadoop 2 em vez do Hadoop 1.0:
O Hadoop 2 não tem mais restrição de idioma. Ou seja, uma ampla gama de profissionais agora pode usar o Hadoop.
Com o Hadoop 2, obstáculos como a falta de codificadores MapReduce são superados.
2 vezes mais rápido que o Hadoop 1.0
2 vezes o ROI com o hardware existente.
Com o YARN, a interface de programação de aplicativos é muito mais aberta e flexível.
O Hadoop 2 expande as possibilidades de uso do Hadoop em projetos de Big Data.
c ++ classificando uma matriz
Com o Hadoop 2, os desenvolvedores agora podem realizar uma grande variedade de tarefas de processamento de dados, além do escopo anterior de processamento em lote do Hadoop.
Oferece novas oportunidades para gerentes de informações e aborda as deficiências das versões anteriores.
Esta nova versão tem o recurso exclusivo de executar várias cargas de trabalho no mesmo cluster Hadoop.
O Hadoop não está mais restrito a um recurso. Seu aplicativo agora vai além do HDFS e MapReduce.
Principais benefícios do YARN
Estamos cientes de que o YARN é uma arquitetura de segunda geração, vamos ver o que o torna tão bom.
Escala
Novos modelos e serviços de programação
Uso aprimorado do cluster
Agilidade
Muito mais que Java
E muitos mais
Demanda por Hadoop 2 Skills
As organizações agora estão lançando ou experimentando o Hadoop 2. Consequentemente, surge a necessidade de profissionais qualificados no Hadoop 2. Muitas organizações já começaram a procurar internamente pessoas para trabalhar com o Hadoop. Há indicações claras de que o YARN está crescendo e acabará substituindo a demanda por habilidade MapReduce.
converter decimal em código binário python
Aqui estão algumas visões sobre a demanda atual e projetada para habilidades de Hadoop:
De acordo com analistas do Gartner, o Hadoop 2 é um desenvolvimento vital, pois grandes empresas ao redor do mundo descobriram que o Hadoop é um divisor de águas em seu gerenciamento de Big Data.
De acordo com Eric Kavanagh, do grupo Bloor, o Hadoop 2.0 ganhou força entre os profissionais da informação que buscam disputar Big Data.
A adoção do Hadoop 2.0 continua crescendo e agora está entrando no estágio de maturidade.
As organizações estão cientes dos benefícios do YARN e estão entusiasmadas com isso.
Aqui está um instantâneo das vagas de emprego para Hadoop 2.0 / YARN em De fato.com
Quem está mudando para o Hadoop 2 ou já o fez?
Yahoo:
Yahoo! , o líder em tudo o que o Hadoop implementou YARN (0.23.x). De acordo com Murthy, o cluster de 35.000 nós do Yahoo agora processa 130-150 trabalhos por dia, em comparação com 50-60 antes do YARN.
Ao falar sobre o desempenho estelar, Murthy cita: “Quando você tem 2x mais de 35.000 a 40.000 nós, isso é fenomenal”. Ele também acrescentou: “É uma história muito convincente para contar a um CIO que se você apenas atualizar seu software do Hadoop 1 para o Hadoop 2, verá melhorias de rendimento de 2 vezes em seus trabalhos.”
eBay:
O eBay tem um dos maiores clusters de Hadoop do setor, onde os dados estão em petabytes. Eles também migraram seus clusters para o Hadoop 2.
Conclusão:
Com o Hadoop 2 sendo maduro e mais fácil de implementar, eles estão até mesmo convencendo os céticos e mais e mais organizações estão migrando para o Hadoop 2.0. Existem razões válidas para evitar as versões 1.x. Mas com o Hadoop 2, até mesmo os incrédulos o estão considerando, pois ele pode ser usado para uma ampla variedade de usos. Aprendendo o Hadoop 2.0 e implementando-o para realizar cálculos em Big Data, você estará abrindo as portas para uma carreira tecnicamente avançada e financeiramente compensadora.
Tem alguma questão para nós? Mencione-os na seção de comentários e entraremos em contato com você.
Postagens relacionadas: