Se você já é do Indústria de TI , você deve estar ciente de que Big Data é a conversa do dia. Seja, novas startups surgindo com modelos de negócios inovadores, ou seus colegas movendo-se para se juntar a essas startups, por algum motivo, pastagens mais verdes parece ser o Big Data indústria.
Se você está se perguntando por quê, então recomendo que leia isso até o fim, porque este pode ser um blog que se autoexplora, levando você ao que está destinado.
Então, por que tudo issoHYPEem torno da BIG DATA?
É apenas mais um domínio que receberá refugiados de todos os outros domínios temporariamente? Ou estará aqui para uma longa viagem?
Se eu fosse dar um palpite, diria que, não só estará aqui para o longo prazo, mas a indústria de Big Data estará no epicentro do avanço tecnológico.
Porque tudo é sobreDADOS!
Igual ao solsobedeLesteeconjuntosnoOeste, o uso contínuo de dispositivos computacionais / não computacionais resultará em uma explosão de dados não gerenciáveis.
Quando esses dados ultrapassam o limite, de serem manipulados pelo Excel ou qualquer sistema de gerenciamento de banco de dados, nós os denominamos BIG DATA .
Pense, qual foi o último produto que você comprou da Amazon? Qual pode ser o próximo produto que você pode comprar com base em atividades anteriores? As respostas a essas perguntas são armazenadas em Big Data.
Existe uma tendência crescente por trás de um produto? Ou existe uma tendência de queda? O cliente comprará 'Meias' quando comprar 'Sapatos'? Estas são questões de solução de problemas de negócios.
E, essas perguntas podem ser facilmente respondidas usando Big Data Analytics .
Afinal, para que servem os dados, quando você não analisando isto?
Então, é Big Datacompletamente sobreAnalytics?Não completamente, mas Analytics é o prêmio final.
Outros fluxos importantes em Big Data sãoArmazenamentoeGestão.
É aqui que você, como profissional, pode contribuir. Você pode assumir a função de:
tipos de operadores em javascript
- Engenheiro de Big Data
- Arquiteto de Soluções de Big Data
E certifique-se de que o big data gerado esteja sempre disponível e possa ser usado para análise em um momento posterior. Então, isso nos leva à questão & hellip
Onde o Big Data é armazenado?
Pode ser armazenado em umArquivo Excel? Pode ser armazenado em umsistema de banco de dados relacional?
De jeito nenhum!
Se pudesse, então teria sido!
E ser chamado de algo diferente todos juntos. Talvez algo comoExcel-DataouRDBMS-Data: D
E isso nos levaria de volta a PASSO 1 : - Por que Big Data não pode ser gerenciado usando Excel? PorqueBig Data é muito quente para o Excel lidar. E até mesmo outros sistemas de gerenciamento de banco de dados, na verdade.
Então, qual é a alternativa?
Para lidar com Big Data, temos HADOOP . Você também deve estar ciente dessa palavra. Mas, você deve estar se perguntando, como isso funciona exatamente?
Para começar, HADOOP é um produto daFundação APACHE. Apache é uma organização americana sem fins lucrativos que apóia o desenvolvimento de software de código aberto.
Hadoop é definido como uma estrutura de programação baseada em Java de código aberto que oferece suporte ao processamento e armazenamento de conjuntos de dados extremamente grandes em um ambiente de computação distribuído.
O que o Hadoop pode fazer, mas o Excel não?
Processe e entenda dados não estruturados!Dados estruturados que estão em formato tabular ou de outra forma podem ser facilmente tratados. O Excel pode fazer isso, assim como qualquer outro RDBMS.
Mas quando a legibilidade reduz e os dados ficam desestruturados, é aí que o Big Dataferramentas como HadoopPonto. Um exemplo de dados não estruturados é syslog . Um exemplo de imagem está abaixo.
Esses logs definitivamente não podem ser consultados usando o Excel.
O Hadoop, assim como as ferramentas de Big Data, pode entender os dados como eles são, desenterrando padrões e formando relações entre vários campos. E uma vez que os dados têm um toque relacional, sãoPronto para análise.
Analytics é o que causará impacto comercial em uma organização! Sua carreira será amplamente beneficiada por seu envolvimento neste domínio de Big Data.
' Posso fazer isso como um Hadoop-er? '
... pode ser a próxima pergunta em sua mente. E bem pensado, Big Data é um mercado tão aquecido e importante como sempre.
Sem o Hadoop, as empresas terão dificuldade em lidar com Big Data. E sem profissionais qualificados como você, as empresas terão dificuldade em lidar com o Hadoop.
Há um relatório que diz que há um déficit de talentos neste domínio. Déficit de limite significa, menos profissionais, mas alta demanda. E isso é em escala global e não se restringe a uma determinada geografia.
Você quer números?
PARA McKinsey Global Institute estudo afirma que os EUA enfrentarão uma escassez de cerca de 190.000 cientistas de dados e 1,5 milhão de gerentes e analistas que possam entender e tomar decisões usando Big Data até 2018.
Conselho de carreira para você? Surfe quando a maré estiver baixa!
Mas você é restrito para apenas Hadoop ?
Na verdade não. Existem várias ferramentas para processamento de Big Data e o Hadoop é considerado uma das melhores. Mas, nem sempre!
Há momentos em que o Hadoop não é o mais adequado. Por exemplo, se você não for técnico e não for muito bom em escrever programas MapReduce.
Nesses casos, você pode usarTALEND, que oferece uma interface gráfica do usuário para fazer tudo o que você faria com o MapReduce.
Para escrever códigos Java mais simples, você pode usarPORCO.
Se você deseja executar consultas semelhantes a SQL em Big Data, entãoHIVEpode ser usado.
Se você deseja usar dados armazenados em um banco de dados NoSQL, entãoHBasepode ser usado.
Para realizar análises em tempo real, você pode usarFAÍSCA.
Essas são ferramentas de Big Data, que andam de mãos dadas com o Hadoop, mas não substituem o Hadoop de forma alguma. Eles são complementos do Hadoop para Big Data.
Além disso, existem mais algumas ferramentas como SQOOP, FLUME, OOZIE, etc, que podem ser integradas com a estrutura do Hadoop para resolver vários problemas de negócios.
O que a indústria espera de você como um especialista em Big Data?
A indústria precisa urgentemente de ARQUITETOS DE BIG DATA quem pode construir uma solução de big data ponta a ponta para suas organizações. Arquitetos de Big Data são aqueles com experiência em todas as ferramentas mencionadas anteriormente.
Aqui está um testemunho de um aluno Edureka sobre curso:
fantoche vs ansible vs chef
Tornar-se um começando com o treinamento de certificação de Big Data e Hadoop da Edureka, que ajuda os alunos a se tornarem especialistas em HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop usando casos de uso em tempo real no varejo, mídia social, aviação, turismo, domínio financeiro .