é uma grande preocupação quando se trata de lidar com dados confidenciais. ser o superior em operações de tratamento de dados também enfrenta o mesmo problema. Ele não tem sua própria segurança dedicada. Vamos entender como o problema foi resolvido por meio deste Segurança Hadoop artigo.
- Por que precisamos da segurança do Hadoop?
- O que é segurança do Hadoop?
- Tipos de segurança Hadoop
- Kerberos
Por que precisamos da segurança do Hadoop?
é a estrutura de processamento de big data mais poderosa, robusta e altamente escalável, capaz de mastigar petabytes de dados com facilidade. Devido às suas capacidades incomparáveis, naquela época, todos os setores de negócios, saúde, militares e departamentos financeiros começaram a usar o Hadoop.
Hadoop começou a ganhar popularidade. Foi quando os desenvolvedores do Hadoop encontraram um erro de cálculo monumental. Hadoop não tinha um software de segurança dedicado dentro dele. Isso afetou muitas áreas onde o Hadoop estava em uso.
abstração de dados c ++
Vários setores de negócios
Segurança nacional
Departamentos de saúde e médicos
Mídia social
Militares
As áreas mencionadas acima são os principais usuários do Hadoop. Agora, Segurança é o grande salto que o Hadoop precisa dar.
O que é segurança do Hadoop?
Segurança Hadoop é geralmente definido como um procedimento para seguro a unidade de armazenamento de dados Hadoop, oferecendo uma parede virtualmente impenetrável de segurança contra qualquer ameaça cibernética potencial. O Hadoop atinge essa barreira de segurança de alto calibre seguindo o seguinte protocolo de segurança.
Autenticação
Autenticação é o primeiro estágio em que as credenciais do usuário são verificadas. As credenciais normalmente incluem o dedicado do usuário Nome do usuário e um senha secreta. Inscritoas credenciais serão verificadas em relação aos detalhes disponíveis no banco de dados de segurança. Se válido, o usuário será autenticado.
Autorização
Autorização é a segunda etapa em que o sistema decide se dá permissão ao usuário para acessar os dados ou não. Baseia-se na lista de controle de acesso pré-designada. O Confidencialas informações são mantidas seguras e apenas pessoal autorizado pode acessá-lo.
Auditoria
Auditoria é o último estágio, ele simplesmente mantém o controle das operações realizadas pelo usuário autenticado durante o período em que ele estava logado no cluster. Isto éfeito unicamente para segurança fins apenas.
Tipos de segurança Hadoop
- Segurança Kerberos
Kerberos é um dos principais protocolos de autenticação de rede projetado para fornecer serviços de autenticação poderosos para ambos Servidor e Cliente final através Chave secreta técnicas de criptografia. É comprovado que é altamente seguro, pois usa tíquetes de serviço criptografados durante toda a sessão.
- Criptografia HDFS
Criptografia HDFS é um avanço formidável que o Hadoop já adotou. Aqui, os dados de fonte para destino (HDFS) fica completamente criptografado. Este procedimento não requer que nenhuma alteração seja feita no aplicativo Hadoop original, tornando o cliente ser o único pessoal autorizado a Acesso os dados.
Criptografia de tráfego
Criptografia de tráfego não é outro senão HTTPS (protocolo de transferência de hipertexto seguro). Este procedimento é usado para proteger a transmissão de dados, a partir do site bem como transmissão de dados para o site . Muitos gateways de banco on-line usam esse método para proteger transações em um Certificado de Segurança
Permissões de arquivo e diretório HDFS
Permissões de diretório de arquivos HDFS trabalhar de uma forma simples POSIX formato. o Ler e Escrever as permissões são fornecidas como r e s respectivamente. As permissões para o Superusuário e Cliente são definidas de forma diferente com base na confidencialidade do arquivo.
Kerberos
Kerberos é uma das redes mais simples e seguras protocolo de autenticação usado pelo Hadoop para seus dados e segurança de rede. Foi inventado por COM. O principal objetivo do Kerberos é eliminar a necessidade de troca de senhas em uma rede, e também, proteger a rede de qualquer potencial cyber sniffing.
Para entender a terminologia Kerberos, primeiro precisamos aprender sobre os componentes envolvidos no software Kerberos.
KDC ou Centro de distribuição de chaves é o coração do Kerberos. Consiste principalmente em três componentes. Nomeadamente:
Base de dados
o base de dados armazena as credenciais do usuário como nome do usuário e seu respectivo senhas. Ele também armazena o acessar privilégios certos fornecido ao usuário. A unidade Kerberos KDC também armazena informações adicionais, como Chave de criptografia, validade do tíquete etc.
Servidor de Autenticação
As credenciais do usuário inseridas serão verificadas. Se válido, o Servidor de Autenticação fornecerá TGT ou Ingresso de geração de ingressos. Um TGT pode ser gerado apenas se o usuário inserir credenciais válidas.
Servidor de concessão de tíquetes
O próximo estágio é o TGS ou Servidor de concessão de tíquetes. É basicamente um servidor de aplicativos do KDC que irá fornecer a você o Tíquete de serviço. O tíquete de serviço é exigido pelo usuário para interagir com o Hadoop e obter o serviço de que precisa ou para executar uma operação no Hadoop.
o que é big data hadoop
Você pode instalar o Kerberos com o seguinte comando:
sudo apt-get install krb5-kdc krb5-admin-server
Agora, vamos supor que você deseja acessar um cluster Hadoop protegido por Kerberos. Você precisa passar pelos seguintes estágios para acessar o cluster Hadoop conforme descrito nas etapas abaixo:
Você precisa obter autenticação do Hadoop Cluster. Você pode ser autenticado executando Kinit comando no Hadoop Cluster.
kinit root / admin
o Kinit A execução do comando irá redirecioná-lo para o Credenciais de login página onde você deve inserir seu nome do usuário e senha.
o Kinit vai enviar um Pedido de autenticação ao Servidor de autenticação.
Se suas credenciais forem válido, então o servidor de autenticação responderá com um Ticket Generation Ticket (TGT).
o Kinit vai armazenar o TGT em suas credenciais Cache Memória. O seguinte comando irá ajudá-lo a ler suas credenciais
klist
Agora, você foi autenticado com sucesso no KDS.
Antes de acessar o cluster Hadoop, você precisa configurar clientes Kerberos. para fazer isso, use o seguinte comando.
sudo apt-get install krb5-user libpam-krb5 libpam-ccreds auth-client-config
Agora, você tenta executar um Comando Hadoop. Aquilo é um Cliente Hadoop.
o Cliente Hadoop vai usar o seu TGT e pedidos TGS para aprovação.
o TGS aprovará a solicitação e fornecerá a você um Tíquete de serviço.
este Tíquete de serviço será armazenado em cache pelo Cliente Hadoop.
este Tíquete de serviço será usado pelo Hadoop Client para comunicar com Hadoop Namenode.
o Namenode vai se identificar com seu Bilhete.
Tanto o Ingresso Namenode e Hadoop Client Tíquetes de serviço serão verificados entre si.
Ambos têm certeza de que estão se comunicando com um entidade autenticada.
Isso é chamado Autenticação mútua.
A próxima etapa é Autorização. O Namenode irá fornecer-lhe o serviço para o qual você recebeu o autorização.
Finalmente, o último estágio é Auditoria. Aqui seu atividade será logado para fins de segurança.
Com isso, chegamos ao final deste artigo . Espero ter lançado alguma luz sobre o seu conhecimento sobre um Segurança Hadoop.
Agora que você entendeu o Hadoop e sua segurança, verifique o pela Edureka, uma empresa de aprendizagem online confiável com uma rede de mais de 250.000 alunos satisfeitos espalhados por todo o mundo. O curso Edureka Big Data Hadoop Certification Training ajuda os alunos a se tornarem especialistas em HDFS, Yarn, MapReduce , Pig, Hive, HBase, Oozie, Flume e Sqoop usando casos de uso em tempo real no varejo, mídia social, aviação, turismo, domínio financeiro.
Se você tiver alguma dúvida relacionada a isso “Segurança Hadoop” artigo, então escreva para nós na seção de comentários abaixo e nós responderemos a você o mais rápido possível.