Introdução às alternativas do Hadoop

O Apache Hadoop é uma estrutura monstruosa que usa vários outros componentes, como HDFS, Hive, Spark, YARN e Zookeeper. É usado para processar e analisar dados recuperados de fontes internas ou externas. Pode escalar de várias máquinas ou servidores para milhares deles. Existem muitas funções de biblioteca incorporadas que podem detectar e tratar problemas de funcionamento.

Componentes do Hadoop

1) Sistema de arquivos distribuídos do Hadoop (HDFS):

Este é o tanque de armazenamento de dados no Hadoop. Ele trabalha com o princípio de dados distribuídos, onde grandes conjuntos de dados são divididos em pequenas partes e armazenados em várias máquinas em um cluster.

2) MapReduce:

É um modelo de programação para executar análises de maneira paralela nos dados que residem em diferentes nós de um cluster.

3) Colmeia:

Uma estrutura de código-fonte aberto usada para consultar os dados estruturados usando uma linguagem Hive-Query. O recurso de indexação é usado para acelerar o processo de consulta.

4) Ambari:

Uma plataforma para monitorar a integridade do cluster e automatizar operações. Ele possui uma interface simples da Web e pode ser facilmente instalado e configurado.

Lista de alternativas do Hadoop

Abaixo estão as diferentes alternativas do Hadoop, que são as seguintes:

Processamento em lote

Aqui o processamento é feito apenas nos dados de arquivo. Por exemplo, auditorias financeiras e Censo são uma análise feita em dados antigos para fornecer uma melhor previsão de resultados futuros. Esses dados podem conter bilhões de linhas e colunas. O processamento em lote é mais adequado para grandes processamentos de dados sem a necessidade de análise em tempo real.

Processamento em tempo real

Também é conhecido como processamento de fluxo. Aqui, os dados são processados ​​periodicamente à medida que são gerados para fornecer uma visão rápida dos resultados prováveis. Detecção de terremotos e mercados de ações são os melhores exemplos em que a análise em tempo real é essencial.

Apache Spark

O Spark é uma estrutura usada com o Hadoop para processar dados em lote ou em tempo real em máquinas em cluster. Também pode ser usado como autônomo, recuperando e armazenando dados em servidores de terceiros sem usar o HDFS. É um produto de código aberto. Ele fornece APIs que são escritas usando SCALA, R ou Python que suportam processamento geral. Para processar dados estruturados, o Spark-SQL pode ser usado. O Spark Streaming realiza análises em tempo real muito necessárias. O Spark fornece suporte ao aprendizado de máquina usando o MLIB. No final, os dados processados ​​podem ser visualizados usando o Graphix.

O recurso mais notável do Spark é o processamento na memória. Todo o processamento dos dados ocorre na memória e não no disco. Este método economiza o tempo de leitura e gravação da entrada no disco e a saída novamente. O Spark é extremamente rápido e é quase 100 vezes mais rápido que o processamento do Hadoop. Toda a função é definida e enviada ao contexto do Spark. Só então, o processamento começa do zero. Este método é conhecido como execução lenta. Kafka, Flume são usados ​​como entradas para transmitir dados. Dados estruturados ou não estruturados podem ser usados ​​pelo Spark para análise. Os fluxos de dados são um conjunto de dados para um determinado intervalo de tempo no Spark Streaming. Eles são convertidos em lotes e enviados ao Spark Engine para processamento. Os dados estruturados são convertidos em quadros de dados antes de usar o Spark-SQL para análises adicionais.

Apache Storm

O Apache Storm também é uma das alternativas do Hadoop mais adequadas para análises distribuídas em tempo real. É fácil de configurar, fácil de usar e não oferece perda de dados. Uma tempestade tem um poder de processamento muito alto e fornece baixa latência (geralmente em segundos) em comparação com o Hadoop.

Vamos dar uma olhada no fluxo de trabalho do Storm:

  • A topologia de tempestade (semelhante a um DAG, mas um plano de execução físico) é enviada ao Nimbus (Nó Mestre).
  • As tarefas e a ordem em que devem ser realizadas são enviadas ao Nimbus.
  • O Nimbus distribui uniformemente as tarefas disponíveis aos supervisores (Bicos) e o processo é realizado pelos Nós dos Trabalhadores (Parafusos).
  • A saúde dos bicos e parafusos é monitorada continuamente através dos batimentos cardíacos. Depois que o supervisor morre, o Nimbus aloca a tarefa para outro Nó.
  • Se o Nimbus morrer, ele será reiniciado automaticamente pelas ferramentas de monitoramento. Enquanto isso, os supervisores continuam realizando suas tarefas que foram designadas anteriormente.
  • Depois que o Nimbus é reiniciado, ele continua a trabalhar de onde parou. Portanto, não há perda de dados e cada dado passa pela topologia pelo menos uma vez.
  • A topologia continua em execução, a menos que o Nimbus seja encerrado ou forçado a encerrar.
  • O Storm usa o Zookeeper para monitorar o Nimbus e os outros nós do supervisor.

Consulta grande

Bancos de dados são usados ​​para processamento transacional. Os gerentes criam relatórios e analisam os dados de vários bancos de dados. Os data warehouses foram introduzidos para buscar dados de vários bancos de dados em toda a organização. O Google desenvolveu o Big query, que é um data warehouse gerenciado por si próprio. Para lidar com consultas muito complexas, pode ser necessário servidores e máquinas Node de alto desempenho, que podem custar muito. A instalação da infraestrutura pode levar várias semanas. Depois que o limite máximo for atingido, ele deverá ser ampliado. Para superar esses problemas, a Big query fornece armazenamento na forma da nuvem do Google. Os nós do trabalhador escalam até o tamanho de um datacenter, se necessário, para executar uma consulta complexa em segundos. Você paga pelo que usa, ou seja, pela consulta. O Google cuida dos recursos e de sua manutenção e segurança. A execução de consultas em bancos de dados normais pode levar de minutos a horas. A grande consulta processa os dados muito mais rapidamente e é adequada principalmente para o fluxo de dados, como jogos online e a Internet das Coisas (IoT). A velocidade de processamento é tão alta quanto bilhões de linhas em um segundo.

Presto

Uma consulta Presto pode ser usada para combinar dados de várias fontes da organização e analisá-los. Os dados podem residir no Hive, RDBMS ou Cassandra. O Presto é mais adequado para analistas que esperam o relatório inteiro em questão de minutos. A arquitetura é análoga a um sistema clássico de gerenciamento de banco de dados com o uso de vários nós em um cluster. Foi desenvolvido pelo Facebook para realizar análises e encontrar informações de seus dados internos, incluindo seu data warehouse de 300PB. Mais de 30.000 consultas são executadas em seus dados para varrer um petabyte por dia. Outras empresas líderes, como Airbnb e Dropbox, também usam o Presto.

Artigo recomendado

Este foi um guia para as alternativas do Hadoop. Aqui discutimos os componentes do Hadoop, o processamento em lote e o processamento em tempo real das alternativas do Hadoop. Você também pode consultar os seguintes artigos para saber mais:

  1. Trabalhos de administrador do Hadoop
  2. Desempenho Hadoop vs SQL
  3. Carreira no Hadoop
  4. Hadoop vs Spark
  5. Administrador do Hadoop | Habilidades e Carreira

Categoria:

Big Data