Diferenças entre Kafka e Spark
As organizações estão crescendo continuamente com enormes dados. Eles estão tentando usar o Hadoop para dados tão grandes, em vez do RDBMS tradicional. Ao mesmo tempo, eles desejam processamento rápido e saída em tempo real. O Hadoop é uma plataforma de código aberto onde podemos usar vários idiomas para diferentes tipos de ferramentas, como Python, Scala. Para processamento em tempo real no Hadoop, podemos usar o Kafka e o Spark. Este é um pequeno artigo em que estou tentando explicar como o Kafka vs Spark funcionará.
Kafka
Kafka é uma plataforma de processamento de fluxo de código aberto desenvolvida pelo Apache. É um mediador entre a origem e o destino de um processo de streaming em tempo real, onde podemos persistir os dados por um período específico. Kafka é um sistema de mensagens distribuídas. Onde podemos usar esses dados persistentes para o processo em tempo real. É executado como um serviço em um ou mais servidores. O Kafka armazena o fluxo de registros em categorias chamadas tópicos. Cada registro de fluxo consiste em chave, valor e registro de data e hora.
Para iniciar o servidor Kafka
>bin/Kafka-server-start.sh config/server.properties
A seguir estão os principais componentes do Kafka
Fonte: Isso será acionado quando um novo CDC (Change Data Capture) ou uma nova inserção ocorrer na fonte. Para isso, precisamos definir uma coluna de chave para identificar a alteração.
Corretor: responsável pela retenção de dados. Cada Broker não possui partição.
Tópico: categoriza os dados. Os tópicos do Kafka são sempre assinados por vários consumidores que assinam os dados gravados nele.
Para criar um tópico
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
E para ver a lista de tópicos
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Partição: os tópicos são divididos em partições para processamento paralelo.
Produtor: O produtor é responsável pela publicação dos dados. Ele enviará os dados para os tópicos de sua escolha. O produtor escolherá qual registro atribuir a qual partição dentro do tópico.
Kafka ordenou produzir uma mensagem para um tópico.
> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test
Oi bom dia.
Esta é uma mensagem de teste.
Consumidor: os consumidores consumirão dados dos tópicos. Um consumidor será um rótulo com seu grupo de consumidores. Se o mesmo tópico tiver vários consumidores de diferentes grupos de consumidores, cada cópia será enviada para cada grupo de consumidores.
Você pode afundar com várias fontes para manter os dados. Kafka ordenou consumir mensagens para um tópico.
> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Oi bom dia.
Esta é uma mensagem de teste.
Calha: Podemos usar a calha Kafka Sink. No qual, assim que qualquer CDC (Change Data Capture) ou New insert flume, o registro será acionado e os dados serão enviados ao Kafka Para isso, temos que definir o canal.
Assim como o Kafka Sink do flume, podemos ter HDFS, fonte JDBC e coletor.
O Kafka possui melhor rendimento e possui recursos como particionamento, replicação e tolerância a falhas integrados, o que o torna a melhor solução para aplicativos de processamento de fluxo ou mensagens em grande escala
Faísca
O Apache Spark é uma estrutura de computação de cluster de código aberto. Originalmente desenvolvida na Universidade da Califórnia, o Amp Lab de Berkeley, a base de código Spark foi posteriormente doada à Apache Software Foundation. O Spark fornece uma interface para programar clusters inteiros com paralelismo implícito de dados e tolerância a falhas.
Quando o Hadoop foi introduzido, o Map-Reduce era o mecanismo de execução base para qualquer tarefa do trabalho. No processo de execução Map-Reduce (leitura - gravação) ocorreu em um disco rígido real. Esse é o motivo do maior consumo de tempo e espaço no momento da execução.
O Apache Spark é uma plataforma de código aberto. Melhora a qualidade de execução do que o processo Map-Reduce. É uma plataforma aberta, na qual você pode usar várias linguagens de programação como Java, Python, Scala e R. Spark fornece execução na memória 100 vezes mais rápida que o MapReduce. Isso usa a definição de RDD. O RDD é um robusto conjunto de dados distribuídos que permite armazenar dados na memória de maneira transparente e retê-los no disco apenas conforme necessário. É aqui que o tempo para acessar os dados da memória em vez do disco termina.
Spark é a plataforma na qual podemos manter os dados no Data Frame e processá-los. O desenvolvedor de aplicativos, Data Scientist, Data Analyst pode usar o Spark para processar a enorme quantidade de dados dentro de um período mínimo de tempo. Podemos usar um recurso como análise interativa e iterativa de dados no Spark.
O streaming do Spark é mais um recurso no qual podemos processar os dados em tempo real. O domínio bancário precisa rastrear a transação em tempo real para oferecer o melhor negócio ao cliente, rastreando transações suspeitas. O streaming do Spark é mais popular na geração Hadoop mais jovem. O Spark é uma API leve e fácil de desenvolver, que ajudará um desenvolvedor a trabalhar rapidamente em projetos de streaming. O streaming do Spark recuperará facilmente os dados perdidos e poderá fornecer exatamente quando a arquitetura estiver em vigor. E sem nenhum esforço extra de codificação, podemos trabalhar ao mesmo tempo em tempo real com fluxo de faíscas e dados históricos de lotes (Lambda Architecture).
No streaming do Spark, podemos usar várias ferramentas como um canal, Kafka, RDBMS como fonte ou coletor.
Ou podemos transmitir diretamente do RDBMS para o Spark.
Podemos executar uma faísca em cima do HDFS ou sem o HDFS. É por isso que todo mundo fala sobre a substituição do Hadoop. O HDFS é um sistema de arquivos base para o Hadoop. Podemos usar o HDFS como um destino de origem ou destino.
Usando o Spark SQL, use consultas SQL básicas para processar os dados. Essa centelha fornece melhores recursos, como o Mlib (Machine Learning Library), para um cientista de dados fazer previsões.
Comparação cara a cara entre Kafka vs Spark (Infográficos)
Abaixo está a comparação top 5 entre Kafka vs Spark
Diferença de chave entre Kafka e Spark
Vamos discutir algumas das principais diferenças entre Kafka e Spark:
- Kafka é um corretor de mensagens. Spark é a plataforma de código aberto.
- Kafka tem Produtor, Consumidor, Tópico para trabalhar com dados. Onde o Spark fornece plataforma, puxe os dados, mantenha-os, processe e envie da origem para o destino.
- Kafka fornece streaming em tempo real, processo de janela. Onde o Spark permite fluxo em tempo real e processo em lote.
- Em Kafka, não podemos realizar uma transformação. Onde no Spark realizamos ETL
- O Kafka não suporta nenhuma linguagem de programação para transformar os dados. Onde o spark suporta múltiplas linguagens de programação e bibliotecas.
- Portanto, o Kafka é usado para streaming em tempo real como canal ou mediador entre a origem e o destino. Onde o Spark usa para um fluxo em tempo real, processo em lote e ETL também.
Recursos do Kafka vs Spark
Existem alguns recursos principais:
- Fluxo de dados: Kafka vs Spark fornecem fluxo de dados em tempo real da origem ao destino. Kafka apenas Flui os dados para o tópico, Spark é um fluxo de dados procedural.
- Processamento de dados: Não podemos realizar nenhuma transformação nos dados em que o Spark pode transformar os dados.
- Dados persistentes: Kafka persiste os dados por algum tempo, conforme definido na configuração. Temos que usar um quadro de dados ou objeto de conjunto de dados para persistir os dados.
- Transformação de ETL: Usando o Spark, podemos executar ETL, onde o Kafka não fornece ETL.
- Gerenciamento de memória: O Spark usa RDD para armazenar dados de maneira distribuída (por exemplo, cache, espaço local), onde o Kafka armazena dados no Tópico, por exemplo, em uma memória buffer.
Tabela de comparação entre Kafka e Spark
Abaixo está a comparação mais alta entre Kafka vs Spark:
| Critérios de recursos | Apache Spark | Kafka |
| Rapidez | 100 vezes mais rápido que o Hadoop | Velocidade decente |
| Em processamento | Processamento em lote e em tempo real | Apenas em tempo real / processamento de janelas |
| Dificuldade | Fácil de aprender devido aos módulos de alto nível | Fácil de configurar |
| Recuperação | Permite a recuperação de partições usando cache e RDD | Tolerante a falhas / Replicação |
| Interatividade | Tem modos interativos | Nenhum modo interativo / consome os dados |
Conclusão
Podemos usar o Kafka como um intermediário de mensagens. Pode persistir os dados por um determinado período de tempo. Usando o Kafka, podemos executar operações de janela em tempo real. No entanto, não podemos executar a transformação ETL no Kafka. Usando o Spark, podemos persistir dados no objeto de dados e executar transformações de ponta a ponta de ETL.
Portanto, é a melhor solução se usarmos o Kafka como uma plataforma de streaming em tempo real para o Spark.
Artigo recomendado
Este foi um guia para a principal diferença entre Kafka x Spark. Aqui também discutimos as principais diferenças entre Kafka e Spark com infográficos e tabela de comparação. Você também pode dar uma olhada nos seguintes artigos para saber mais. Você também pode consultar os seguintes artigos para saber mais -
- Diferença entre Apache Kafka e Flume
- Apache Storm vs Kafka
- Apache Hadoop vs Apache Spark
- Google Cloud vs AWS
- Kafka vs Kinesis | As 5 principais diferenças