Como instalar o Kafka?
Kafka é uma plataforma de streaming distribuído. Ajuda na publicação e assinatura de fluxos de registros. O Kafka geralmente é usado para criar pipelines de dados de streaming em tempo real que obtêm dados de forma confiável entre diferentes sistemas e aplicativos. Também pode ajudar na criação de aplicativos de streaming em tempo real que ajudam a transformar ou fazer alterações nos fluxos de dados. Kafka permite armazenar fluxos de registros em diferentes categorias chamadas tópicos. Cada registro consiste em uma chave, um valor e um carimbo de data / hora. Ele possui quatro componentes principais, como API do produtor, API do consumidor, API do Streams e API do conector. Ele usa o protocolo TCP, que é uma boa comunicação entre clientes e servidores com alto desempenho. Para instalar o Kafka, é possível seguir os seguintes passos.
Instale o Kafka no sistema operacional Windows
Para instalar o Kafka no Windows, siga as etapas abaixo:
Etapa 1. Faça o download do Zookeeper no seguinte link: HTTP: //zookeeper.apache.org/releases.html
Feito isso, baixe o Kafka seguindo o link: http://kafka.apache.org/downloads.html
Faça também o download do JRE de acordo com o sistema operacional e a arquitetura da CPU no link abaixo: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Etapa 2. Configuração do JDK
Inicie a instalação do JRE e clique na caixa de seleção 'Alterar pasta de destino'. Agora, clique em Instalar.
Feito isso, altere o diretório para qualquer caminho sem espaços no nome da pasta.
Etapa 3. Depois disso, abra as variáveis de ambiente no Painel de Controle -> Sistema -> Configurações avançadas do sistema -> Variáveis de ambiente.
Etapa 4. Clique em Nova variável de usuário na guia Variável de usuário e digite JAVA_HOME no nome da variável. Digite o caminho do JRE na seção Valor variável. Deve ser como abaixo:
Etapa 5. Agora clique em OK.
Etapa 6. Pesquise uma variável de caminho na seção 'Variável do sistema' na caixa de diálogo “Variável de ambiente” que é aberta.
Etapa 7. Edite o caminho e digite ";% JAVA_HOME% \ bin" no final do texto já escrito, como na imagem abaixo:
Etapa 8. Para verificar se o Java está instalado corretamente, vá para o Prompt de Comando e digite 'java - version'. A versão do Java que está instalada será exibida na tela.
Se você vir os detalhes acima no prompt de comando, será bom do lado do Java.
Depois que o Java estiver instalado, você poderá se mover para concluir a instalação do Zookeeper.
Siga as etapas abaixo para instalar o Zookeeper no seu sistema:
- Abra o diretório em que o diretório de configuração do Zookeeper está lá. Pode ser C: \ zookeeper-3.4.7 \ conf.
- Agora renomeie o arquivo "zoo_sample.cfg" para "cfg"
- Abra este arquivo renomeado no bloco de notas.
- Localize e edite o seguinte: dataDir = / tmp / zookeeper para \ zookeeper-3.4.7 \ data
- Assim como adicionamos variável de ambiente para Java, adicione uma variável de ambiente para o Zookeeper.
- Defina o caminho da variável do sistema como: dataDir = / tmp / zookeeper como: \ zookeeper-3.4.7 \ data
- Edite a variável do sistema denominada 'Path' e adicione; % ZOOKEEPER_HOME% \ bin;
- A porta padrão do Zookeeper é 2181, que pode ser alterada para qualquer outra porta, indo para o arquivo zoo.cfg.
- Execute o Zookeeper abrindo um novo cmd e digite 'zkserver'. Você verá os detalhes abaixo.
Depois de ver esta tela, verifique se o Zookeeper foi instalado com sucesso.
Configurando o Kafka
Depois de instalar o Java e o Zookeeper no sistema, você pode configurar o Kafka.
- Vá para o diretório de configuração do Kafka.
- Edite o arquivo "server.properties".
- Uma vez feito isso, você pode encontrar e editar a linha onde você vê: dirs = / tmp / kafka-logs para “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Se o seu Zookeeper estiver sendo executado em outra máquina, você poderá alterar esse caminho para “zookeeper.connect: 2181” para um IP e ID de porta personalizados.
- A porta padrão para Kafka é a porta 9092 e, para conectar ao Zookeeper, é 2181.
Executando um servidor Kafka
Depois que a configuração inicial estiver concluída, você poderá executar facilmente um servidor Kafka
Antes de executar o servidor Kafka, é necessário garantir que a instância do Zookeeper esteja em funcionamento.
1. Vá para o diretório de instalação do Kafka: C: /kafka_2.11-0.9.0.0
2. Abra o prompt de comando e pressione Shift + clique com o botão direito do mouse e escolha a opção 'Abrir janela de comando aqui'.
3. Agora digite. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties e pressione Enter.
Depois de executar isso e tudo estiver bem, sua tela deverá ficar como abaixo:
4. Agora seu servidor Kafka está instalado e funcionando. Você pode criar seus próprios tópicos para armazenar mensagens diferentes. Feito isso, você pode produzir e consumir dados do código Java ou Scala ou executar diretamente no prompt de comando.
Instale o Kafka no Linux
Siga as etapas abaixo para instalar o Kafka no Linux:
Etapa 1. Faça o download e extraia os binários Kafka e armazene-os em diretórios.
Etapa 2. Extraia o archive baixado usando o comando tar.
Etapa 3. Para configurar o Kafka, vá para server.properties. Abra este arquivo usando o comando nano e adicione o seguinte na parte inferior do arquivo.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Etapa 4. Uma vez feito isso, o usuário terá que criar arquivos de unidade do sistema para os serviços Kafka. Isso ajuda na execução de ações comuns de serviço, como iniciar, interromper e reiniciar o Kafka de maneira consistente com outros serviços Linux. O Zookeeper é um serviço usado pelo Kafka para gerenciar seu cluster e configurações.
Etapa 5. Para criar um arquivo de unidade para o Zookeeper, siga abaixo:
sudo nano /etc/systemd/system/zookeeper.service
Etapa 6. Uma vez que este arquivo zookeeper é criado, cole abaixo:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Esta seção (Unidade) aqui especifica que o Zookeeper exige que a rede e o sistema de arquivos estejam prontos antes de iniciar.
A seção (Serviço) informa ao sistema que os arquivos zookeeper-server-start.sh e zookeeper-server-stop.sh estão presentes para iniciar e parar os serviços.
Etapa 7. Agora o usuário deve criar um arquivo de sistema para o Kafka como abaixo:sudo nano /etc/system/system/Kafka.service
Etapa 8. Neste arquivo, cole abaixo:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Aqui, a (Unidade) especifica que o arquivo da unidade depende do zookeeper.service. Isso garante que o tratador seja iniciado antes do Kafka iniciar.
Etapa 9. Agora você precisa habilitar o Kafka e reiniciar o servidor. Execute: sudo systemctl enable Kafka
Etapa 10. Testando a instalação:
Você pode testar sua instalação Kafka criando um tópico e publicando-o nos consumidores.
Crie um tópico por : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Publicar este usuário pode criar produtores e consumidores e publicar quaisquer dados para os tópicos específicos.
Artigos recomendados
Este foi um guia para instalar o Kafka. Aqui discutimos etapas diferentes para instalar o Kafka no Windows e Linux. Você também pode consultar os seguintes artigos para saber mais -
- Etapa para instalar o Java 8
- Como instalar o C
- Guia para instalar Ruby
- Kafka Applications
- JRE vs JVM | As 8 principais diferenças com (infográficos)