O que é Splunk
O Splunk é referido como um produto ou ferramenta, usado para analisar dados em grandes volumes no mundo dos negócios. É uma ferramenta de pesquisa muito poderosa e versátil que preenche um registro em tempo real e, portanto, facilita o monitoramento e a solução de problemas que ocorrem em nosso aplicativo. Os fundadores do Splunk são Michael Baum, Rob Das e Erik Swan. Foi desenvolvido em 2003, mas o Splunk está em maior demanda após o lançamento do Splunk 3.0 em 2008-09.
O Splunk funciona como indexação dos dados, usa os dados para pesquisar e investigar, adicionar conhecimento aos dados, configurar monitores e alertar, relatar e analisar, preparar painéis. O Splunk coleta os dados com segurança e, em seguida, ajuda a armazenar e indexar os dados em um local centralizado com acesso baseado em função. Portanto, não importa quão desestruturados ou diversos sejam nossos dados, talvez possamos monitorar, relatar e analisar facilmente nossos dados.
Conceitos de Splunk:
O Splunk adiciona conhecimento aos seus dados com a ajuda de objetos de conhecimento (como Tags, Campos e Pesquisas Salvas, Relatórios, Painéis, Alertas etc.). Esses objetos de conhecimento podem ser compartilhados e reutilizados: Esses conceitos de objetos de conhecimento são explicados abaixo:
Sobre o Splunk Home:
O Splunk Home é a janela principal dos aplicativos e dados acessíveis neste Splunk. O Splunk Home inclui uma barra de pesquisa e três painéis: Aplicativos, Dados e Ajuda.
- Essa barra de pesquisa de aplicativos é usada por um usuário para executar a consulta de pesquisa. A barra de pesquisa de aplicativos e a barra de pesquisa padrão do Splunk são semelhantes e incluem um seletor de intervalo de tempo.
- O painel Dados é usado por um usuário para adicionar novos dados e gerenciar os dados. Ele mostra há quanto tempo os dados foram indexados, o primeiro e o último evento de dados e o volume de dados.
Quando você tem dados no Splunk, pode ver um breve resumo:
- Clique em Adicionar dados para obter novos dados no Splunk.
- Clique em Gerenciar entradas para visualizar e editar as definições de entrada existentes.
Upload de dados no Splunk:
Um usuário pode fazer upload de um tipo diferente de dados, como arquivos de texto, arquivos csv, logs de eventos e weblogs, no Splunk. Após o upload dos dados, o Splunk indexa os dados imediatamente e os disponibiliza para pesquisa. Um usuário pode realizar qualquer tipo de pesquisa nesses dados e criar relatórios, painéis e gráficos etc.
Etapa 1. Clique em Adicionar dados, no Splunk Home.
Etapa 2. Clique em arquivos e diretórios.
Etapa 3. Há duas opções para visualizar os dados antes da indexação e pular a visualização. Se desejar visualizar dados antes da indexação, selecione os dados de visualização e procure o arquivo; caso contrário, pule a visualização e pressione continuar.
Etapa 4. Selecione Carregar e indexar um arquivo e procure o arquivo de dados.
Etapa 5. Mais configurações
- Em Host, defina os valores de um host Definir como "regex em um caminho" e Expressão regular como "1"
- Sob o tipo de fonte, defina o valor do conjunto, o tipo de fonte é "Automático".
- Sob o conjunto de índices, o valor de definir o índice de destino como "padrão".
Etapa 6. Clique em Salvar e o Splunk exibe que os dados da mensagem estão sendo indexados com sucesso.
Para iniciar a pesquisa, clique em iniciar a pesquisa.
O que é Resumo de Dados do Splunk
Para ver mais detalhes sobre os dados enviados, clique em Resumo de dados.
Caixa de diálogo Resumo de Dados, que exibe três guias: Hosts, Fontes, Tipos de fontes.
O host de um evento geralmente é o nome do host, o endereço IP ou o nome de domínio totalmente qualificado da máquina de rede.
A origem de um evento é o caminho do arquivo ou diretório, porta de rede ou script.
O tipo de evento de origem informa quais tipos de dados são, geralmente com base em como eles são formatados.
Pesquisa / Pesquisa avançada:
Comandos mais usados:
Superior / Raro: Este comando retorna os valores superiores e raros do campo especificado na barra de pesquisa.
Por exemplo:
Resultado:
Estatísticas: o comando stats é usado para cálculos estatísticos sobre um conjunto de dados. É semelhante à agregação SQL. Há mais de um comando para cálculos estatísticos. Os comandos stats, Chart e time chart executam os mesmos cálculos estatísticos em seus dados, mas retornam resultados ligeiramente diferentes.
Por exemplo:
- Tipo de fonte = ”csv” | stats dc (Origem)
Resultado:
- sourcetype = ”csv” | valores de estatísticas (UniqueCarrier) por mês
Resultado:
Abaixo estão as funções estatísticas que você pode usar com o comando stats.
Média (X): retorna a média dos valores do campo X.
Contagem (X): retorna o número de ocorrências do campo X.
Dc (X): Retorna a contagem de valores distintos do campo X.
Máx. (X): retorna o valor máximo do campo X.
Mínimo (X): retorna o valor mínimo do campo X.
Soma (X): Retorna a soma dos valores do campo X.
Valores (X): retorna uma lista de todos os valores distintos do campo X
Gráfico: o comando chart cria uma saída de dados tabulares adequada para gráficos. Você especifica a variável do eixo x usando over ou by.
Por exemplo: sourcetype = ”csv” | valores do gráfico (UniqueCarrier) por mês
Resultado:
Timechart: O comando timechart cria um gráfico para uma agregação estatística aplicada
para um campo contra o tempo como o eixo x.
Por exemplo: sourcetype = ”csv” | valores de gráfico de tempo (UniqueCarrier) por mês
Resultado:
Tabela: Este comando retorna uma tabela formada pelos campos usados na lista de argumentos de pesquisa
Por exemplo:
Desduplicação: a remoção de dados redundantes é o ponto do comando de filtragem de desduplicação.
Por exemplo:
Visualizações:
Gráficos / relatórios Podemos criar relatórios e gráficos para melhor visualização e entendimento. Todos os tipos de gráficos podem ser desenhados. Por exemplo Torta, Linha, Barra e Área etc.
Por exemplo:
Painéis:
Os painéis são os tipos mais comuns de visualizações. Cada painel contém um ou mais painéis, cada um dos quais pode conter visualizações como gráficos, tabelas, listas de eventos e mapas. Basicamente, os painéis são uma coleção de pesquisas e relatórios.
Para criar um painel, salve um gráfico / relatório como um painel de painel.
Mencione o título do painel, a descrição e o título do painel e salve-o.
O painel foi criado com sucesso. E para tentar clicar no painel de exibição.
Resultado:
Conclusão - O que é Splunk
Splunk é a plataforma usada para operações em tempo real. É usado para gerenciamento de aplicativos, gerenciamento de segurança e desempenho. Está disponível gratuitamente para uso e facilmente acessível. Ajuda na visualização dos dados com a ajuda de tabelas e gráficos. Pode ser um aprendizado fácil para iniciantes. É também um dos principais produtos ou ferramentas para os desenvolvedores do DevOps e Agile.
Artigos recomendados:
Este tem sido um guia do que é o Splunk. Aqui discutimos alguns conceitos básicos do Splunk, etapas para o upload de dados no Splunk etc. Você também pode consultar o seguinte artigo para saber mais -
- Perguntas e respostas da entrevista Splunk
- Diferenças Splunk vs Spark
- Hadoop vs Splunk - Descubra as 7 principais diferenças