Introdução à mineração de dados

Aqui neste artigo, vamos aprender sobre a introdução à mineração de dados, já que os humanos exploram a Terra há séculos, para obter todo tipo de materiais valiosos. Às vezes, durante a mineração, as coisas são descobertas a partir do solo que ninguém esperava encontrar em primeiro lugar. Por exemplo, em 1898, durante a escavação de uma tumba para encontrar múmias em Saqqara, no Egito, foi encontrado um artefato de madeira que lembrava exatamente um avião. Foi datado de 200 aC, cerca de 2200 anos atrás! Mas que informações possíveis poderíamos obter de um grande conjunto de dados? E mesmo se começarmos a minerá-lo, há chances de obter resultados inesperados do conjunto de dados? Antes disso, vamos abordar exatamente o que é mineração de dados.

O que é mineração de dados?

  • É basicamente a extração de informações / conhecimentos vitais de um grande conjunto de dados.
  • Pense nos dados como uma superfície grande / rochosa. Não sabemos o que está dentro dele, não sabemos se algo útil está embaixo das rochas.
  • Nesta introdução à mineração de dados, procuramos informações ocultas, mas sem nenhuma idéia sobre o tipo de informação que queremos encontrar e o que planejamos usá-la uma vez, encontramos.
  • Assim como na mineração tradicional do Concept, na mineração de dados também existem várias técnicas e ferramentas, que variam de acordo com o tipo de dados que estamos minerando. Por isso, esclarecemos que o que é mineração de dados através deste tópico de introdução à mineração de dados.

Exemplo de mineração de dados

Aprendemos sobre a introdução à mineração de dados na seção acima e agora prosseguimos com os exemplos de mineração de dados listados abaixo:

  • Portanto, há uma operadora de rede móvel. Eles consultam um minerador de dados para pesquisar os registros de chamadas do operador. Nenhum destino específico é fornecido ao Data Miner.
  • É estabelecida uma meta quantitativa de encontrar pelo menos 2 novos padrões em um mês.
  • Quando o minerador de dados começa a investigar os dados, ele encontra um padrão de que há menos chamadas internacionais na quarta-feira em comparação com outros dias.
  • Essas informações são compartilhadas com a gerência e eles apresentam o plano de reduzir as taxas de chamadas internacionais às quartas-feiras e iniciar uma campanha.
  • As taxas de chamadas aumentam, os clientes ficam satisfeitos com o preço baixo, mais clientes se inscrevem e a empresa ganha mais dinheiro! Situação ganha-ganha!

Tendo em mente o exemplo acima, vamos agora examinar as várias etapas envolvidas na mineração de dados.

Etapas envolvidas na mineração de dados

Aprendemos sobre a introdução à mineração de dados na seção acima e agora estamos avançando nas etapas envolvidas na mineração de dados, listadas abaixo:

  • Entendimento comercial

Nesta Introdução à mineração de dados, entenderemos todos os aspectos dos objetivos e necessidades dos negócios. A situação atual é avaliada encontrando-se os recursos, premissas e outros fatores importantes. Assim, estabelecendo uma boa introdução ao plano de mineração de dados para atingir as metas de negócios e de mineração de dados.

  • Dados Entendendo

Inicialmente, os dados são coletados, de todas as fontes disponíveis. Depois, escolhemos o melhor conjunto de dados de onde podemos extrair os dados que podem ser mais benéficos.

  • Preparação de dados

Depois que o conjunto de dados é identificado, ele é selecionado, limpo, construído e formatado na forma desejada.

  • Modelagem de Dados

É um processo de remodelação dos dados fornecidos, de acordo com a exigência do usuário. um ou mais modelos podem ser criados no conjunto de dados preparado e, finalmente, os modelos precisam ser avaliados cuidadosamente, envolvendo as partes interessadas, para garantir que os modelos criados atendam às iniciativas de negócios.

  • Avaliação

Esse é o processo mais necessário na mineração de dados. Inclui passar por todos os aspectos do processo, a fim de verificar possíveis falhas ou vazamentos de dados no processo. Além disso, novos requisitos de negócios podem ser aumentados devido aos novos padrões descobertos.

  • Desdobramento, desenvolvimento

Significa simplesmente apresentar o conhecimento de forma que as partes interessadas possam usá-lo quando quiserem. No exemplo acima, constatou-se que as ligações internacionais eram menores às quartas-feiras, portanto essas informações foram apresentadas às partes interessadas que, por sua vez, usaram essas informações em proveito próprio e aumentaram seus lucros.

Técnicas usadas na mineração de dados

Na seção acima, aprendemos sobre a introdução à mineração de dados e agora avançamos com as técnicas usadas na mineração de dados listadas abaixo:

  • Análise de Cluster

A Análise de Cluster permite identificar um determinado grupo de usuários de acordo com os recursos comuns em um banco de dados. Esses recursos podem incluir idade, localização geográfica, nível de educação e assim por diante.

  • Detecção de anomalia

É usado para determinar quando algo é visivelmente diferente do padrão regular. É usado para eliminar quaisquer inconsistências ou anomalias do banco de dados na origem.

  • Análise de regressão

Essa técnica é usada para fazer previsões com base em relacionamentos no conjunto de dados. Por exemplo, pode-se prever a taxa de estoque de um determinado produto analisando a taxa passada e também levando em consideração os diferentes fatores que determinam a taxa de estoque. Ou, como mostrado abaixo, se tivermos os dados da altura e peso de pessoas diferentes, então, dado qualquer altura ou peso, poderemos determinar o outro valor.

  • Classificação

Isso lida com as coisas que possuem rótulos. Observe que na detecção de cluster, as coisas não tinham um rótulo e, usando a mineração de dados, tivemos que rotular e formar agrupamentos, mas na classificação, existem informações que podem ser facilmente classificadas usando um algoritmo. Um exemplo são os filtros de spam por email. O filtro de spam é fornecido com mensagens relevantes e de spam (dados de treinamento). As diferenças entre os dois são identificadas, permitindo classificar e-mails futuros corretamente.

  • Aprendizagem Associativa

É usado para analisar quais coisas tendem a ocorrer juntas em pares ou em grupos maiores. Por exemplo, pessoas que tendem a comprar limões, compram laranjas também, pessoas que tendem a comprar pão, compram leite também e assim por diante. Assim, as compras feitas por todos os clientes são analisadas e as coisas que ocorrem juntas são colocadas juntas para aumentar as vendas. Então o leite é colocado perto do pão, os limões são colocados ao lado das laranjas e assim por diante.

A mineração de dados é ética?

Então, estou planejando uma viagem de fim de semana para Goa com um amigo, busco na internet bons lugares para visitar em Goa. Na próxima vez que eu abrir a Internet, encontro anúncios de vários hotéis em Goa para ficar.

  • Coisa boa?

Sim, a internet me ajudou a simplificar minha viagem. Afinal, se eu decidir visitar Goa, precisaria dormir em algum lugar e um anúncio que me mostre um hotel é muito mais útil do que um anúncio que me mostre roupas aleatórias para comprar.

  • Coisa ruim?

Sim! Por que uma empresa de mineração de dados que eu nunca tinha ouvido antes saberia para onde estou indo de férias. E se eu não tiver contado a ninguém sobre essa viagem, mas aqui a Internet subitamente sabe que estou indo para lá. A verdade é que o modelo de negócios da empresa de mineração de dados depende disso. Eles coletam esses dados por meio de cookies e scripts e depois os vendem para anunciantes que, por sua vez, tentam me vender outra coisa (nesse caso, um quarto de hotel).

Portanto, pode ser bom ou ruim, dependendo do modo como encaramos. Além disso, sempre podemos desativar os cookies ou ficar anônimos no caso acima. Embora seja qual for o caso, uma coisa é certa. A mineração de dados chegou para ficar.

Artigos recomendados

Este foi um guia para Introdução à mineração de dados. Aqui discutimos seu significado, técnicas e etapas envolvidas na introdução à mineração de dados com um exemplo para entender melhor. Você também pode consultar os seguintes artigos para saber mais -

  1. Perguntas da entrevista sobre mineração de dados
  2. Análise Preditiva x Mineração de Dados
  3. Introdução à Ciência de Dados
  4. O que é análise de regressão?

Categoria:

Big Data