Diferenças entre mineração de texto e análise de texto
Os dados estruturados estão disponíveis desde o início dos anos 1900, mas o que tornou a mineração e a análise de texto tão especiais é o aproveitamento das informações de dados não estruturados (Natural Language Processing). Quando conseguirmos converter esse texto não estruturado em dados semiestruturados ou estruturados, ele estará disponível para aplicar todos os algoritmos de mineração de dados ex. Algoritmos estatísticos e de aprendizado de máquina.
Até Donald Trump foi capaz de alavancar os dados e convertê-los em informações que o ajudaram a vencer as eleições presidenciais dos EUA. Bem, basicamente ele não fez o que seus subordinados fizeram. Existe um artigo muito bom por aí http://fivethirtyeight.com/features/the-real-story-of-2016/, você pode passar por isso.
Muitas empresas começaram a usar a mineração de texto para usar entradas valiosas do texto disponível, por exemplo, uma empresa baseada em produtos pode usar os dados do twitter / Facebook para saber o quão bom ou ruim está seu produto no mundo usando o Sentimental Análise. Nos primeiros dias, o processamento costumava levar muito tempo, dias, de fato, para processar ou até implementar os algoritmos de aprendizado de máquina, mas com a introdução de ferramentas como Hadoop, Azure, KNIME e outros softwares de processamento de big data, o A mineração de texto ganhou enorme popularidade no mercado. Um dos melhores exemplos de análise de texto usando mineração de associação é o mecanismo de recomendação da Amazon, onde ele automaticamente recomenda a seus clientes o que outras pessoas compraram ao comprar qualquer produto em particular.
Um dos maiores desafios da aplicação de ferramentas de mineração de texto em algo que não está no formato digital / na unidade de computador é o processo de criação. Os arquivos antigos e muitos documentos importantes disponíveis apenas em papéis são, às vezes, lidos através do OCR (Optical Character Recognition), que possui muitos erros e, às vezes, dados são inseridos manualmente, o que é propenso a erros humanos. A razão pela qual queremos isso é que podemos obter outras idéias que não são visíveis na leitura tradicional.
Algumas das etapas da mineração de texto são as seguintes:
- Recuperação de informação
- Preparação e limpeza de dados
- Segmentação
- Tokenização
- Remoção de números e pontuação de palavras de parada
- Stemming
- Converter em minúsculas
- Marcação de POS
- Criar corpus de texto
- Matriz termo-documento
A seguir, são apresentadas as etapas na Análise de texto, aplicadas após a preparação da matriz de documentos de termos
- Modelagem (isso pode incluir modelos inferenciais, modelos preditivos ou modelos prescritivos)
- Treinamento e avaliação de modelos
- Aplicação destes modelos
- Visualizando os modelos
A única coisa que devemos sempre lembrar é que a mineração de texto sempre precede a análise de texto.
Comparação cara a cara entre mineração de texto e análise de texto (infográficos)
Abaixo está a comparação 5 entre mineração de texto preditiva e análise de texto 
Principais diferenças entre mineração de texto e análise de texto
Vamos diferenciar a mineração de texto e a análise de texto com base nas etapas envolvidas em alguns aplicativos nos quais essas aplicações são aplicadas:
Classificação de documentos
Nisso, as etapas incluídas na mineração de texto são tokenização, derivação e lematização, remoção de palavras-chave e pontuação e, finalmente, computado o termo matriz de frequência ou matriz de frequência de documentos.
Tokenização - O processo de dividir os dados inteiros (corpus) em pedaços menores ou palavras menores, geralmente palavras únicas, é conhecido como tokenização (modelo N-Gram ou modelo de saco de palavras)
Stemming e Lemmatization - Por exemplo, as palavras, muito maiores e maiores significam o mesmo e formarão dados duplicados, a fim de manter os dados redundantes, nós fazemos a lematização, vinculando palavras com a palavra raiz.
Remoção de palavras de parada - As palavras de parada não são úteis nas análises, que incluirão palavras como é, oe etc.
Frequências de termos - Esta é uma matriz que possui cabeçalhos de linhas como nomes de documentos e colunas como termos (palavras) e os dados são a frequência das palavras que ocorrem nesses documentos específicos. Abaixo está um exemplo de captura de tela. 
Na figura acima, temos os atributos nas linhas (palavras) e o número do documento como colunas e a frequência da palavra como dados.
Agora, na análise de texto, temos as seguintes etapas que precisam ser consideradas
Clustering - Usando clustering K-means / Redes Neurais / CART (árvores de classificação e regressão) ou qualquer outro algoritmo de clustering, agora podemos agrupar os documentos com base nos recursos que foram gerados (recursos aqui são as palavras).
Avaliação e visualização - Planejamos o cluster em duas dimensões e analisamos como esses clusters variam entre si. Se o modelo mantém bons dados de teste, podemos implementá-lo na produção e será um bom classificador de documentos que classificará qualquer novo documentos que são dados como entrada e nomeariam apenas o cluster no qual ele se enquadra.
•Análise de sentimentos
Uma das ferramentas mais poderosas do mercado que ajudam no processamento de dados do twitter / dados do Facebook ou quaisquer outros dados que possam ser usados para extrair o sentimento dele, seja o sentimento bom, ruim ou neutro a qualquer processo / produto específico ou pessoa é análise de sentimentos.
A fonte dos dados pode ser facilmente disponibilizada usando a API do twitter / API do Facebook para obter os tweets / comentários / curtidas etc. no tweet ou em um post de uma empresa. O principal problema é que esses dados são difíceis de estruturar. Os dados também conteriam vários anúncios e o cientista de dados que trabalha para a empresa precisa garantir que a seleção dos dados seja feita da maneira correta, para que apenas os tweets / posts selecionados passem pelas etapas de pré-processamento.
Outras ferramentas incluem Web Scraping, que faz parte da mineração de texto em que você descarta os dados dos sites usando rastreadores.
O processo de mineração de texto permanece o mesmo que tokenização, derivação e lematização, remoção de palavras-chave e pontuação e, finalmente, computação, o termo matriz de frequência ou matriz de frequência de documentos, mas a única diferença ocorre ao aplicar a análise de sentimentos.
Geralmente, atribuímos uma pontuação a qualquer post / tweet. Geralmente, quando você compra um produto e analisa, se você também tem a opção de atribuir estrelas à crítica e postar um comentário. Google, Amazon e outros sites usam as estrelas para classificar o comentário, além de receberem os tweets / posts e entregá-los aos seres humanos para classificá-lo como bom / ruim / neutro e, ao pentear essas duas pontuações, eles geram uma nova pontuação para qualquer tweet / post em particular.
A visualização da análise de sentimentos pode ser feita usando uma nuvem de palavras, gráficos de barras da matriz de termos de frequência.
• Associação de Análise Mineira
Uma das aplicações em que alguns profissionais estavam trabalhando era o "modelo probabilístico de eventos adversos a medicamentos", no qual é possível verificar quais eventos adversos podem causar outros eventos adversos se ele tomar algum medicamento específico.
A mineração de texto incluiu o fluxo de trabalho abaixo
A partir da figura acima, podemos ver que até a mineração de dados todas as etapas pertencem à mineração de texto, que identifica a fonte dos dados, extrai-os e prepara-os para serem analisados.
Aplicando a mineração de associação, temos o modelo abaixo
Como podemos ver, algumas marcas de seta apontam para o círculo laranja e, em seguida, uma seta aponta para qualquer ADE (evento adverso de drogas) em particular. Se dermos um exemplo no lado inferior esquerdo da imagem, podemos encontrar apatia, astenia e sentimentos anormais que levam a sentimentos de culpa. Bem, pode-se dizer que isso é óbvio, é óbvio porque, como humano, você pode interpretar e relacionar, mas aqui uma máquina está interpretando e nos dando o próximo evento adverso a medicamentos.
Um exemplo da palavra nuvem é como abaixo
Tabela de comparação entre mineração de texto e análise de texto
Abaixo estão as listas de pontos, descreva as comparações entre Text Mining e Text Analytics:
| Base para Comparação | Mineração de texto | Análise de texto |
|
Significado | A mineração de texto é basicamente a limpeza dos dados od disponíveis para análise de texto | A Text Analytics está aplicando técnicas estatísticas e de aprendizado de máquina para poder prever / prescrever ou inferir qualquer informação dos dados extraídos em texto. |
|
Conceito | A mineração de texto é uma ferramenta que ajuda na limpeza dos dados. | Análise de texto é o processo de aplicação dos algoritmos |
|
Estrutura | Se falamos sobre a estrutura, a mineração de texto é semelhante ao ETL (Extract Transform Load), que significa ser capaz de inserir dados no banco de dados. Essas etapas são executadas | Análise no texto, esses dados são usados para agregar valores aos negócios, por exemplo, criando nuvens de palavras, gráficos de frequência de dois gramas, N gramas em alguns casos |
|
Língua | Python e R são as ferramentas de mineração de texto mais famosas disponíveis para mineração de texto | Para análise de texto, uma vez que os dados estejam disponíveis no nível do banco de dados, podemos usar qualquer um dos softwares de análise existentes, incluindo python e R. Outros softwares incluem Power BI, Azure, KNIME etc. |
|
Exemplos |
|
|
Conclusão - Text Mining vs Text Analytics
O futuro da mineração de texto e da análise de texto não se aplica apenas ao inglês, mas também houve avanços contínuos e o uso de ferramentas linguísticas, além de outras línguas em inglês, também são consideradas para análise.
O escopo e o futuro da mineração de texto aumentarão, pois há recursos limitados para analisar outros idiomas.
O Text Analytics possui uma gama muito ampla de aplicações, alguns dos exemplos dos setores em que isso pode ser usado são:
- Monitoramento de mídia social
- Aplicações farmacêuticas / biotecnológicas
- Aplicações de Negócios e Marketing
Artigo recomendado
Este foi um guia para a diferença entre mineração de texto e análise de texto, seu significado, comparação cara a cara, diferenças principais, tabela de comparação e conclusão. Você também pode consultar os seguintes artigos para saber mais -
- Azure Paas vs Iaas - Descubra as diferenças
- Melhores 3 coisas a aprender sobre mineração de dados versus mineração de texto
- Conheça as 7 melhores diferenças entre mineração de dados e análise de dados
- Business Intelligence vs Machine Learning - qual é o melhor
- Análise Preditiva x Mineração de Dados - Qual é Mais Útil