Introdução ao Design do Data Warehouse
Um armazém em palavras comuns significa armazenar algo em um só lugar e casos semelhantes em setores para armazenar a quantidade complexa de dados em um local. O Business Intelligence (BI) permite consultar dados das fontes de dados e a confiança só pode ser feita quando houver um bom design de armazém de dados.
O data warehouse integra várias fontes de dados e oferece um bom suporte para análise e relatórios analíticos. Se você tiver um design inadequado do data warehouse, isso afetará o crescimento da sua organização, tendo dados de consulta imprecisos.
Dê um exemplo de popularidade da loja on-line da Amazon solicitando o item e ele pode ser entregue à nossa porta. Quando o cliente entra no site de comércio eletrônico e procura o produto disponível na loja. Em seguida, selecionamos e pedimos o item, assim que o fornecedor aceitar e despachar imediatamente. Aqui podemos economizar tempo para comprar o item necessário.
Um caso semelhante a esse armazém de dados também, os dados podem ser armazenados e adquiridos no sistema de transações. O data warehouse como um dos dois principais conceitos
- OLAP - Processamento Analítico Online
- OLTP - Processamento Transacional Online
Ambos são sistemas de processamento on-line, mas têm algumas diferenças. O OLTP gerencia o aplicativo transacional como ATM, o OLAP usa para processamento analítico, como relatórios, previsões etc.,
Recolha de requisitos
- A coleta de requisitos é uma fase no design do data warehouse. Ele precisa determinar os critérios e implementá-los com sucesso. Haverá duas estratégias usadas para o design do data warehouse: uma é chamada de negócio e outra é chamada de técnica.
- A estratégia de negócios se concentra na visão de negócios de longo prazo e ajuda a aumentar o lucro para o crescimento. O requisito da estratégia técnica é baseado em relatórios, análises, seleção de hardware, método de desenvolvimento, técnica de teste, ambiente de implementação e treinamento do usuário.
- Quando determinamos a estratégia comercial e técnica, também precisamos projetar o plano de BCP (Disaster Recovery). Quando ocorre um desastre humano ou natural, precisamos ter um plano para recuperar os dados rapidamente e garantir que nenhum dado seja perdido. Desenvolver o plano de recuperação de desastres é um dos desafios e confia na organização.
Configuração do ambiente
- Depois de coletarmos os dados para o design do data warehouse, precisamos fazer uma configuração de ambiente adequada para desenvolvimento, teste e produção. De preferência, deve haver um sistema separado para aplicativo, banco de dados e também separado para relatório / ETL.
- Quando construímos um ambiente separado para cada um, garante que todas as mudanças possam ser desenvolvidas / testadas e depois passadas para a produção.
- Se tivermos um ambiente único projetado para todas essas atividades, pode haver problemas e perda de dados. Por exemplo, quando ocorre um incidente no sistema, não conseguimos navegar e descobrir o caminho a ser corrigido, o que o torna mais complexo.
Modelagem de Dados
- Depois que a coleta de requisitos e o ambiente são configurados, o próximo é projetar como conectar a fonte de dados, o processo e o armazenamento no armazém de dados. Essa técnica é chamada de modelagem de dados. Pode ser uma análise do objeto e relacionamento entre os outros.
- Quando o design do data warehouse, os engenheiros projetaram como e onde os dados precisam ser armazenados. Na mesma ocasião, também devemos definir a maneira possível de recuperar os dados do data warehouse. Uma vez identificada a fonte, a equipe pode construir a lógica e criar uma visualização do esquema da estrutura.
Tipos de modelo de dados
Existem três tipos
- Conceptual
- Lógico
- Fisica
Os três tipos de modelo de dados são mencionados abaixo:
1. Conceitual: Diz O QUE O sistema contém e foi projetado pelos arquitetos de negócios para definir o escopo da estratégia de negócios.
2. Lógico: define como a lógica pode ser criada no DBMS; ela será projetada pelo analista de negócios e pelo arquiteto de dados para criar um conjunto de regras para armazenar / recuperar os dados.
3. Físico: define como o sistema pode ser implementado.
Uso do design do Data Warehouse
Ser um bom design de armazém de dados pode ser demorado ao recuperar os dados. Cada passo deve seguir efetivamente para tornar o sistema um bom. Ajudará a organização a lidar com os tipos complexos de dados e a melhorar a produtividade com base na análise de tendências. Portanto, cada passo no projeto da arquitetura DWH é importante e mais consciente no método de seleção. A organização entra em cada fluxo posteriormente e leva à implementação bem-sucedida do armazém de dados.
Existem alguns usos importantes de aplicativos do Data Warehouse
1. Setor bancário: a maioria dos bancos está usando o data warehouse para armazenar uma grande quantidade de dados de transações e a capacidade de recuperar os dados da consulta muito mais rapidamente. Ele pode ser gerenciado como dados de clientes, tendências de mercado, relatórios, análises etc.,
2. Setor financeiro: é semelhante ao setor bancário, mas o único foco é melhorar as mudanças financeiras, analisando os dados do cliente
3. Governo: Atualmente, o governo gerencia muitos dados on-line e armazena no banco de dados relacional. Cada dado tem um relacionamento entre si como o Aadhaar, o PAN está vinculado a muitas fontes.
4. Saúde: gerentes e serviços de saúde fornecem tanta informação. Ele mantém os detalhes clínicos, os registros dos clientes e os ajuda a prever os resultados, analisar o feedback e gerar os relatórios.
5. Seguro: companhia de seguros usada principalmente para padrões de dados, tendência do cliente e manutenção de registros.
6. Indústria de manufatura e distribuição: é mais amplamente usada em todas as indústrias para armazenar informações sobre itens e ajuda a prever o item de demanda para fabricação e vendas. Analisar o item vendido, que fornece melhores técnicas de tomada de decisão.
7. Serviços para varejistas: os varejistas são o intermediário entre o produtor e o cliente. O data warehouse os ajuda a promover e tendências de compra de itens.
8. Setor de telefonia: os setores de telefonia gerenciam muitos dados históricos, o que ajuda a tornar a tendência dos dados dos clientes e o objetivo de promover campanhas publicitárias.
Vantagens do Data Warehouse
- Oferece inteligência de negócios aprimorada
- Garante a qualidade e consistência dos dados
- Economiza tempo e dinheiro
- Rastreia dados historicamente inteligentes
- Gera alto ROI
Desvantagem do Data Warehouse
- Trabalho Extra de Relatório
- Inflexibilidade e homogeneização de dados
- Preocupações de propriedade
- Exige grandes quantidades de recursos
- Problemas ocultos consomem tempo
Artigos recomendados
Este é um guia para o Design do Data Warehouse. Aqui discutimos a técnica de design do data warehouse, coleta de requisitos, configuração do ambiente, usos, vantagem / desvantagem. Você também pode consultar o seguinte artigo para saber mais -
- Benefícios do Data Warehouse
- Implementação de Data Warehouse
- Modelagem de Data Warehouse
- Ferramentas de Data Warehouse
- Os 4 principais tipos diferentes de modelos de dados