Qualidade de Dados / Data Quality

O que é feito? 
Juntamente com o cliente, elaboramos uma lista dos sinais da má qualidade dos dados e analisamos os sintomas. A análise das necessidades ajuda-nos a decidir como é que os dados principais da empresa devem ser, para que possam usá-los da forma mais eficiente possível. Porque estes sinais e sintomas são muitas vezes "imaginados", vamos submetê-los a uma análise de dados para estabelecer se eles são relevantes e, ao mesmo tempo, estimar o tamanho e o grau do desafio potencial. 

Por que é feito? 
É necessário  um conhecimento preciso de seus dados  para a criação de um catálogo de medidas individuais para a sua empresa (e seu nível de qualidade no que diz respeito às exigências feitas sobre eles). A análise dos dados fornece uma visão objectiva e transparente da situação actual de seus dados. 

Como é feito? 
Durante um seminário conjunto é tomada uma decisão sobre quais os dados que vão ser objeto uma análise precisa e mais tarde aperfeiçoados com a nossa ferramenta de criação de perfil Data Analyzer. Várias análises baseadas em cada um dos sintomas de má qualidade dos dados são realizadas. Se considerarmos que existem mais desafios nos seus processos de negócio, a análise desses processos é possível também. Tomamos as revindicações específicas dos seus departamentos especializados em conta e verificamos se suas necessidades individuais sobre os dados já estão ancoradas em processos relevantes. O facto é que o processo determina o nível de qualidade de dados! Após a conclusão da análise é fornecida documentação completa sobre os resultados. Com esses resultados em mãos, o desenvolvimento de medidas individuais para optimizar e manter a qualidade dos dados podem ser elaboradas.

Tal como prometido no post anterior aqui ficam algumas soluções para minimizar os problemas de qualidade de dados.

Vamos ver se consigo abranger todos os tópicos colocados, mas tenho desde já de fazer uma ressalva. A limpeza dos dados é tudo menos um processo estético. Não se deve fazer uma limpeza de dados apenas para que fiquem "mais bonitos", até porque a isso não se deve chamar limpeza de dados, muito menos processo de qualidade de dados. Isto vem na sequência de uma mensagem que recebi e como não quero que restem duvidas acerca deste aspecto venho aqui reiterar a importância dos processos de qualidade de dados.

Vou tentar mostrar como os processos de qualidade de dados podem ajudar a melhorar, não apenas os dados em si, mas especialmente conseguir em primeira analise a melhoria imediata dos dados, de forma a rentabilizar os mesmos, podendo dessa forma ter um retorno no investimento rapidamente.

Muitos são os estudos e todos apontam para valores assustadores de custos. Vamos desde os 5% do PIB Norte-Americano, aos 10% das receitas das empresas Australianas e da Nova Zelândia para alem de muitos outros valores todos eles como foi dito... assustadores.

Em Portugal nunca foi feito nenhum estudo concreto dos valores que a falta de qualidade dos dados nas nossas empresas representam. Provavelmente porque é um problema que se vai adiando, porque os custos não são medidos, como tal não existem. Os devolvidos são colocados num armazém e nem sequer são contados e quando são contados por norma não se faz contas ao custo total desses devolvidos. Fiz uma pequena "calculadora" onde se pode calcular o custo aproximado total destes devolvidos, com valores a que tive acesso de uma campanha de um prospect. Não é nada muito elaborado nem tenta ser. É apenas para que se possa ter uma forma simples de ter uma noção dos custos.

Estes processos de qualidade de dados podem ser mais ou menos complexos dependendo muito não apenas dos problemas existentes, mas também da disponibilidade de mudança da empresa. Idealmente estes processos deveriam iniciar-se com um data profiling.

Nesta primeira fase, será feita uma representação das fontes de dados, com os nomes dos campos, a sua descrição, os máximos e mínimos. Ter uma representação dos valores, mostrando os padrões, com as frequências para que rapidamente se possam detectar erros nos dados existentes. Verificar a informação das tabelas ligadas, a existência de registos órfãos, detecção de sobreposições, verificação dos dados dos campos por entradas válidas, detecção de tabelas não normalizadas, entre outras verificações de todos os campos existentes permitindo assim que se tenha uma noção rapida e concreta de todas as dificuldades existentes. Este trabalho pode ser executado manualmente, mas com a execução destes softwares o tempo de execução é reduzido para 15% em norma.

Numa segunda fase temos os processos batch. Para alem da correcção dos problemas nos dados que tenham sido encontrados anteriormente deverão ser igualmente executadas a normalização de moradas e a procura de duplicados, que são uma ajuda fundamental para incrementar a qualidade dos dados, mas apenas servem para melhorar no imediato essa qualidade. Depois são necessários softwares que mantenham essa qualidade. Caso contrario passados uns meses já se perdeu novamente a confiança nos dados.

Essa terceira fase que deve ser colocada em implementação conjuntamente com esta segunda fase, é constituída pela implementação de softwares online que permitem que todas as interacções entre os utilizadores e a base de dados sejam feitas de forma a manter os dados limpos.

Este processo tem 3 vertentes, uma a normalização/correcção das moradas, impedindo que moradas erradas entrem no sistema, outra vertente a deduplicação/desduplicação dos registos, evitando que registos duplicados entrem em BD e por fim uma monitorização de todos os outros campos da BD, impedindo que erros já detectados voltem a ocorrer.

Todos estes processos já foram de alguma forma aqui demonstrados neste blog. Temos por exemplo o profiling, os processos batch, a parte da normalização/correcção de moradas e finalmente a monitorização.

Podem existir muitas razões, mas em grande parte dos casos a resposta é simples. Falta de qualidade de dados!

Como se pode ter bons resultados se os dados, que são os alicerces de toda a estrutura não estão consolidados, têm erros, existe falta de dados essenciais e muitos outros problemas?

A maioria das empresas acha que os seus dados estão excelentes, porque os devolvidos não são contabilizados, são apenas "despejados" para uma arrecadação da empresa, ou chegam aos destinatários apenas porque o carteiro já conhece o nome da pessoa. Mas, estamos a assistir a uma renovação dos carteiros e isso vai levar à existência de mais devolvidos. mais uma vez como voltam para a tal arrecadação, continua a não existir o problema.

Os custos de uma devolução não podem ser contabilizados, porque para alem dos custos dos portes, do envelope, da carta ou peça publicitaria existente no envelope, existem depois outros que são impossíveis de contabilizar. Por exemplo o custo da imagem. Um cliente que não recebe uma comunicação importante, ou que recebe um folheto publicitário várias vezes, pode ser um cliente perdido.

Alguns dos problemas que se encontram muitas vezes e que impedem os sistemas de ter bons resultados são:

• o mesmo cliente existe em vários registos porque não existe um processo fiável de verificação de duplicados, fazendo com que um excelente cliente, seja considerado apenas várias vezes como clientes medianos.
• os dados da morada do cliente não são normalizados/ verificados/ corrigidos, fazendo com que por exemplo não seja atribuído à respectiva área geográfica. Em muitos casos apenas existe o campo do Endereço Postal, não existindo também o campo Localidade, que em Portugal pode ser o suficiente para a devolução de correspondência.
• Como os dados não estão correctos, não é possível geo-referenciar. A georeferenciação é hoje em dia uma ferramenta muito importante para quase todos os negócios.
• existem erros em dados fulcrais por falta de um sistema de monitorização, que impeça esses erros de continuarem no sistema, muitas vezes ad eternum.
• Dados dos vários sistemas não são cruzados porque os sistemas usam ID's diferentes para o mesmo cliente e como tal falta informação no sistema principal para que se possa ter uma melhor noção da situação real.

Tudo isto pode ser ser evitado, tomando alguns cuidados.

• Existir apenas um responsável pelos dados da empresa. A noção que os dados são responsabilidade de todos é sem duvida teoricamente uma boa politica, mas na realidade acaba por desresponsabilizar todos, tendo um efeito contrario na qualidade dos dados.
• Fazer um profiling dos dados de forma a saber quais os erros que existem em BD. Desta forma é possível não apenas corrigir os erros existentes, mas também tomar medidas para prevenir que voltem a ocorrer.
• Fazer uma normalização/ correcção/ verificação dos dados e uma deduplicação de forma a consolidar os dados em modo batch. Desta forma os dados ficam com qualidade.
• Ter a noção que a perfeição em qualidade de dados é impossível de alcançar. Todos os dias trabalhamos para nos aproximar, mas todos os dias há novos dados, dados alterados. O problema mais uma vez é o pensar que os dados estão correctos. Isso nunca acontece. Há formas de minimizar os erros, umas melhores (online), outras com altos e baixos (batch periódico).
• Colocação de um software de monitorização dos dados, para que possam existir alarmes quando um erro está a ser colocado no sistema e não traga problemas posteriormente.

Lucre com todas Soluções de Qualidade de Dados da Uniserv para e-commerce e portais da Internet, incluindo:

• Óptima qualidade dos dados através do acompanhamento permanente na criação inicial de dados e alterações (Data Quality Firewall)
• Revisão confiável dos dados (Data Cleansing) de acordo com as regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone) no processamento em batch ou em tempo real.
• Entregas rápidas e confiáveis de bens com os clientes satisfeitos, criando laços fortes.
• Baixa os custos de postagem para correspondência em massa por meio de dados de alta qualidade endereço
• Extensas análises do comportamento do consumidor para o uso eficiente dos potenciais upselling e cross-selling numa base up-to-date, corrigida e livre de clientes duplicados e de dados de transacções fiável.
• Fluxo de caixa com receitas de confiança, planeável e uma minimização dos riscos de atrasos nos pagamentos ou não pagamentos por meio de dados precisos de pedido e de clientes

Analise, acção, performance

O DQ Explorer permite que encontre a qualidade dos seus dados e os seus comportamentos rapidamente e de forma precisa como parte de uma analise de dados automatizada. O software pode ser usado como em projectos individuais ou como parte de iniciativas estratégicas mais abrangentes e como tal suporta um numero elevado de tarefas, como por exemplo:

Investimento extensivo no sistema

• Quando novos sistemas são instalados, os problemas com os dados frequentemente geram problemas consideráveis de budget e de tempo nos projectos de TI. Uma analise antecipada e detalhada dos dados pode reduzir significativamente estes riscos.

Auditorias de dados

• Avaliação da qualidade dos dados para suporte das aplicações e processos críticos para o negocio na melhor forma possível. Identificação de áreas chave, nas quais uma qualidade de dados melhorada providencia artificioso tangíveis.

Migração de dados

• Analise detalhada dos dados antes da migração significa que ciclos de migração recorrentes e extenso trabalho subsequente são reduzidos consideravelmente.

Regras de qualidade

• Quando o DQ Explorer é usado em combinação com o DQ Monitor, regras precisas podem ser geradas para monitorização da qualidade dos dados numa base permanente.

Analise dos dados e profiling de dados em 3 etapas
O assistente de profile no DQ Explorer faz da analise de dados uma brincadeira de crianças. Links, dependências e analise de chaves podem também ser executadas intuitivamente.

As Vantagens

• O tempo necessário para a analise é reduzido em 90%
• Os riscos dos projectos TI são reduzidos por uma analise eficiente e eficaz antecipadamente
• Uma plataforma integrada de gestão simplifica os processos de analise e de optimização
• Pode finalmente confiar na qualidade dos seus dados
• Escalável - disponível em três versões diferentes, da versão workstation para as analises de projecto de um homem com pequenas quantidades de dados até ao Advance Server para grandes projectos cooperativos de analise com um grande numero de colaboradores e grandes volumes de dados.

Analise de dados eficiente e efectiva
O DQ Explorer da Uniserv é uma ferramenta interactiva de data profiling e um sistema de caracterização comprovado que lhe oferece uma visão precisa e detalhada sobre o estado dos seus dados. Fornece automaticamente extensas informações acerca da Base de Dados, fornecendo uma visão compreensiva dos seus dados. Como resultado, pode reduzir tempo e esforço necessários para a fase de analise dos projectos de qualidade de dados em 70% comparativamente com as abordagens convencionais.

Gestão eficiente dos problemas identificados
Uma vez que tenham sido identificados, os problemas de qualidade de dados ainda têm que ser solucionados. O processo respectivo deve ser gerido, não importa se a limpeza é efectuada usando uma ferramenta de limpeza apropriada, Scripts de SQL no administrador da BD ou por procura e correcção no contexto da aplicação.

O DQ Explorer encaminha este problema através da integração de funções para analise dos dados, a gestão dos problemas identificados, o tracking do projecto assim como gera relatórios de status apontados a um ponto único. Como regra, os outputs da analise dos dados (resultados, avaliações, tarefas de acompanhamento) são ainda por norma guardadas via folhas de calculo, e-mails ou bases de dados ad-hoc. Isto causa uma sobrecarga significante na manipulação dos dados e aumenta o risco que informação chave seja perdida nas "falhas" entre estas ferramentas.

Se usa o DQ Explorer, a sua analise de projecto deixa de necessitar de correr entre um largo numero de conjuntos de ferramentas. O DQ Explorer permite identificar problemas num ponto único, atribuindo os problemas para a pessoa responsável pela solução e monitorizar o progresso conseguido.

Além disso, a opção ímpar de envio de e-mails permite que informe os membros da equipe automaticamente acerca das atribuições ou o status das alterações das tarefas.

Relatórios fáceis de gerar acerca do progresso conseguido nos mais variados níveis, tais como o projecto no geral, sistemas individuais ou outros critérios livremente seleccionáveis, de forma a que possa ter uma capacidade funcional e garantindo que os intervenientes tenham uma visão consistente e actualizada do projecto.

Resultados rápidos
O DQ Explorer da Uniserv é fácil de usar e gera resultados mais rapidamente e mais eficientemente que com as técnicas de analise manual convencionais. Estes dados estão disponíveis para analise assim que forem carregados da base de dados. O interface intuitivo e o escopo da informação fornecida faz do DQ Explorer uma valiosa ferramenta nas mãos de variados grupos tais como analistas de sistemas, administradores de bases de dados e no desenvolvimento de software.

Com o DQ Explorer, pode criar alta transparência dos dados e bases fortes para a tomada de decisões correctas.