Qualidade de Dados / Data Quality

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se  com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos.  Ou seja, há ferramentas  disponíveis  para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma  consciencialização  que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato. 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido.

Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja:
- 15% de duplicados
- 5% de moradas em falta e
- 20% de moradas incorrectas.

Tendo como base um o custo de 0,25€ por cada peça enviada e um custo de envio de 0,25€, nestes 400.000 registos que são enviados "indevidamente", existe um custo total de 200.000€ por cada envio. Se nestes conseguirmos uma redução de 25% (presumivelmente, valor fácil de atingir) teremos uma redução de custos de 50.000€. Mas se tomarmos em consideração que com o tratamento de moradas, conseguimos assinalar as moradas que podem não estar totalmente correctas, poderemos ainda ter reduções mais significativas.

Como se pode ver pelos valores da taxa de leitura automática para descontos nos CTT os valores "normais" rondam os 60 e os 70%. Dos 70% para cima já é considerado um valor bom, tendo já direito ao desconto máximo, no caso em análise estamos com um erro de moradas a rondar os 25% ou seja já com o desconto máximo logo à partida. Mas em muitos casos certamente que não é esta a realidade, sendo possível aqui ter uma poupança considerável porque o desconto é de 1% entre os 60 e os 70% e de 3% acima dos 70%.

Relembrar apenas que o valor que considerei está longe dos 0,47€ que custa o envio de uma peça em formato normalizado até 20g. Seria necessário um desconto de quase 50%.

Juntando estes valores com os valores anteriores e a questão que fica é apenas porque é que a qualidade dos dados continua em muitos casos a ser negligenciada.

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei").

Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção da qualidade dos dados, mas a "doença" continua activa e a minar todos os dados novos e os existentes, durante o dia a dia.

Em alguns tratamentos temos a possibilidade de através de um processo de ETL, colocar os códigos postais actualizados, mas os que sejam inseridos nos dias seguintes a esse processo de ETL? Têm de esperar um ano, ou mesmo em alguns casos mais tempo para que possam ser validades e/ou corrigidos. O mesmo se passa relativamente aos duplicados. Existem muitos duplicados em BD, faz-se um processo de qualidade de dados com uma deduplicação, mas no dia seguinte aparece um novo registo e como não existe forma de automaticamente ter acesso a uma lista de possíveis duplicados, são criados novos registos e o Single View of Customer é apenas uma miragem.

As ferramentas online são por isso essenciais para resolver a doença, porque trabalham lado a lado com todos os intervenientes, a todo o momento na inserção/alteração de dados, impedindo assim validar e corrigir quando necessário todos os dados.

Muitas vezes é colocada a questão "Como posso medir a qualidade dos dados?"

Logo à partida a qualidade de dados não pode ser medida numa só dimensão, porque é multidimensional, existem inúmeras métricas que devem ser contempladas.

Se por um lado temos a validade dos dados, por outro temos a completude dos dados ou até mesmo a consistência desses dados entre outros aspectos.

Depois temos outro factor que entra na equação. Se tivemos a falar de moradas poderemos dizer que todos os registos têm os 7 dígitos do código postal, ou seja, supostamente existe 100% de completude nos códigos postais, mas quantos são válidos? Quantos são consistentes? Olhando muitas vezes para os dados, sem ser sequer necessário o recurso a qualquer aplicação, notamos que uma boa parte deles terminam em 000, ou mesmo em 999. Quando estes dois já foram "proibidos", detectamos uma grande numero de ocorrências de registos terminados em 001. Ou seja numa dimensão (completude) até temos valores bastante bons, mas se formos ver em termos de validade e consistência dos dados, a realidade é um pouco diferente. Se juntarmos a isto a consistência entre as ruas e as localidade indicadas, os valores finais relativos ao address management, vão ficar bem abaixo dos 100%.

Mas depois temos ainda os valores relativos aos nomes, aos duplicados entre muitos outros factores. Quantos nomes existem que não estão correctos? Quantos nomes existem que não têm sexo atribuído? Quantos registos existem que devido a algum dos erros anteriormente referidos não estão identificados como duplicados?

Pode haver algum numero final que diga qual a percentagem de qualidade de dados? Dificilmente esse numero será um numero aceitável, porque o que pode e deve existir é uma métrica para cada uma das dimensões a cada um dos factores.

Como conclusão, sim pode ser medido em percentagem o valor de cada uma das dimensões.