Qualidade de Dados / Data Quality

Como se pode ver com ferramentas adequadas não é necessária muita informação para que se consiga obter uma morada normalizada e mais que isso, com código postal de 7 dígitos e caso seja necessário ainda com as coordenadas geográficas anexadas. Tudo isto feito de forma sistematizada e no momento mais importante e crucial de toda a vida dos dados dentro de qualquer companhia: logo na sua criação.

Ainda mais que para estes casos em que as informações são poucas, estas ferramentas servem igualmente para os casos em que há dificuldades na percepção do interlocutor, seja qual for o motivo. Para alem dos erros de percepção quer seja escrita ou de dicção, estes softwares ainda são tolerantes aos erros de digitação.

Tudo isto pode ser comprovado online neste link. Esta é a melhor demonstração que se pode dar na confiança que existe nestas aplicações.

A qualidade da informação é um conceito que tem vindo a mudar ao longo dos anos. A definição de qualidade desde os anos 70 até aos dias de hoje tem vindo a ser alterada.

Se até ao final do século passado, poderíamos considerar uma BD com qualidade, se tivesse normalizada. O que entendo aqui por normalizada? Todas as moradas por exemplo, tinham sempre "R DR XXXXX", ou "AV PROF XXXXXX".

Depois disso a definição de qualidade passou a ir um pouco mais longe e passamos apenas a considerar registos com qualidade, os registos que tivessem com uma morada totalmente correcta, em alguns casos já por extenso, algo como "Rua Doutor Xxxxxxx" ou "Avenida Professor Xxxxxxx". Mais importante, no caso Português, que tivessem também os 7 dígitos do código postal correctos. Infelizmente ainda hoje há muitas BD's que nem isto conseguem ter, existindo inúmeros registos com a terminação em 000 ou 999.

Mas agora a definição de qualidade da informação vai ainda mais longe, sendo que a tudo o que existia anteriormente, ainda temos que acrescentar as coordenadas geográficas e em muitos casos chaves comportamentais.

As necessidades de termos informação de qualidade hoje, não têm comparação com as necessidades que tínhamos há uns anos, nem certamente com as necessidades que teremos num futuro próximo.

As ferramentas Real Time de qualidade de dados funcionam tal como foi já anteriormente referido a todo o momento permitindo assim que os dados estejam sempre actualizados e que a qualquer momento a qualidade dos dados possa ser assegurada de forma a que quando a informação seja necessária ela esteja correcta e actualizada.

Desta forma podemos confiar na informação existente nas nossas BD's evitando assim os picos que surgem nos processos de ETL que vimos anteriormente. Imaginado que o ciclo implementado para os processos de ETL era de um ano, se depois de nove meses de ter sido executado um processo de ETL fosse feita uma contagem, o que iria acontecer era que provavelmente os dados não seriam de todo fiáveis. Com as aplicações a funcionar em Real Time nunca chegamos a ter dados muito incorrectos. Podem haver algumas discrepâncias nos dados, mas será sempre valores residuais.

Este gráfico mostra a diferença entre as metodologias. Se a um dado momento nos for por exemplo pedido uma contagem de residentes numa determinada rua, com as aplicações Real Time em funcionamento não necessitamos de grandes esforços de normalização para conseguirmos dar esses valores porque sabemos que essa rua está sempre escrita da mesma forma e como tal não necessitamos de queries muito complexas para obter um resultado correcto. No exemplo dado anteriormente em que um processo de ETL tenha sido executado nove meses antes, o normal será procurar uma "Rua Principal"; "R Principal"; "R. Principal" e mesmo assim não existe a certeza de termos uma contagem com todos os registos da Rua Principal. Se no lugar da Rua Principal colocarmos uma Avenida Calouste Gulbenkian as hipóteses crescem exponencialmente.

A informação cada vez mais é um bem essencial a todas a empresas e não ter acesso a essa informação rapidamente pode ter consequências catastróficas.

Muito superior ao custo de qualquer projecto de qualidade de dados, é o custo da falta de qualidade de dados. Os custos são os mais variados, desde custos directos a custos indirectos.

Nos custos directos podemos alocar os custos desde logo com a existência de duplicados e com todas as implicações que daí advêm para as companhias. O envio de correio, ou o contacto telefónico em duplicado, triplicado... alem dos custos directos, são também nos custos indirectos, uma vez que são uma má imagem de qualquer companhia. Quantos de nós não recebemos já estes contactos duplicados e sabemos que deixa uma imagem muito má de qualquer empresa. Nos custos directos ainda podemos em muitos casos colocar os custos de tempo para os vendedores para encontrarem uma morada, os custos de distribuição, os custos com as devoluções.

Nos custos indirectos temos essencialmente os custos de imagem que podem vir como anteriormente referidos pela duplicação de comunicação, mas podem ser também por dificuldade no encontrar uma ficha de cliente que quer apresentar uma reclamação porque nem se consegue encontrar a ficha ou porque como existem registos duplicados, foi encontrada uma ficha, mas não era nessa ficha que a queixa tinha anteriormente sido registada. Estes custos são os mais difíceis de contabilizar uma vez que por norma não se consegue saber o motivo que leva um cliente a sair da empresa. Se por insatisfação se por qualquer outro motivo.