Qualidade de Dados / Data Quality

A qualidade da informação é um conceito que tem vindo a mudar ao longo dos anos. A definição de qualidade desde os anos 70 até aos dias de hoje tem vindo a ser alterada.

Se até ao final do século passado, poderíamos considerar uma BD com qualidade, se tivesse normalizada. O que entendo aqui por normalizada? Todas as moradas por exemplo, tinham sempre "R DR XXXXX", ou "AV PROF XXXXXX".

Depois disso a definição de qualidade passou a ir um pouco mais longe e passamos apenas a considerar registos com qualidade, os registos que tivessem com uma morada totalmente correcta, em alguns casos já por extenso, algo como "Rua Doutor Xxxxxxx" ou "Avenida Professor Xxxxxxx". Mais importante, no caso Português, que tivessem também os 7 dígitos do código postal correctos. Infelizmente ainda hoje há muitas BD's que nem isto conseguem ter, existindo inúmeros registos com a terminação em 000 ou 999.

Mas agora a definição de qualidade da informação vai ainda mais longe, sendo que a tudo o que existia anteriormente, ainda temos que acrescentar as coordenadas geográficas e em muitos casos chaves comportamentais.

As necessidades de termos informação de qualidade hoje, não têm comparação com as necessidades que tínhamos há uns anos, nem certamente com as necessidades que teremos num futuro próximo.

O que vamos fornecer no final aos nossos colaboradores? O que vão ganhar com isto?

O que se vai executar numa fase inicial será a normalização/deduplicação de todos os dados para que os dados passem a ter consistência. Enquanto este processo se desenvolve deverá ser instalado um sistema online que faça a normalização e deduplicação aquando da inserção dos registos para que estes se mantenham sempre com qualidade. Esta abordagem é uma abordagem que não é muito comum no mercado, embora seja a mais avançada. Tem como base ferramentas hi-tec, e que não estão muito divulgadas no nosso mercado. Com estas ferramentas os colaboradores vão ter do seu lado ferramentas que os ajudam no seu dia a dia.

Quantos de nós não tivemos de pedir ao nosso interlocutor para repetir uma morada, porque simplesmente não estávamos a conseguir entender o que estava a ser dito. Com estas ferramentas que aqui podem ser testadas, isso deixa de ser um problema.

Com isto os nossos colaboradores ganham tempo, ganham em imagem, porque se no final ainda conseguirem dizer ao utilizador por exemplo o seu CP7, isso mostra profissionalismo.

Ganham igualmente se tiverem o modulo de georeferenciação, quando tiverem de ir para a rua e não necessitarem de andar a perguntar onde fica a rua, uma vez que já levam as coordenadas geográficas no GPS, ou antes de saírem já viram como chegar ao destino.

O procedimento tradicional nestes casos, consiste em executar processo de qualidade de dados (normalização e deduplicação) e passados uns meses, voltar a correr esse processo. Este “ciclo” tem como desvantagens os custos que ficam associados, a deterioração dos dados ao longo do tempo até à normalização seguinte.