Qualidade de Dados / Data Quality

Tal como prometido aqui fica o post dedicado à validação dos dados.

É uma parte fundamental da qualidade de dados. Há duas possibilidades de fazer a validação dos dados que é online ou off-line. Logicamente que o modo online é o melhor método para executar, por exemplo a validação postal. Imaginemos que alguém liga para a empresa e diz que é de Vila Real e não sabe o código postal. Pode dar-se o caso de o interlocutor por parte da empresa, não se lembrar de perguntar se é Vila Real de Trás os Montes ou Vila Real de Santo António. Este registo só por sorte virá a ficar corrigido. E se existisse na empresa um software que, funcionando em background ajudasse o utilizador a resolver este problema? Assim os dados quando entrassem em BD já estariam normalizados.

Se este problema passar para o modo de tratamento em massa (batch), tarde ou nunca será resolvido. A menos que haja um contacto com a pessoa para dissipar a dúvida, o software (modo batch), não escolhe um deles. Estes e muitos outros problemas apenas podem ser resolvidos no imediato e com uma ferramenta que trabalhe juntamente com a pessoa que estiver a colocar/alterar os registos na BD. E tal como foi dito num dos post’s iniciais, este processo de qualidade de dados, não só tem de envolver todos na empresa, como todos são responsáveis por essa qualidade de dados. Se tiverem uma aplicação que os possa ajudar, então mais facilmente conseguem fazer o seu trabalho e com maior qualidade, mas igualmente em caso de erro, se lhes pode exigir uma maior responsabilidade.

Para terem uma noção das capacidades do software em termos de tolerância ao erro na página que está no link podem fazer testes com moradas, dando erros de escrita, trocando letras, erros fonéticos, enfim tudo aquilo que sabemos que acontece no dia-a-dia de qualquer empresa, nas inserções de moradas.

http://datalab.pt/index.php/demos2

Como exemplo aqui ficam algumas imagens de normalizações.

Estas são versões muito concisas, porque para alem da normalização podemos ainda ter os dados do Distrito, Concelho e Freguesia e/ou DDCCFF os códigos do INE. Outra possibilidade é a alocação das coordenadas geográficas.

No video que se segue podem ver como funcionam as ferramentas de qualidade de dados. Neste caso, podemos ver a versão integrada em SAP(R), em que a Uniserv foi a primeira empresa a nível mundial a receber esta certificação SAP(R). Para além desta versão, estão disponíveis módulos de integração para as mais diferentes configurações, desde o mainframe a módulos de cliente nos mais variados sistemas operativos.

Um dos primeiros processos necessários para termos qualidade de dados é a Limpeza dos dados (Data Cleansing). Consiste essencialmente na detecção e correcção (ou remoção) de registos que estejam incompletos, incorrectos, sejam irrelevantes, que estejam corrompidos ou imprecisos. Outro dos termos que se podem igualmente aqui aplicar é validação dos dados (Data validation). Embora possam e devam ser usados em conjunto, na maior parte dos casos a validação dos dados é pouco ou nem sequer é usado. Isto apenas faz aumentar os custos de limpeza de dados, uma vez que se os dados forem validados logo na sua entrada é muito mais simples, barato e fiável, que posteriormente normalmente num processo batch.

Voltando ao processo de limpeza, mais tarde iremos falar no processo de validação, é um processo que deve envolver a remoção de erros que são comuns, como por exemplo, erros de digitação, fonéticos e outros que possam ocorrer aquando da inserção dos dados em BD. Isto sempre feito comparando os registos contra tabelas de referência, ou através da delimitação de valores, ou com métodos estatísticos, ou outros processos que validem esses dados. Esta validação pode ser mais ou menos restritiva, invalidado por exemplo registos que não tenham código postal.

Numa fase posterior temos a remoção de duplicados das BD’s que é outro dos processos fundamentais na limpeza de dados. Esta parte é das partes mais sensíveis uma vez que não existe uma “receita” que sirva todas as BD’s. Todas as BD’s são únicas e como tal o processo de parametrização tem sempre de ser igualmente único. É um processo muito sensível, porque podemos estar a deixar muitos duplicados por encontrar, ou por outro lado podemos estar a dar como duplicados registos que não são de todo duplicados. Esta afinação é dos processos mais morosos e que requer mais conhecimentos em todo o processo de limpeza de dados. Mais uma vez, tudo isto se simplifica quando esta remoção de duplicados é feita aquando da introdução dos dados na BD. Prevenir é sempre melhor que remediar.
Depois de assinalados os duplicados há um processo muitíssimo importante que é o processo de complementarização. Consiste na “associação” de todos os campos, segundo regras pré estabelecidas, a um único registo. Imaginemos que temos 5 duplicados de um dado registo e que apenas em um deles temos o número de telemóvel. Esse dado não pode ser pedido, temos de ter forma de o poder colocar no registo master, que no final do processo irá ter TODAS as informações dispersas por todos os registos duplicados.

Depois de cada um destes processos há sempre um outro que tem de decorrer em paralelo que é o processo de verificação da consistência dos dados. Este processo de verificação é de extrema importância para que não se percam dados em nenhuma das fases deste processo.

Perfeição não existe na qualidade dos dados. Este é o princípio que temos de nos capacitar antes de tudo. Não existe 100% de qualidade de dados porque todos os dias, há alterações nos dados, quer seja por mudanças de morada por parte de clientes/potenciais clientes, quer seja porque a rua foi renomeada, quer seja porque passou de Lote a número de polícia definitivo, e tantos outros factores que podem fazer com que os dados deixem de ser dados válidos.

Quanto menos lixo entrar na sua base de dados melhor, especialmente nos dias de hoje em que existem ferramentas que impedem entrada de dados “sujos” fazendo a limpeza, normalizando e corrigindo os dados ainda antes de entrarem na BD, sempre que isso seja possível, ou assinalar aqueles que não tendo possibilidades de serem corrigidos automaticamente, suscitem dúvidas relativamente à sua validade.

Prevenir é bem melhor que remediar. É muito mais vantajoso e eficiente manter uma base de dados normalizada, e sem duplicados no dia-a-dia, do que anualmente fazer a extracção de TODOS os dados para que se execute um processo de qualidade de dados, para depois voltar a fazer a reintegração dos dados com todos os custos que esse processo envolve. Custos não apenas monetários elevados, mas custos em termos da operação em si, que necessita de um cuidado extremo, para que não se reponham dados que entretanto foram alterados.

Por tudo isto a qualidade dos dados é uma coisa que é partilhada pelo marketing, apoio, vendas e quase todos dentro da empresa. Todos são responsaveis pela qualidade dos dados da empres e a todos se deve pedir responsabilidades, mas tem de haver alguém responsável final pela qualidade de dados dentro da empresa e quanto mais acima estiver na pirâmide organizacional da empresa, melhor. Porque esse, por sua vez, tem de ir pedir responsabilidades a quem esteja a falhar.

Bem-vindos. Vou tentar mostrar porque a Qualidade dos dados é tão importante nos dias que correm, especialmente em Portugal onde nunca houve a mínima atenção a este problema, excepto em algumas honrosas excepções.

Iniciamos esta viagem no passado, quando as empresas descobriram coisas como o CRM, Data Mining e muitos outros conceitos em que investiram milhões e daí retiraram... tostões.

E aconteceu porquê? Faltava-lhes as fundações, o essencial para que todos estes projectos possam pelo menos ter hipóteses de terem sucesso. QUALIDADE DE DADOS.

Sem uma base de dados normalizada e sem duplicados é impossível que qualquer destes projectos tenha o mínimo de hipóteses de ter sucesso. Isto ainda se torna mais complicado quando existem vários repositórios de dados que fazem com que os dados estejam dispersos por várias bases de dados e em vários sistemas. Desta forma nunca vão ter uma visão única e unívoca de cada um dos seus clientes ou potenciais clientes. Quantos de nós já recebemos cartas duplicadas de uma instituição a fazer publicidade a um mesmo produto, ou por outro lado fizemos um pedido de informação e a resposta nunca chegou.

Tudo isto se deve a estes problemas de qualidade de dados. Ainda recentemente nas eleições europeias, houve um “escândalo” de bradar aos céus na Dinamarca, em que os eleitores receberam indicações para irem votar em moradas incorrectas, outros para irem para outros locais de votação que não os deles, outros ainda tinham dois locais diferentes para irem votar, outros nem sequer receberam indicações onde se deveriam dirigir para votar. Tudo isto devido à inexistência de qualidade de dados. E nem sequer estamos a falar de um qualquer país subdesenvolvido ou de terceiro mundo.

Por este exemplo e por muitos outros que todos encontramos no nosso dia a dia podemos ver a importância da qualidade de dados.