Qualidade de Dados / Data Quality

Para que se possa ter uma boa qualidade de dados é necessário em muitos casos fazer uma limpeza regular a esses dados. Se por um lado existem campos que facilmente conseguimos verificar a sua validade e qualidade, outros há em que é quase impossível tal tarefa.

Iniciando pelos nomes temos um bom exemplo da simplicidade e da dificuldade na limpeza dos dados. Em termos gerais tanto o nome, como o campo sexo são facilmente verificáveis, validados e corrigidos se necessário. Existem listas de referência com os nomes e com os respectivos sexos, fazendo o cruzamento entre estas listas de referência e os dados existentes e temos o tratamento executado. Depois temos as excepções. Desde nomes que simplesmente estão escritos de uma forma tão distorcida que impede a sua correcção, as abreviaturas não standartizadas, até nomes totalmente estranhos, não sendo necessário sequer dar como exemplo as famosas filhas de um casal do nosso burgo. Estes casos são os que têm se ser validados manualmente. Felizmente que estes casos são sempre casos residuais e por vezes nem sequer existem.

Depois temos os valores que derivam de regras existentes e que os utilizadores acabam por tornear inserindo outros valores, como nos 3 últimos dígitos do código postal serem em muitos casos "999", porque anteriormente já tinha sido impossibilitada a inserção do "000". Ou então no numero de porta porque é um campo que tem obrigatoriedade de preenchimento e como já se colocou a morada completa no campo do arruamento, voltam a colocar um valor no campo numero de porta. No final temos como resultado registos como:

Embora sejam problemas resolúveis é sempre arriscado simplesmente retirar o 9999, porque pode haver casos em que o 9999 é realmente o numero de porta.

No próximo post passamos à fase de deduplicaçaão.

Uma das grandes dificuldades das empresas é a integração de dados por haver diferentes integrações de dados, especificas para cada uma das empresas.

Um exemplo simples são os receios que existem aquando da transferência de dados entre sistemas e em eventuais alterações que possa haver nos dados. Essa transferência poderá esmagar alguma alteração que tenha sido efectuada no sistema de destino. Com o software de deduplicação isso pode ser facilmente evitado, criando inclusive níveis de alerta, conforme as diferenças entre os sistemas.

Conforme esses níveis de alerta são criados diferentes tratamentos para os dados. Esta abordagem permite facilitar e acima de tudo assegurar que os processos automatizados de transferência de dados entres sistemas são fiáveis e confiáveis, permitindo igualmente a automatização de praticamente todos os processos.

Por outro lado, caso existam chaves que tenham de ser criadas antes do processo de integração é assim igualmente possível a criação automática dessas chaves permitindo a sua criação previamente ao processo de integração, impedindo assim que haja problemas. Existe ainda a possibilidade de complementarização de registos, caso seja necessária dentro desse processo de integração de dados, que mais uma vez estas aplicações ajudam a simplificar.

A criação de trabalhos pré-definidos com horários de arranque e com encadeamento de acções, permite automatizar totalmente a integração de dados.

Nos dias que correm a qualidade dos dados está cada vez mais presente, porque quando as coisas correm bem, não se olha muito para o que corre menos bem, as coisas continuam o seu rumo sem qualquer problema. O pior é quando em fases como a que infelizmente estamos a enfrentar e qualquer pequena dificuldade que até aqui era considerada um pequeno incidente, passa a ter um impacto maior.

Explicando um pouco melhor, se até uma morada errada que gerava um devolvido era considerado um "incidente", agora alguns desses devolvidos são cartas que infelizmente "informam" o incumprimento de alguns clientes e se essa carta é devolvida, significa que a pessoa não foi notificada da sua "falta". Ou seja, se até aqui o que foi devolvido foi uma carta informativa, que tem um custo, mas que era negligenciado, a mesma devolução agora toma uma outra dimensão.

Pior ainda quando estamos a falar não da devolução de uma carta, mas da devolução de 10.000 ou de 100.000 cartas. Algumas empresas estão neste momento a perceber que existem moradas falsas e que não se consegue contactar aqueles clientes. E como agora tudo conta até o custo da devolução dessas cartas é valorizado. Muito rapidamente existe um ROI positivo de ferramentas de address management.

Torna-se por isso importantíssimo, urgente mesmo, a validação das moradas, dos duplicados e de outras acções de qualidade de dados que até agora tinham sido negligenciadas. Mais do que acções pontuais de qualidade de dados é necessário que seja feita a integração de soluções que melhorem, não apenas os dados, mas que impeçam a entrada de "lixo" para o sistema. Quando falo em "lixo" falo em moradas incorrectas ou inválidas, falo em registos duplicados, falo em registos que são erradamente atribuídos por troca de id's e com a não validação do resto da informação.