Qualidade de Dados / Data Quality

A qualidade dos dados: um aumento de desempenho para sua empresa
Os dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.

Pode contar com seus dados e com as suas fontes?
Processos de negócios bem sucedidos são baseados em dados de alta qualidade!
Pergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta "frequente" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.

Ciclo de controle de qualidade de dados ou ...
... como é que a qualidade dos dados é permanentemente garantida a longo prazo?
Modelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação.
Para efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:
- Balanço e análise da situação actual da base de dados
- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados
- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo
- Medidas para a optimização da qualidade
- Contínuo acompanhamento e controlo da qualidade dos dados

Como resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.

Ainda dentro da remoção/alocação de duplicados, falada no post Limpeza de dados, existe muito mais que dizer. São inúmeras as formas de encontrar duplicados, sendo a mais comum por indivíduo. Mas podemos encontrar duplicados, não apenas por indivíduo, mas por domicílio (household), por edificação, por família, e muitos outras formas que sejam interessantes para os fins pretendidos, isto quando estamos a falar de bases de dados B2C (business to consumer). Se formos para as BD’s B2B (business to business) podemos detectar duplicados por empresa, por departamento, enfim um sem número de possibilidades.

Por norma estes softwares o que fazem é a criação de chaves que devem ficar guardadas em BD para serem usadas sempre que necessárias. Por exemplo já fizemos a deduplicação para encontrar os duplicados por domicílio, e vamos ter uma acção de Marketing na empresa que vai envolver uma peça que é extremamente cara, como tal, apenas queremos enviar uma peça para cada domicílio, para que os custos não sejam tão elevados. Indo buscar a chave que está guardada em BD, permite o envio apenas para um dos indivíduos desse domicílio, sendo que a escolha de para qual vai ser feito o envio pode ser efectuada com a ajuda por exemplo da data de nascimento. Vamos apenas enviar para o mais velho.

Esta e muitas outras possibilidades são assim facilmente executadas, sem necessidade de ter preocupações extremas antes de cada campanha.

Por norma o primeiro passo a dar antes de qualquer processo de qualidade de dados é o processo em que se auditam os dados, detectando assim quais os problemas que existem dentro da BD.

Há duas abordagens que podemos ter para a detecção destes problemas, sendo que das primeiras coisas que devemos ter em mente é que quantos mais problemas forem detectados nesta fase, melhor qualidade terá o processo de limpeza dos dados. Como tal temos a abordagem convencional, que implica um esforço de recursos humanos significativo, uma vez que todas as áreas da empresa têm de estar envolvidas, porque existem detalhes que são específicos de cada uma das áreas e dificilmente outras áreas os vão detectar.

A outra abordagem, embora necessite de esforço em termos de recursos humanos, requer muito menos tempo, e consiste na utilização de softwares que façam a detecção de “desvios” dos valores padrão e apenas precisam de verificar esses, não necessitando assim ter passar tanto tempo a verificar a BD.

Este processo é essencial porque apenas assim se evita que alguns dos erros existentes persistam na BD, mesmo depois do processo de limpeza. Quanto mais pormenorizado for este processo de detecção dos erros na BD, melhor será o resultado final em termos de limpeza da BD. Existem outros softwares que fazem a monitorização dos dados depois do processo de limpeza, mas mais uma vez a sua fiabilidade depende em muito do processo de detecção de problemas na BD. Se conseguir detectar todos os erros que deram entrada na BD, mais facilmente se consegue monitorizar e evitar novas entradas.

No video que se segue podem ver como funcionam as ferramentas de qualidade de dados. Neste caso, podemos ver a versão integrada em SAP(R), em que a Uniserv foi a primeira empresa a nível mundial a receber esta certificação SAP(R). Para além desta versão, estão disponíveis módulos de integração para as mais diferentes configurações, desde o mainframe a módulos de cliente nos mais variados sistemas operativos.

Um dos primeiros processos necessários para termos qualidade de dados é a Limpeza dos dados (Data Cleansing). Consiste essencialmente na detecção e correcção (ou remoção) de registos que estejam incompletos, incorrectos, sejam irrelevantes, que estejam corrompidos ou imprecisos. Outro dos termos que se podem igualmente aqui aplicar é validação dos dados (Data validation). Embora possam e devam ser usados em conjunto, na maior parte dos casos a validação dos dados é pouco ou nem sequer é usado. Isto apenas faz aumentar os custos de limpeza de dados, uma vez que se os dados forem validados logo na sua entrada é muito mais simples, barato e fiável, que posteriormente normalmente num processo batch.

Voltando ao processo de limpeza, mais tarde iremos falar no processo de validação, é um processo que deve envolver a remoção de erros que são comuns, como por exemplo, erros de digitação, fonéticos e outros que possam ocorrer aquando da inserção dos dados em BD. Isto sempre feito comparando os registos contra tabelas de referência, ou através da delimitação de valores, ou com métodos estatísticos, ou outros processos que validem esses dados. Esta validação pode ser mais ou menos restritiva, invalidado por exemplo registos que não tenham código postal.

Numa fase posterior temos a remoção de duplicados das BD’s que é outro dos processos fundamentais na limpeza de dados. Esta parte é das partes mais sensíveis uma vez que não existe uma “receita” que sirva todas as BD’s. Todas as BD’s são únicas e como tal o processo de parametrização tem sempre de ser igualmente único. É um processo muito sensível, porque podemos estar a deixar muitos duplicados por encontrar, ou por outro lado podemos estar a dar como duplicados registos que não são de todo duplicados. Esta afinação é dos processos mais morosos e que requer mais conhecimentos em todo o processo de limpeza de dados. Mais uma vez, tudo isto se simplifica quando esta remoção de duplicados é feita aquando da introdução dos dados na BD. Prevenir é sempre melhor que remediar.
Depois de assinalados os duplicados há um processo muitíssimo importante que é o processo de complementarização. Consiste na “associação” de todos os campos, segundo regras pré estabelecidas, a um único registo. Imaginemos que temos 5 duplicados de um dado registo e que apenas em um deles temos o número de telemóvel. Esse dado não pode ser pedido, temos de ter forma de o poder colocar no registo master, que no final do processo irá ter TODAS as informações dispersas por todos os registos duplicados.

Depois de cada um destes processos há sempre um outro que tem de decorrer em paralelo que é o processo de verificação da consistência dos dados. Este processo de verificação é de extrema importância para que não se percam dados em nenhuma das fases deste processo.

Perfeição não existe na qualidade dos dados. Este é o princípio que temos de nos capacitar antes de tudo. Não existe 100% de qualidade de dados porque todos os dias, há alterações nos dados, quer seja por mudanças de morada por parte de clientes/potenciais clientes, quer seja porque a rua foi renomeada, quer seja porque passou de Lote a número de polícia definitivo, e tantos outros factores que podem fazer com que os dados deixem de ser dados válidos.

Quanto menos lixo entrar na sua base de dados melhor, especialmente nos dias de hoje em que existem ferramentas que impedem entrada de dados “sujos” fazendo a limpeza, normalizando e corrigindo os dados ainda antes de entrarem na BD, sempre que isso seja possível, ou assinalar aqueles que não tendo possibilidades de serem corrigidos automaticamente, suscitem dúvidas relativamente à sua validade.

Prevenir é bem melhor que remediar. É muito mais vantajoso e eficiente manter uma base de dados normalizada, e sem duplicados no dia-a-dia, do que anualmente fazer a extracção de TODOS os dados para que se execute um processo de qualidade de dados, para depois voltar a fazer a reintegração dos dados com todos os custos que esse processo envolve. Custos não apenas monetários elevados, mas custos em termos da operação em si, que necessita de um cuidado extremo, para que não se reponham dados que entretanto foram alterados.

Por tudo isto a qualidade dos dados é uma coisa que é partilhada pelo marketing, apoio, vendas e quase todos dentro da empresa. Todos são responsaveis pela qualidade dos dados da empres e a todos se deve pedir responsabilidades, mas tem de haver alguém responsável final pela qualidade de dados dentro da empresa e quanto mais acima estiver na pirâmide organizacional da empresa, melhor. Porque esse, por sua vez, tem de ir pedir responsabilidades a quem esteja a falhar.

Bem-vindos. Vou tentar mostrar porque a Qualidade dos dados é tão importante nos dias que correm, especialmente em Portugal onde nunca houve a mínima atenção a este problema, excepto em algumas honrosas excepções.

Iniciamos esta viagem no passado, quando as empresas descobriram coisas como o CRM, Data Mining e muitos outros conceitos em que investiram milhões e daí retiraram... tostões.

E aconteceu porquê? Faltava-lhes as fundações, o essencial para que todos estes projectos possam pelo menos ter hipóteses de terem sucesso. QUALIDADE DE DADOS.

Sem uma base de dados normalizada e sem duplicados é impossível que qualquer destes projectos tenha o mínimo de hipóteses de ter sucesso. Isto ainda se torna mais complicado quando existem vários repositórios de dados que fazem com que os dados estejam dispersos por várias bases de dados e em vários sistemas. Desta forma nunca vão ter uma visão única e unívoca de cada um dos seus clientes ou potenciais clientes. Quantos de nós já recebemos cartas duplicadas de uma instituição a fazer publicidade a um mesmo produto, ou por outro lado fizemos um pedido de informação e a resposta nunca chegou.

Tudo isto se deve a estes problemas de qualidade de dados. Ainda recentemente nas eleições europeias, houve um “escândalo” de bradar aos céus na Dinamarca, em que os eleitores receberam indicações para irem votar em moradas incorrectas, outros para irem para outros locais de votação que não os deles, outros ainda tinham dois locais diferentes para irem votar, outros nem sequer receberam indicações onde se deveriam dirigir para votar. Tudo isto devido à inexistência de qualidade de dados. E nem sequer estamos a falar de um qualquer país subdesenvolvido ou de terceiro mundo.

Por este exemplo e por muitos outros que todos encontramos no nosso dia a dia podemos ver a importância da qualidade de dados.