Qualidade de Dados / Data Quality

Uma discussão interessante que vai surgindo é o que é mais importante, se a Qualidade dos Dados (Data Quality) ou se Business Inteligence.

Antes de mais considero que a Qualidade de Dados deve existir mesmo sem BI, mas BI não deve existir sem Qualidade de Dados. Se tivermos uma base com dados de qualidade, normalizados, deduplicados, completos e precisos, certamente que com grande facilidade se retira informações pertinentes desses dados, mesmo sem ferramentas de BI. Ao contrario, se tivermos as melhores ferramentas de BI do mundo, mas a base de dados está sem qualidade porque os dados não estão normalizados, existem duplicados, os dados estão incompletos e são pouco precisos, nunca se conseguirá tirar informações válidas dessa informação.

No final e em conclusão não se deve fazer a discussão qual das ferramentas é mais importante, mas pelo contrário o que se deve é somar uma com a outra para que se possa assim ter melhores resultados. As ferramentas de DQ muito úteis, mas apenas em conjunto com as ferramentas de BI se consegue ter os melhores resultados, tal como o inverso também é válido. As ferramentas de Qualidade de Dados podem não ter resultados apresentações tão bonitas para enviar aos quadros superiores das empresas, podem até passar totalmente despercebidas em alguns casos, mas são fundamentais para se conseguir ter os melhores resultados.

Soluções Data Quality da Uniserv para ERP - elevada qualidade dos dados em todas as áreas da empresa

As soluções de Data Quality da Uniserv vai ajudá-lo a desenhar o seu planeamento empresarial e controlar de modo que seja mais flexível, mais transparente e mais confiável. Corrigir os dados de forma consistente e completa no seu sistema ERP para garantir a eficácia, os processos de negócio operacionais e decisões de negócio mais informadas.

Data Quality Batch Suite da Uniserv para ERP: A suite completa de produtos para a verificação em batch de forma totalmente automática e limpeza dos dados de cliente e de fornecedor, material e os dados do produto e para o acompanhamento regras de negócio no seu sistema ERP.

Data Quality Real Time Service para ERP: Para a protecção imediata da sua qualidade de dados ao criar contas de clientes e fornecedores e para fazer a comparação com listas de embargo da UE.

A nossa contribuição para o sucesso do seu ERP: Rápido, tolerante ao erro na pesquisa, o reconhecimento e agrupamento automático de duplicados por nome e morada, validação de dados e complementarização ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ-Real Time Services da Uniserv - a nossa contribuição para o uso eficiente do seu sistema ERP.

O que é necessário para uma integração de dados?

O primeiro passo para que se possa fazer a integração de dados provenientes de diferentes bases de dados, é a normalização dos mesmos para que se possa fazer o segundo passo com maior segurança. Esse segundo passo será a deduplicação, mas antes de passarmos a essa fase, vamos focar um pouco mais na normalização.

Para que serve essa normalização? Essa normalização serve acima de tudo para dar consistência aos dados. Os dados provenientes de fontes diferentes, muitas vezes mesmo de origens totalmente distintas, têm especificidades próprias. Com esta normalização o que se pretende é criar uma uniformização, sempre importante, mas também para que se consiga ter melhores resultados na deduplicação. Existem softwares que permitem ir um pouco mais alem nesta normalização e permitem ainda fazer a validação e correcção dos dados. Com isto temos a certeza que o nomes estão correctos, quer sejam os nomes das pessoas, como os nomes das ruas. É importante que os dados fiquem normalizados, mas também é importante que não se percam dados/informações neste processo.

De seguida e tal como foi referenciado, passamos à fase da deduplicação. Nesta fase, sempre complicada, pode ter sido um pouco facilitada pelo trabalho feito na fase anterior. Se um registo por exemplo tiver um nome como Nantónio Santos, R Prof Dr Zé Ninguem, 14 3 Esquerdo e num outro registos duplicado tivermos António Santos, Rua Professor Doutor José Ninguem, 14 3 Esq as diferenças são muitas e como tal o resultado percentual em termos de deduplicação pode ser inferior ao valor mínimo que foi definido como mínimo para serem considerados como duplicados. Isto seria evitado com um trabalho anterior de normalização/verificação/correcção.

Depois de encontrados os grupos de duplicados, temos ainda a terceira fase de complementarização. Logicamente que entre cada um destes processos tem de haver um trabalho de verificação de resultados. Neste processo pode obrigar-nos a voltar a um nível anterior devido aos erros/problemas que se possam encontrar.

No processo de complementarização o que é feito é agrupar os dados/informações que possam estar espalhados pelos diferentes duplicados, "criando" assim um registo com toda a informação. Imaginemos que temos um registo em que existem os dados do nome, morada e telefone em outro registo para alem destes dados existem ainda os dados do telemóvel e do email. O que se pretende é que no fim se tenha um registo apenas com todas as informações espalhadas pelos diferentes duplicados que possam existir.

No fim deste processo temos uma BD com qualidade, em que temos uma certeza maior não apenas por exemplo do numero dos clientes, coisa que provavelmente muitas empresas em Portugal não conseguem ter a certeza, mas por outro lado uma base de dados que permite dar uma maior confiança em termos da qualidade dos dados. Consegue-se assim também ter uma melhor visão de cada um dos clientes, uma vez que os seus dados estão agregados e desta forma aquilo que se pensava serem dois clientes médios, é afinal um dos melhores clientes da empresa, tudo isto porque se estavam a dar entrada das encomendas em dois registos diferentes.

Se por um lado existem os custos inerentes aos processos de qualidade de dados, por outro temos as reduções de custos que esses processos trazem às empresas.

Se olharmos por exemplo aos custos que as empresas têm devido à existência de duplicados, pode ser um valor demasiado elevado relativamente ao custo de um processo de qualidade de dados. Existem muitos problemas que podem ser evitados com um processo de qualidade. Se for uma empresa que faça envios quer seja de peças de Marketing, quer seja de expedições de encomendas, os custos com os envios, como por exemplo de cartas em duplicado e os custos de devolvidos são muito grandes e muitas vezes nem são contabilizados. Quantos de nós não recebemos já 2 ou 3 cartas do mesmo banco ou seguradora. E se formos acrescentar a este valor possíveis peças de marketing, o valor no final do ano pode ser muito considerável.

Se acrescentar-mos a isso, os devolvidos por falta de normalização ou por erro no código postal, provavelmente numa empresa com alguma interactividade com os seus clientes fará com que muito rapidamente um processo de qualidade de dados seja rentabilizado.

Mas como todos estes valores não são valores muitas vezes contabilizados, é sempre difícil justificar a opção. Muitas vezes os devolvidos vão directamente para um qualquer armazém, porque a campanha para todos os efeitos teve, ou não bons resultados. Por norma o sucesso ou insucesso das campanhas é medido apenas na componente de Marketing a culpa é sempre das peças de criatividade, do produto, de tudo menos da falta de qualidade dos dados, sendo que segundo os especialistas, os dados podem ter cerca de 40% de responsabilidade no sucesso/insucesso de uma campanha.

Por norma o primeiro passo a dar antes de qualquer processo de qualidade de dados é o processo em que se auditam os dados, detectando assim quais os problemas que existem dentro da BD.

Há duas abordagens que podemos ter para a detecção destes problemas, sendo que das primeiras coisas que devemos ter em mente é que quantos mais problemas forem detectados nesta fase, melhor qualidade terá o processo de limpeza dos dados. Como tal temos a abordagem convencional, que implica um esforço de recursos humanos significativo, uma vez que todas as áreas da empresa têm de estar envolvidas, porque existem detalhes que são específicos de cada uma das áreas e dificilmente outras áreas os vão detectar.

A outra abordagem, embora necessite de esforço em termos de recursos humanos, requer muito menos tempo, e consiste na utilização de softwares que façam a detecção de “desvios” dos valores padrão e apenas precisam de verificar esses, não necessitando assim ter passar tanto tempo a verificar a BD.

Este processo é essencial porque apenas assim se evita que alguns dos erros existentes persistam na BD, mesmo depois do processo de limpeza. Quanto mais pormenorizado for este processo de detecção dos erros na BD, melhor será o resultado final em termos de limpeza da BD. Existem outros softwares que fazem a monitorização dos dados depois do processo de limpeza, mas mais uma vez a sua fiabilidade depende em muito do processo de detecção de problemas na BD. Se conseguir detectar todos os erros que deram entrada na BD, mais facilmente se consegue monitorizar e evitar novas entradas.

Tal como prometido aqui fica o post dedicado à validação dos dados.

É uma parte fundamental da qualidade de dados. Há duas possibilidades de fazer a validação dos dados que é online ou off-line. Logicamente que o modo online é o melhor método para executar, por exemplo a validação postal. Imaginemos que alguém liga para a empresa e diz que é de Vila Real e não sabe o código postal. Pode dar-se o caso de o interlocutor por parte da empresa, não se lembrar de perguntar se é Vila Real de Trás os Montes ou Vila Real de Santo António. Este registo só por sorte virá a ficar corrigido. E se existisse na empresa um software que, funcionando em background ajudasse o utilizador a resolver este problema? Assim os dados quando entrassem em BD já estariam normalizados.

Se este problema passar para o modo de tratamento em massa (batch), tarde ou nunca será resolvido. A menos que haja um contacto com a pessoa para dissipar a dúvida, o software (modo batch), não escolhe um deles. Estes e muitos outros problemas apenas podem ser resolvidos no imediato e com uma ferramenta que trabalhe juntamente com a pessoa que estiver a colocar/alterar os registos na BD. E tal como foi dito num dos post’s iniciais, este processo de qualidade de dados, não só tem de envolver todos na empresa, como todos são responsáveis por essa qualidade de dados. Se tiverem uma aplicação que os possa ajudar, então mais facilmente conseguem fazer o seu trabalho e com maior qualidade, mas igualmente em caso de erro, se lhes pode exigir uma maior responsabilidade.

No video que se segue podem ver como funcionam as ferramentas de qualidade de dados. Neste caso, podemos ver a versão integrada em SAP(R), em que a Uniserv foi a primeira empresa a nível mundial a receber esta certificação SAP(R). Para além desta versão, estão disponíveis módulos de integração para as mais diferentes configurações, desde o mainframe a módulos de cliente nos mais variados sistemas operativos.

Um dos primeiros processos necessários para termos qualidade de dados é a Limpeza dos dados (Data Cleansing). Consiste essencialmente na detecção e correcção (ou remoção) de registos que estejam incompletos, incorrectos, sejam irrelevantes, que estejam corrompidos ou imprecisos. Outro dos termos que se podem igualmente aqui aplicar é validação dos dados (Data validation). Embora possam e devam ser usados em conjunto, na maior parte dos casos a validação dos dados é pouco ou nem sequer é usado. Isto apenas faz aumentar os custos de limpeza de dados, uma vez que se os dados forem validados logo na sua entrada é muito mais simples, barato e fiável, que posteriormente normalmente num processo batch.

Voltando ao processo de limpeza, mais tarde iremos falar no processo de validação, é um processo que deve envolver a remoção de erros que são comuns, como por exemplo, erros de digitação, fonéticos e outros que possam ocorrer aquando da inserção dos dados em BD. Isto sempre feito comparando os registos contra tabelas de referência, ou através da delimitação de valores, ou com métodos estatísticos, ou outros processos que validem esses dados. Esta validação pode ser mais ou menos restritiva, invalidado por exemplo registos que não tenham código postal.

Numa fase posterior temos a remoção de duplicados das BD’s que é outro dos processos fundamentais na limpeza de dados. Esta parte é das partes mais sensíveis uma vez que não existe uma “receita” que sirva todas as BD’s. Todas as BD’s são únicas e como tal o processo de parametrização tem sempre de ser igualmente único. É um processo muito sensível, porque podemos estar a deixar muitos duplicados por encontrar, ou por outro lado podemos estar a dar como duplicados registos que não são de todo duplicados. Esta afinação é dos processos mais morosos e que requer mais conhecimentos em todo o processo de limpeza de dados. Mais uma vez, tudo isto se simplifica quando esta remoção de duplicados é feita aquando da introdução dos dados na BD. Prevenir é sempre melhor que remediar.
Depois de assinalados os duplicados há um processo muitíssimo importante que é o processo de complementarização. Consiste na “associação” de todos os campos, segundo regras pré estabelecidas, a um único registo. Imaginemos que temos 5 duplicados de um dado registo e que apenas em um deles temos o número de telemóvel. Esse dado não pode ser pedido, temos de ter forma de o poder colocar no registo master, que no final do processo irá ter TODAS as informações dispersas por todos os registos duplicados.

Depois de cada um destes processos há sempre um outro que tem de decorrer em paralelo que é o processo de verificação da consistência dos dados. Este processo de verificação é de extrema importância para que não se percam dados em nenhuma das fases deste processo.