Qualidade de Dados / Data Quality

É sem dúvida um dos grandes temas do momento e como tal vamos falar um pouco da qualidade de dados na nuvem. É possível? Existem casos de sucesso?

Para ambas as perguntas a resposta é afirmativa. Falando de Address Management e Deduplicação, que são os meus temas de eleição, há vários casos de sucesso em inúmeras plataformas igualmente na nuvem, como por exemplo o salesforce.com, update.seven, Talend mas igualmente em outras plataformas, mas recorrendo aos serviços na nuvem, como MS Dynamics CRM, Oracle Siebel CRM, SAP Business Suite entre muitos outros.

Segundo as previsões da Gartner em 2015, 10% dos pacotes de implementações MDM serão entregues em forma de SaaS na nuvem.

A passagem das plataformas empresariais para a nuvem, conjuntamente com um mercado laboral onde cada vez é mais complicado encontrar / manter um staf que não dê muitos erros nas inserções de moradas e / ou nomes inseridos, as aplicações de normalização / correcção / verificação / deduplicação de nomes e moradas são cada vez mais essenciais. O mesmo se passa em termos de e-commerce onde moradas mal escritas, com erros de grafia, com erros fonéticos são cada vez mais comuns e pode originar devoluções ou atrasos nas entregas com todos os custos financeiros e de imagem que tal pode acarretar.

Um dos pontos fundamentais para conseguir atingir uma qualidade de dados de bom nível é a identificação dos pontos de origem dos fluxos de dados errados dentro da organização. Durante anos as empresas foram aglutinando um numero elevadíssimo de registos defeituosos, inválidos ou incompletos, porque não existe uma real capacidade de verificação das informações. Como tal grandes quantidades de dados errados, imprecisos, redundantes foram-se acumulando até que em muitos casos o que existe é um conjunto incontrolável de bases de dados fragmentadas e com um enorme volume.

Em cima deste pântano, foram colocadas ferramentas de CRM, ERP, BI e como tal, em muitos casos os resultados dessas ferramentas ficaram aquém do esperado.

A criação de métricas de qualidade de dados é apenas um meio para melhorar a qualidade dos dados. A existência de processos de monitorização, a definição de metas é vital para o incremento da qualidade dos dados. A existência de ferramentas de qualidade de dados que ajudem logo no input dos dados, que ajudem na prevenção de entrada de dados errados no sistema, é sem duvida fundamental para que se possa melhorar a qualidade dos dados obtendo dessa forma reduções nos custos, no esforço e tempo gasto. Com isso podemos ter economias de escala, obtendo igualmente melhores resultados nos CRM´s, ERP´s e BI's, maximizando ainda os lucros que se podem retirar destas ferramentas.

Para isso todos os responsáveis pelas diferentes áreas da empresa têm de estar comprometidos com a execução dessas metas. Todos, desde a administração têm de ter consciência que os esforços para a melhoria da qualidade dos dados é uma prioridade-chave para o sucesso do negócio.

Nunca é de mais repetir que a falta de qualidade de dados é responsável por danos de milhões de Euros em muitas empresas por esse mundo fora. Em muitos casos as empresas entram em grandes projectos de CRM e de BI desperdiçando vastos recursos, uma vez que a qualidade dos dados que alimentam essas aplicações continua a ser baixa ou por vezes muito baixa.

Existem casos que a implementação de rotinas de qualidade de dados mascara um pouco os problemas, mas não fazem com que a qualidade dos dados fique a um nível aceitável, não permitem dar o salto em termos de qualidade que os projectos de CRM e de BI necessitam. Dados incorrectos, a longo prazo podem levar à insatisfação dos clientes, baixando a retenção de clientes.

A Qualidade dos Dados é frequentemente abordada sob a forma de funcionários e/ou consultores externos, sendo por norma responsável por 20 a 50% dos projectos de datawarehouse.
Por norma estes projectos ETL executados desta forma, duram semanas e na maior parte dos casos mesmo meses ou anos. Logicamente que esta duração de projectos depende em muito da dimensão da BD. Com estes tempos de tratamento dos dados o normal é que aquando da reintegração dos dados, estes já tenham sido actualizados e com isso não possam ser reintegrados. Outras vezes ainda na reintegração surgem problemas com formatos, tamanhos entre outros. Outra das dificuldades que surgem é que os dados são por norma partilhados por várias plataformas igualmente com diferentes formatos, o que faz com que se perda um pouco da eficácia no tratamento executado.

O tempo de execução pode ser igualmente um problema porque quando se demora seis meses a processar um ficheiro, o mais certo é que no final do processo já existam dados a necessitar novamente de atenção, o que leva a que este projecto seja um projecto infindável.

Existem três aspectos que são fundamentais que são a precisão, a consistência e a antiguidade dos dados. Por vezes as empresas mantêm em BD dados de clientes com os quais não existe nenhum contacto há mais de 5 anos. Estes dados podem não estar precisos, podem não ter consistência e certamente não estão actualizados. Em cerca de 85% dos casos, a insatisfação dos clientes é resultado de dados obsoletos existentes em vários departamentos como registos de cliente redundantes. Registos duplicados são outros dos motivos da fraca qualidade dos dados e ainda ajudam igualmente a aumentar o tamanho da BD.

Dados correctos, no tempo certo, para as pessoas certas são determinantes para a eficiência operacional de qualquer empresa. Devem ser dados correctos a base de tomadas de decisão a todos os níveis, operacional, táctico e estratégico. Qual deve ser então a abordagem a ter? Indo certamente repetir-me, mas considero que a abordagem que preconizo é certamente a abordagem mais correcta e que melhores resultados finais irá obter.

Em vez de se repetir o processo de ETL infinitamente com todos os custos que isso acarreta, deve ser executado esse processo de ETL num prazo relativamente curto, por norma uma a duas semanas, sendo que para grande volume de dados um mês será um valor com margem de segurança.
Simultaneamente a este processo de ETL fazemos a integração dos programas de normalização / actualização/ correcção (Firewall) em todos os pontos de contacto com a BD, para impedir na medida do possivel que "lixo" volte a entrar na BD. Estas ferramentas têm a vantagem de serem usadas transversalmente em toda a organização. Com isto todos os agentes que até aqui eram a principal fonte de erros, passam a ser a principal barreira que impede que dados "sujos" sejam incorporados em BD. Não existe outra forma de ter qualidade de dados, que não seja com o empenho de todos.