Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

Depois de um interregno demasiadamente longo, vamos tentar retomar o ritmo de colocação de post's.      

Há um sem número de tópicos que quero abordar, mas para iniciar este novo ciclo, optei pelo MDM, logicamente em conjunto com a Qualidade de Dados.

Primeiro que tudo o que é o MDM? Se formos ver a definição da Wikipédia, teremos: "master data management (MDM) compreende um conjunto de processos e ferramentas que definem consistentemente e gerenciam os  dados mestres  (i.e.  não transacionais) de uma organização  (que pode conter  dados referenciais). MDM tem o objetivo de prover processos para coletar, agregar, combinar, consolidar, garantir a qualidade, persistir e distribuir estes dados a toda a organização para garantir a consistência e o controle nas futuras manutenções e uso desta informação."

Logo de seguida temos uma explicação mais simples: "Basicamente, MDM procura garantir que uma organização não utilize múltiplas (potencialmente inconsistentes) versões de um mesmo dado mestre em diferentes partes de sua operação, o que ocorre normalmente em grandes organizações."

Acrescento um exemplo que todos já devem ter tido, que é a alteração de uma morada num fornecedor de serviços que continua a enviar a correspondência para a morada anterior, com todos os problemas que daí podem advir. Mas o MDM não se fica apenas pelo chamado CMDM (customer master data management). 

Existem mais domínios em que podemos ter necessidade um MDM, aqui ficam alguns dos principais:

- MDM para Dados repartidos (Party Data)
Gerir e controlar hierarquias complexas de várias fontes.

- MDM para Dados do Produto
Gerir e controlar informações complexas sobre o produto

- MDM para Recursos Humanos
Gerir e controlar os dados dos seus empregados e as hierarquias de RH

- MDM no sector Financeiro e Contabilidade
Gerir e controlar hierarquias financeiras

No próximo post abordarei o CMDM em conjunto com a qualidade de dados, como factor essencial para o sucesso.

*Por opção do autor, este artigo não foi escrito de acordo com o novo Acordo Ortográfico

Um dos pontos fundamentais para conseguir atingir uma qualidade de dados de bom nível é a identificação dos pontos de origem dos fluxos de dados errados dentro da organização. Durante anos as empresas foram aglutinando um numero elevadíssimo de registos defeituosos, inválidos ou incompletos, porque não existe uma real capacidade de verificação das informações. Como tal grandes quantidades de dados errados, imprecisos, redundantes foram-se acumulando até que em muitos casos o que existe é um conjunto incontrolável de bases de dados fragmentadas e com um enorme volume.

Em cima deste pântano, foram colocadas ferramentas de CRM, ERP, BI e como tal, em muitos casos os resultados dessas ferramentas ficaram aquém do esperado.

A criação de métricas de qualidade de dados é apenas um meio para melhorar a qualidade dos dados. A existência de processos de monitorização, a definição de metas é vital para o incremento da qualidade dos dados. A existência de ferramentas de qualidade de dados que ajudem logo no input dos dados, que ajudem na prevenção de entrada de dados errados no sistema, é sem duvida fundamental para que se possa melhorar a qualidade dos dados obtendo dessa forma reduções nos custos, no esforço e tempo gasto. Com isso podemos ter economias de escala, obtendo igualmente melhores resultados nos CRM´s, ERP´s e BI's, maximizando ainda os lucros que se podem retirar destas ferramentas.

Para isso todos os responsáveis pelas diferentes áreas da empresa têm de estar comprometidos com a execução dessas metas. Todos, desde a administração têm de ter consciência que os esforços para a melhoria da qualidade dos dados é uma prioridade-chave para o sucesso do negócio.

Nunca é de mais repetir que a falta de qualidade de dados é responsável por danos de milhões de Euros em muitas empresas por esse mundo fora. Em muitos casos as empresas entram em grandes projectos de CRM e de BI desperdiçando vastos recursos, uma vez que a qualidade dos dados que alimentam essas aplicações continua a ser baixa ou por vezes muito baixa.

Existem casos que a implementação de rotinas de qualidade de dados mascara um pouco os problemas, mas não fazem com que a qualidade dos dados fique a um nível aceitável, não permitem dar o salto em termos de qualidade que os projectos de CRM e de BI necessitam. Dados incorrectos, a longo prazo podem levar à insatisfação dos clientes, baixando a retenção de clientes.

A Qualidade dos Dados é frequentemente abordada sob a forma de funcionários e/ou consultores externos, sendo por norma responsável por 20 a 50% dos projectos de datawarehouse.
Por norma estes projectos ETL executados desta forma, duram semanas e na maior parte dos casos mesmo meses ou anos. Logicamente que esta duração de projectos depende em muito da dimensão da BD. Com estes tempos de tratamento dos dados o normal é que aquando da reintegração dos dados, estes já tenham sido actualizados e com isso não possam ser reintegrados. Outras vezes ainda na reintegração surgem problemas com formatos, tamanhos entre outros. Outra das dificuldades que surgem é que os dados são por norma partilhados por várias plataformas igualmente com diferentes formatos, o que faz com que se perda um pouco da eficácia no tratamento executado.

O tempo de execução pode ser igualmente um problema porque quando se demora seis meses a processar um ficheiro, o mais certo é que no final do processo já existam dados a necessitar novamente de atenção, o que leva a que este projecto seja um projecto infindável.

Existem três aspectos que são fundamentais que são a precisão, a consistência e a antiguidade dos dados. Por vezes as empresas mantêm em BD dados de clientes com os quais não existe nenhum contacto há mais de 5 anos. Estes dados podem não estar precisos, podem não ter consistência e certamente não estão actualizados. Em cerca de 85% dos casos, a insatisfação dos clientes é resultado de dados obsoletos existentes em vários departamentos como registos de cliente redundantes. Registos duplicados são outros dos motivos da fraca qualidade dos dados e ainda ajudam igualmente a aumentar o tamanho da BD.

Dados correctos, no tempo certo, para as pessoas certas são determinantes para a eficiência operacional de qualquer empresa. Devem ser dados correctos a base de tomadas de decisão a todos os níveis, operacional, táctico e estratégico. Qual deve ser então a abordagem a ter? Indo certamente repetir-me, mas considero que a abordagem que preconizo é certamente a abordagem mais correcta e que melhores resultados finais irá obter.

Em vez de se repetir o processo de ETL infinitamente com todos os custos que isso acarreta, deve ser executado esse processo de ETL num prazo relativamente curto, por norma uma a duas semanas, sendo que para grande volume de dados um mês será um valor com margem de segurança.
Simultaneamente a este processo de ETL fazemos a integração dos programas de normalização / actualização/ correcção (Firewall) em todos os pontos de contacto com a BD, para impedir na medida do possivel que "lixo" volte a entrar na BD. Estas ferramentas têm a vantagem de serem usadas transversalmente em toda a organização. Com isto todos os agentes que até aqui eram a principal fonte de erros, passam a ser a principal barreira que impede que dados "sujos" sejam incorporados em BD. Não existe outra forma de ter qualidade de dados, que não seja com o empenho de todos.

Curiosamente depois do post de ontem chegou-me um email com um artigo que acaba por reiterar o que disse.

Resumidamente o que a Gartner vem mostrar são os 10 mitos que o conceito de gestão de dados (MDM) que se iniciou como uma forma de manter as informações actualizadas e uniformes em toda a organização, mas que durante o tempo tem existido alguns equívocos sobre a sua necessidade e implementação. No ponto 9 fala-se precisamente de qualidade de dados.

Mito 1: O MDM é implementar uma tecnologia
Realidade: MDM é muito menos sobre tecnologia e muito mais sobre a compreensão de como os processos de negócios é suposto trabalharem.

Mito 2: MDM é um projecto
Realidade: MDM é implementado como um programa que muda para sempre a maneira como a empresa cria e gere os seus dados. No entanto, para adoptar o MDM vai exigir numerosos projectos distintos.

Mito 3: Não necessitamos de MDM, temos um Enterprise Data Warehouse (EDW)
Realidade: MDM deve / irá abranger a organização em todas as unidades de negócios e processos (incluindo os armazéns de dados operacionais e analíticos).

Mito 4: Implementação de ERP significa que não necessita de MDM
Realidade: Geralmente o Enterprise Resource Planning (ERP), significa uma estratégia empacotada de aplicações de negócio, na maioria das vezes centrada num único grande fornecedor. Está implícito no ERP, mas raramente é realizado para a organização do utilizador, um único processo e modelo de dados em toda a organização.

Mito 5: O MDM é apenas para empresas grandes e complexas
Realidade: O princípio da MDM é aplicada sempre que dois ou mais processos de negócio devem exibir ou partilhar dados. Isto significa que a maioria das organizações têm uma necessidade para a disciplina de MDM, mesmo que não lhe chamem assim, ou se implementaram uma tecnologia separada chamada MDM.

Mito 6: Os metadados são 'a' Chave para MDM
Realidade: Os metadados são essenciais para MDM (e muitos esforços fora do MDM), mas como metadados é aplicado no contexto do MDM difere por domínio, a indústria, forma de uso e estilo de implementação.

Mito 7: MDM é um esforço de TI
Realidade: MDM deve ser conduzido pela empresa, um caso de negócio, e apoiados / habilitados por TI.

Mito 8: MDM é simplesmente muito grande para fazer
Realidade: MDM pode ser e está sendo adoptado por um domínio ou uma província de cada vez, e um caso de uso de cada vez.

Mito 9: MDM é separado da Data Governance e Data Quality (Qualidade de dados)
Realidade: MDM inclui a gestão (dos dados) e a qualidade (de dados) - MDM não pode ser estabelecida sem eles.

Mito 10: Não importa qual fornecedor de tecnologia utilizado - They All 'Do' MDM
Realidade: MDM é complexa, raramente duas organizações têm programas de MDM parecidos. Vendedor de MDM tem a capacidade, de focar na especialização em domínio de dados, na indústria, forma de uso, organização e estilo de execução. Por conseguinte, a seleção do fornecedor é crítica em organizações que buscam encontrar o parceiro certo.

Fonte