Qualidade de Dados / Data Quality

Qualidade de dados a cem por cento é um mito. Comecei mais uma vez com uma afirmação que faço muitas vezes e poderá ser perturbadora, mas considero ser um principio fundamental para conseguirmos obter a melhor qualidade de dados possível. E é essa mesma percepção que deve ser o ponto de partida que precisamos para realmente alcançar uma melhor qualidade dos dados. A segunda percepção é que, sem o compromisso de toda a empresa, a qualidade dos dados fica quase uma causa perdida. A terceira percepção é que é necessário ter e usar todas as ferramentas disponíveis para melhorar os níveis de qualidade dos dados e continuar sempre a usá-las.

Porque é que a qualidade dos dados é importante?

Um pouco ciclicamente vamos ouvindo que a qualidade dos dados é importante porque é fundamental para o CRM,  porque é fundamental para o BI,  porque é fundamental para o BIG DATA, porque é fundamental para o MDM, ... mas na realidade, muitas vezes opta-se pela implementação destes grandes projectos sem a ajuda de ferramentas de qualidade de dados. Sem estas ferramentas é quase o mesmo que querer entrar em competição, mas não querer gastar dinheiro em preparadores físicos. Existe quase tudo para ganhar, a técnica, o conhecimento, a táctica, agilidade e até muita vontade. Mas quando se inicia a competição as coisas até se iniciam bem, mas passado algum tempo começam a notar-se as dificuldades. 

Na utilização dos dados das empresas é precisamente a mesma coisa. Se olharmos para os dados do ponto de vista do "treinador" dos dados, normalmente eles até estão bem, o pior é quando os dados são necessários para o envio por exemplo das declarações do IRS. Aí as coisas começam a não parecer já tão bem assim, porque foram devolvidas muitas cartas. Ou quando tentamos saber quantos cliente únicos existem na realidade. Com algumas perguntas facilmente chegamos à conclusão que o CRM não está a ter is resultados esperados, que os relatórios do BI não são bem iguais à percepção existente pelo negócio, que quando necessitamos de Small data do Big Data não se consegue ter os dados pretendidos, ou que o MDM afinal tem vários dados mestre em vez de ter apenas um Golden Record.

Tal campanhas de marketing para os clientes e prospects existentes são sempre apenas tão boas quanto os dados em que elas se baseiam. Por exemplo, se os seus dados estão desactualizados, as suas campanhas serão incorretamente endereçadas e enviadas para a pessoa errada dentro de uma organização. Isto não só desperdiça tempo e dinheiro, mas também tem o potencial de prejudicar a sua reputação comercial. O que pensaria se já estivesse num cargo há mais de um ano e ainda estivesse a receber convites dirigidos à pessoa que substituiu? O que pensaria se recebesse esses convites em duplicado ou triplicado?

Com os dados de negócios a mudar a um ritmo rápido e com taxas de redução de negócios, manter os seus dados limpos e actualizados pode ser difícil. No entanto, se poder manter essas taxas de decomposição, no mínimo, será recompensado com campanhas mais direcionadas, reduzindo custos e melhorando o retorno sobre o investimento.

1 . Seja realista

A chave para melhorar a qualidade dos dados é entender antes de tudo que os seus dados nunca vão ser tão bons quanto pensa que são. Não existe tal coisa como 100 por cento de dados precisos. Depois de ver a verdade sobre os dados, pode ver os pontos fracos e entender quais os passos que precisa tomar para melhorar os seus níveis de qualidade dos dados.

2 . Defina a propriedade

Se a qualidade dos dados é de responsabilidade do marketing, vendas , atendimento ao cliente ou mais ou menos toda a gente dentro de sua organização, então não existe nenhuma responsabilidade - está a faltar compromisso.

Para a qualidade de dados ter hipótese real de vingar, o compromisso tem de vir de cima e de ser atribuído a um indivíduo nomeado - quanto mais alto da "cadeia alimentar" melhor.  Mais que um projecto a qualidade de dados deveria ser um departamento, com um responsável.

3 . Receba os processos correctamente

Já ouviu o "ditado" "entra lixo, sai lixo"? Quando se trata de qualidade de dados, precisa para ter os melhores processos para garantir que todos os dados capturados são recolhidos e armazenados de forma consistente.

Normalmente os dados vêm de muitas fontes diferentes, por isso é essencial que esta informação seja sempre adicionada nas suas base de dados num formato correcto. Isso pode ser tão simples como garantir que todos os campos relevantes são inseridos, como o nome do contacto, o endereço, incluindo o código postal correto e número de telefone. Se houver informação em falta, deve ser verificada e adicionada. Este é sempre o ponto fundamental onde se pode com menores custos assegurar a qualidade dos dados. É nesta fase que ao estar em contacto com o cliente, podemos dissipar duvidas, evitando que entrem no sistema, porque depois desta fase, já só com custos muito elevados poderemos reverter a falta de qualidade dos dados.

4 . Gerir as interações com clientes

Todos os contactos que ocorrem dever ser tomados em consideração quando uma empresa considera esses contactos de negócios como parte dos processos de negócios regulares. Estes contactos proporcionam oportunidades para a aquisição de novos dados, para a qualificação dos contatos existentes, adicionando informações complementares aos seus registos, a verificação ou atualização dos dados existentes. Eles oferecem uma proteção importante contra o atrito dos dados. Deve considerar todos esses contactos dentro dos seus processos de negócios, onde eles ocorrem e como a oportunidade pode ser maximizada.

5 . Auditoria aos seus dados

Auditorias de dados são uma boa maneira de verificar se os dados que tem, como actualizar e que lacunas precisa para preencher. A auditoria de dados também ajuda a identificar que partes dos seus processos de dados estão a funcionar e quais precisam de atualização. Por exemplo, onde estão a ser criados os erros? É quando as informações estão a ser introduzidas, ou os erros resultam da falta de formação?

De qualquer forma, é importante identificar onde os erros ocorrem, de modo que os processos possam ser corrigidos para evitar os erros que ocorrem em primeiro lugar - de modo que os dados estejam correctos logo na primeira vez que são adicionados.

Auditorias de dados podem ser realizadas tanto interna como externamente, e em combinação. Por exemplo, fornecemos "exames de saúde" gratuitos de dados para que possa verificar a qualidade dos dados. Com o relatório do "exame de saúde" completo poderá entender algumas das questões que estão presentes nos seus dados, pode então, utilizar fontes de dados internas e externas para melhorar a formatação dos seus dados e para combinar e melhorar os seus dados. 

6 . É melhor prevenir do que remediar

É mais rentável e eficiente para manter seus dados logo no ponto de entrada ao invés de efectuar uma revisão a cada dois anos, quando eles já vão estar completamente desactualizados, obrigando assim a um esforço humano e financeiro muito grande para a sua actualização.

Também é importante compreender a qualidade dos dados no contexto de como os dados são para ser usados ​​e como eles são recolhidos em primeiro lugar. Qualidade para uma finalidade não significa qualidade para outra. Por exemplo, a recolha e uso de endereços de uma sede de uma companhia só pode ser útil num contexto, mas não se os detalhes que realmente interessam são os de algum departamento especifico que está fisicamente em outro local.

Nos próximos posts irei detalhar cada um dos diferentes problemas e formas de os resolver. 

Está documentado que a falta de confiança é um dos maiores problemas associados à fraca qualidade dos dados. Muitas organizações têm reconhecido isso e dado passos significativos para limpar seus dados. Mas mesmo estas organizações ainda enfrentam grandes problemas de qualidade de dados. Num mundo cada vez mais em tempo real e 24x7 já não é aceitável que haja um desfasamento entre a criação dos dados e a sua validação - o que resulta em decisões de negócios importantes com base em nada mais do que conjecturas.

Defendemos que uma abordagem mais gradual e generalizada à qualidade dos dados é necessária - quando é melhor prevenir do que remediar. Trata-se de uma clara estratégia de compromisso, numa mudança de cultura com o "foco na qualidade dos dados", expandindo para além das TI's para incluir mais pessoas que realmente usam os dados do dia-a-dia, e para que os funcionários em todos os níveis dentro da organização estejam conscientes da importância de ter boa qualidade dos dados. Esta maior participação resulta numa maior consciência e uma maior atenção - o efeito final serão dados em que todos possam confiar e uma redução de custos.

Os benefícios da adopção de uma abordagem de qualidade generalizada de dados incluem: - Tomar decisões mais inteligentes com base em dados consistentes, limpos e precisos. - Dados em que pode confiar. - Elimine os dispendiosos erros operacionais e atrasos enquanto diminui a dependência de recursos de TI limitados. - Assegure que os dados permanecem limpos e compatíveis com as regras e processos reutilizáveis. - Atrair e manter clientes com a máxima qualidade de serviço e apoio em todos os pontos de contacto do cliente. - Descobrir rapidamente novos mercados e oferecer novos produtos de forma mais eficiente. - Eliminar falhas de comunicação entre negócios e TI. - Produzir de forma eficiente os dados dos relatórios de cumprimento de que estão correctas e precisas - eliminando o risco de sanções devido a dados incorrectos ou incompletos.

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei").

Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção da qualidade dos dados, mas a "doença" continua activa e a minar todos os dados novos e os existentes, durante o dia a dia.

Em alguns tratamentos temos a possibilidade de através de um processo de ETL, colocar os códigos postais actualizados, mas os que sejam inseridos nos dias seguintes a esse processo de ETL? Têm de esperar um ano, ou mesmo em alguns casos mais tempo para que possam ser validades e/ou corrigidos. O mesmo se passa relativamente aos duplicados. Existem muitos duplicados em BD, faz-se um processo de qualidade de dados com uma deduplicação, mas no dia seguinte aparece um novo registo e como não existe forma de automaticamente ter acesso a uma lista de possíveis duplicados, são criados novos registos e o Single View of Customer é apenas uma miragem.

As ferramentas online são por isso essenciais para resolver a doença, porque trabalham lado a lado com todos os intervenientes, a todo o momento na inserção/alteração de dados, impedindo assim validar e corrigir quando necessário todos os dados.

Nos dias que correm a qualidade dos dados está cada vez mais presente, porque quando as coisas correm bem, não se olha muito para o que corre menos bem, as coisas continuam o seu rumo sem qualquer problema. O pior é quando em fases como a que infelizmente estamos a enfrentar e qualquer pequena dificuldade que até aqui era considerada um pequeno incidente, passa a ter um impacto maior.

Explicando um pouco melhor, se até uma morada errada que gerava um devolvido era considerado um "incidente", agora alguns desses devolvidos são cartas que infelizmente "informam" o incumprimento de alguns clientes e se essa carta é devolvida, significa que a pessoa não foi notificada da sua "falta". Ou seja, se até aqui o que foi devolvido foi uma carta informativa, que tem um custo, mas que era negligenciado, a mesma devolução agora toma uma outra dimensão.

Pior ainda quando estamos a falar não da devolução de uma carta, mas da devolução de 10.000 ou de 100.000 cartas. Algumas empresas estão neste momento a perceber que existem moradas falsas e que não se consegue contactar aqueles clientes. E como agora tudo conta até o custo da devolução dessas cartas é valorizado. Muito rapidamente existe um ROI positivo de ferramentas de address management.

Torna-se por isso importantíssimo, urgente mesmo, a validação das moradas, dos duplicados e de outras acções de qualidade de dados que até agora tinham sido negligenciadas. Mais do que acções pontuais de qualidade de dados é necessário que seja feita a integração de soluções que melhorem, não apenas os dados, mas que impeçam a entrada de "lixo" para o sistema. Quando falo em "lixo" falo em moradas incorrectas ou inválidas, falo em registos duplicados, falo em registos que são erradamente atribuídos por troca de id's e com a não validação do resto da informação.

Depois de um interregno demasiado prolongado devido a falta de tempo, vou tentar voltar à cadencia anterior de colocação de posts, começando por desejar a todos um excelente 2012!

E para recomeçar, nada melhor que falar no novo acordo ortográfico e do impacto que certamente irá ter na qualidade dos dados. Se até aqui a introdução / alteração de dados já era um problema porque cada vez as pessoas escrevem com mais erros ortográficos, com a entrada do novo acordo ortográfico será ainda pior.

Se pensarmos em termos de nomes e de moradas, poderemos estar perante uma receita perfeita para uma autentica "caldeirada". Vão certamente gerar a criação de muitos duplicados, porque vão aparecer muito mais dados inconsistentes que vão aumentar a falta de qualidade nos dados. Nada melhor que dar alguns exemplos dos erros que se podem antecipar.

Em termos de moradas temos um exemplo que é muito frequente e que certamente vai trazer problemas, especialmente quando estivermos a falar na deduplicação, não existindo um programa que consiga contornar estas dificuldades, que é o "c" antes do "t". E são muitos os exemplos, aqui ficam alguns:
Arquitecto <-> Arquiteto
Projectada <-> Projetada
Inspector <-> Inspetor
Recta <-> Reta
Actor <-> Ator
Actriz <-> Atriz
Colectividade <-> Coletividade

Para juntar a estes temos ainda outros que presumo que se mantenham, porque não se vai mudar o nome às pessoas, ou seja um Octávio, não vai ser "renomeado" e passar a ter o nome escrito como Otávio o mesmo acontecerá ao Victor, ao Octaviano e mais alguns. Como tal um "Find Replace" para trocar todos os "CT" por "T" não deve ser de todo a melhor opção.

Se a falta de qualidade dos dados já se fazia notar em algumas bases de dados, esta será certamente a melhor altura para agir, porque daqui para a frente as coisas só podem piorar.

Segundo um estudo Holandês numa Base de Dados com mais de um milhão de registos, descobriram a existência de um local (Gravenhage), escrito de mais de 50 formas diferentes e que esta inconsistência afectou mais de 50% de todos os registos. Com a colocação de um software de validação no ponto de entrada dos dados consegue-se um ROI imediato, com o aumento da velocidade de inserção dos dados, (muitas vezes evitando a criação de duplicados), reduzindo assim os custos com o pessoal. Qualquer organização que tenha por base dados inconsistentes é provável que subestimem o número e o valor dos seus clientes numa certa área. Todas as decisões que forem tomadas com essa base certamente que irão falhar e com custos para a organização.

A colocação de ferramentas para a validação de endereços no ponto de colecta dos dados tem um efeito imediato sobre a qualidade dos dados recolhidos. Os dados são recolhidos de forma mais rápida - os operadores não necessitam de tantos keystrokes para encontrar a informação pretendida. Desta forma se pode reduzir os tempos de espera e de atendimento de clientes, aumentado a satisfação, diminuindo custos com o pessoal. Com o aumento da satisfação dos clientes aumenta o valor da organização em todo o mercado com a partilha de experiências entre os clientes e os seus amigos/contactos.

A limpeza a jusante é sempre menos eficaz que a limpeza na fonte, não se pode identificar com tanta facilidade problemas de qualidade e não tem a oportunidade de dialogar com o cliente como se tem durante a colecta dos dados. A Sirius Decisions criou a regra 1-10-100: "É necessário $1 para verificar um registo na inserção dos dados, $10 para o limpar e deduplicar e $100 se nada for feito, com as ramificações dos erros a serem sentidas repetidamente" (“The Impact of Bad Data on Demand Creation”, Sirius Decisions, January 2009)

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Um dos pontos fundamentais para conseguir atingir uma qualidade de dados de bom nível é a identificação dos pontos de origem dos fluxos de dados errados dentro da organização. Durante anos as empresas foram aglutinando um numero elevadíssimo de registos defeituosos, inválidos ou incompletos, porque não existe uma real capacidade de verificação das informações. Como tal grandes quantidades de dados errados, imprecisos, redundantes foram-se acumulando até que em muitos casos o que existe é um conjunto incontrolável de bases de dados fragmentadas e com um enorme volume.

Em cima deste pântano, foram colocadas ferramentas de CRM, ERP, BI e como tal, em muitos casos os resultados dessas ferramentas ficaram aquém do esperado.

A criação de métricas de qualidade de dados é apenas um meio para melhorar a qualidade dos dados. A existência de processos de monitorização, a definição de metas é vital para o incremento da qualidade dos dados. A existência de ferramentas de qualidade de dados que ajudem logo no input dos dados, que ajudem na prevenção de entrada de dados errados no sistema, é sem duvida fundamental para que se possa melhorar a qualidade dos dados obtendo dessa forma reduções nos custos, no esforço e tempo gasto. Com isso podemos ter economias de escala, obtendo igualmente melhores resultados nos CRM´s, ERP´s e BI's, maximizando ainda os lucros que se podem retirar destas ferramentas.

Para isso todos os responsáveis pelas diferentes áreas da empresa têm de estar comprometidos com a execução dessas metas. Todos, desde a administração têm de ter consciência que os esforços para a melhoria da qualidade dos dados é uma prioridade-chave para o sucesso do negócio.

Nunca é de mais repetir que a falta de qualidade de dados é responsável por danos de milhões de Euros em muitas empresas por esse mundo fora. Em muitos casos as empresas entram em grandes projectos de CRM e de BI desperdiçando vastos recursos, uma vez que a qualidade dos dados que alimentam essas aplicações continua a ser baixa ou por vezes muito baixa.

Existem casos que a implementação de rotinas de qualidade de dados mascara um pouco os problemas, mas não fazem com que a qualidade dos dados fique a um nível aceitável, não permitem dar o salto em termos de qualidade que os projectos de CRM e de BI necessitam. Dados incorrectos, a longo prazo podem levar à insatisfação dos clientes, baixando a retenção de clientes.

A Qualidade dos Dados é frequentemente abordada sob a forma de funcionários e/ou consultores externos, sendo por norma responsável por 20 a 50% dos projectos de datawarehouse.
Por norma estes projectos ETL executados desta forma, duram semanas e na maior parte dos casos mesmo meses ou anos. Logicamente que esta duração de projectos depende em muito da dimensão da BD. Com estes tempos de tratamento dos dados o normal é que aquando da reintegração dos dados, estes já tenham sido actualizados e com isso não possam ser reintegrados. Outras vezes ainda na reintegração surgem problemas com formatos, tamanhos entre outros. Outra das dificuldades que surgem é que os dados são por norma partilhados por várias plataformas igualmente com diferentes formatos, o que faz com que se perda um pouco da eficácia no tratamento executado.

O tempo de execução pode ser igualmente um problema porque quando se demora seis meses a processar um ficheiro, o mais certo é que no final do processo já existam dados a necessitar novamente de atenção, o que leva a que este projecto seja um projecto infindável.

Existem três aspectos que são fundamentais que são a precisão, a consistência e a antiguidade dos dados. Por vezes as empresas mantêm em BD dados de clientes com os quais não existe nenhum contacto há mais de 5 anos. Estes dados podem não estar precisos, podem não ter consistência e certamente não estão actualizados. Em cerca de 85% dos casos, a insatisfação dos clientes é resultado de dados obsoletos existentes em vários departamentos como registos de cliente redundantes. Registos duplicados são outros dos motivos da fraca qualidade dos dados e ainda ajudam igualmente a aumentar o tamanho da BD.

Dados correctos, no tempo certo, para as pessoas certas são determinantes para a eficiência operacional de qualquer empresa. Devem ser dados correctos a base de tomadas de decisão a todos os níveis, operacional, táctico e estratégico. Qual deve ser então a abordagem a ter? Indo certamente repetir-me, mas considero que a abordagem que preconizo é certamente a abordagem mais correcta e que melhores resultados finais irá obter.

Em vez de se repetir o processo de ETL infinitamente com todos os custos que isso acarreta, deve ser executado esse processo de ETL num prazo relativamente curto, por norma uma a duas semanas, sendo que para grande volume de dados um mês será um valor com margem de segurança.
Simultaneamente a este processo de ETL fazemos a integração dos programas de normalização / actualização/ correcção (Firewall) em todos os pontos de contacto com a BD, para impedir na medida do possivel que "lixo" volte a entrar na BD. Estas ferramentas têm a vantagem de serem usadas transversalmente em toda a organização. Com isto todos os agentes que até aqui eram a principal fonte de erros, passam a ser a principal barreira que impede que dados "sujos" sejam incorporados em BD. Não existe outra forma de ter qualidade de dados, que não seja com o empenho de todos.