Qualidade de Dados / Data Quality

Segundo um estudo Holandês numa Base de Dados com mais de um milhão de registos, descobriram a existência de um local (Gravenhage), escrito de mais de 50 formas diferentes e que esta inconsistência afectou mais de 50% de todos os registos. Com a colocação de um software de validação no ponto de entrada dos dados consegue-se um ROI imediato, com o aumento da velocidade de inserção dos dados, (muitas vezes evitando a criação de duplicados), reduzindo assim os custos com o pessoal. Qualquer organização que tenha por base dados inconsistentes é provável que subestimem o número e o valor dos seus clientes numa certa área. Todas as decisões que forem tomadas com essa base certamente que irão falhar e com custos para a organização.

A colocação de ferramentas para a validação de endereços no ponto de colecta dos dados tem um efeito imediato sobre a qualidade dos dados recolhidos. Os dados são recolhidos de forma mais rápida - os operadores não necessitam de tantos keystrokes para encontrar a informação pretendida. Desta forma se pode reduzir os tempos de espera e de atendimento de clientes, aumentado a satisfação, diminuindo custos com o pessoal. Com o aumento da satisfação dos clientes aumenta o valor da organização em todo o mercado com a partilha de experiências entre os clientes e os seus amigos/contactos.

A limpeza a jusante é sempre menos eficaz que a limpeza na fonte, não se pode identificar com tanta facilidade problemas de qualidade e não tem a oportunidade de dialogar com o cliente como se tem durante a colecta dos dados. A Sirius Decisions criou a regra 1-10-100: "É necessário $1 para verificar um registo na inserção dos dados, $10 para o limpar e deduplicar e $100 se nada for feito, com as ramificações dos erros a serem sentidas repetidamente" (“The Impact of Bad Data on Demand Creation”, Sirius Decisions, January 2009)

Tal como terminei o ultimo post vou continuar neste com uma noticia recente e que nos pode ajudar a mostrar um pouco a dificuldade que há na criação de métricas para aferir os danos na imagem de uma empresa.

Como muitos puderam ver na TV, existem várias queixas de carros de uma marca de topo que simplesmente arderão. Uma vez que a marca nunca conseguiu dar uma resposta definitiva, a dúvida vai manter-se e ainda que seja dada uma explicação cabal para todos os acontecimentos, esta imagem vai sempre pairar sobre os possíveis compradores de carros da marca. Tanto nos novos compradores da marca como nos que já são clientes e que querem trocar de carro, MAS existe uma dúvida que paira no ar.

Esta é talvez uma das formas mais evidentes de se demonstrar que mesmo que se prove de forma inequívoca que os acontecimentos não são responsabilidade da marca, a imagem pode ficar afectada. Há mesmo algumas marcas que ainda hoje sofrem porque existiu um produto com baixa qualidade e por muito que tenham feito para dar a volta a essa imagem, é muito complicado convencer totalmente todo o mercado.

O problema é a quantificar estes valores e é igualmente complicado quantificar os custos de imagem quando se enviam peças em duplicado, pela existência de registos duplicados, pela devolução de cartas que podem ser muito importantes para os clientes, mas que não chegaram ao destino. Até mesmo na prevenção de fraude com a inserção de moradas inexistentes, evitando assim desperdiçar dinheiro em envios de peças promocionais por vezes bastante caras, para moradas inexistentes. No próximo post vou falar continuar a falar do ROI da qualidade de dados.

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Depois de uma interrupção, vou tentar retomar um ritmo de posts mais constante.

Existem uma série de questões que são recorrentes acerca do tema da qualidade dos dados, uma delas é o custo dos projectos de qualidade dos dados vs retorno do investimento.

Os custos dos projectos de qualidade de dados podem ser muito rapidamente recuperados, se forem executados de forma correcta e principalmente de forma empenhada por toda a organização. É uma questão transversal a toda a empresa e que requer a atenção em todos os níveis da pirâmide organizacional. A recuperação financeira do investimento feito com um projecto de qualidade de dados, em muitos casos é facilmente mensurável, mas em muitos outros pode ser difícil de quantificar, porque alguns valores podem não ter valoração mensurável de forma directa.

Relativamente aos que são mensuráveis, temos aqui um pequeno exemplo onde o valor de recuperação de 20% entre registos duplicados e devolvidos está certamente muito abaixo do que será um valor "atingível", mas mesmo com um valor de referencia baixo as economias de custos são consideráveis.

O mesmo exemplo anterior pode ser usado para os que não têm valores mensuráveis. Clientes que recebem comunicações duplicadas por estarem duplicados na base de dados e os clientes que não receberam a comunicação por ter sido devolvida. Estes custos são custos de imagem, que podem custar clientes e que não podem de forma nenhuma ser quantificados porque não há forma de os quantificar, porque as reacções dos clientes podem não ser imediatas e mais que isso muitas vezes não há uma explicação do afastamento de um determinado cliente.

Como tal um projecto de qualidade de dados é facilmente recuperável em termos de investimento, o espaço temporal necessário é que é mais difícil de medir, podendo em alguns casos ter recuperação praticamente imediata.

Um video com um exemplo do funcionamento das ferramentas de qualidade de dados no Salesforce.

http://www.data-quality-on-demand.com/media/en/film/salesforce.swf

Neste video podemos ver numa primeira fase a normalização das moradas, no caso moradas americanas.

Como se pode ver igualmente no video executar a normalização a mais de uma morada.

Na fase seguinte temos a busca de duplicados dentro da base existentes de registos com a possibilidade de complementarização consoante os melhores dados existentes.

Com integração "plug and play" estas ferramentas apresentam resultados excelentes conforme pode ser demonstrado no demo online, mesmo com os erros comuns de digitação, fonéticos e outros.

Como ponto de partida temos de dividir os esforços para melhoramento da qualidade de dados entre projectos e soluções.

Nos projectos poderemos ter custos que dificilmente se consegue encontrar benefícios para eles, ou porque os projectos são mal concebidos, complexos e falham o ataque às causas da má qualidade dos dados.

Tradicionalmente as soluções de melhoramento de qualidade de dados têm retorno no investimento e impacto na organização com o aumento nos lucros tanto no aumento da facturação, como na redução de custos e redução de riscos vários.

Quando por exemplo num call center se reduz o numero de teclas necessárias para ter uma morada válida, ou para se encontrar um registo, isso tem um retorno visível e praticamente imediato nos custos. Se no final do dia se conseguir atender mais 10% das pessoas por que as ferramentas de qualidade de dados ajudaram na velocidade de atendimento, isso é facilmente detectável nas métricas do call center.

Por outro lado se nos devolvidos das campanhas, tivermos uma taxa de devolução reduzida relativamente aos dados anteriores, também representa valores mesuráveis e que ajudam a validar a implementação destas soluções.

Muitas vezes perguntam como consegue aferir a qualidade dos dados das empresas. Existem algumas ferramentas que o possibilitam, mas existe uma forma ainda mais simples. Ordenar os diferentes campos que compõem a base de dados e normalmente os erros aparecem de forma "natural". Provavelmente no campo do código postal podem aparecer em alguns casos códigos postais tipo "0000-000". Caso o sistema já esteja preparado para evitar estes casos podem existir muitos "X000-000" ou "X000-999". Os utilizadores encontram sempre forma de "dar a volta" ao sistema.

Por outro lado, ordenando os campos código postal e morada, vão encontrar muitos erros nas moradas, que estão escritas de formas totalmente distintas. Ruas como a Rua Calouste Gulbenkian devem existir versões de todas as formas. E é aqui que existe a distinção entre os projectos e as soluções de melhoria de qualidade de dados. Num projecto no dia seguinte os dados estão correctos, mas uma semana depois já existe "lixo" no sistema. É que se na Rua Calouste Gulbenkian pode não criar muitas duvidas na entrega da correspondência existem outros exemplos em que a escrita pode ser totalmente impeditiva da entrega da mesma.

Não estou com isto a dizer que os projectos de qualidade de dados não devem ser feitos, estou sim a dizer que devem ser complementados com a implementação de soluções de qualidade de dados. Apenas assim conseguimos assegurar a manutenção da qualidade dos dados e mais que isso, a redução dos custos.