Qualidade de Dados / Data Quality

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se  com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos.  Ou seja, há ferramentas  disponíveis  para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma  consciencialização  que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato. 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido.

Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja:
- 15% de duplicados
- 5% de moradas em falta e
- 20% de moradas incorrectas.

Tendo como base um o custo de 0,25€ por cada peça enviada e um custo de envio de 0,25€, nestes 400.000 registos que são enviados "indevidamente", existe um custo total de 200.000€ por cada envio. Se nestes conseguirmos uma redução de 25% (presumivelmente, valor fácil de atingir) teremos uma redução de custos de 50.000€. Mas se tomarmos em consideração que com o tratamento de moradas, conseguimos assinalar as moradas que podem não estar totalmente correctas, poderemos ainda ter reduções mais significativas.

Como se pode ver pelos valores da taxa de leitura automática para descontos nos CTT os valores "normais" rondam os 60 e os 70%. Dos 70% para cima já é considerado um valor bom, tendo já direito ao desconto máximo, no caso em análise estamos com um erro de moradas a rondar os 25% ou seja já com o desconto máximo logo à partida. Mas em muitos casos certamente que não é esta a realidade, sendo possível aqui ter uma poupança considerável porque o desconto é de 1% entre os 60 e os 70% e de 3% acima dos 70%.

Relembrar apenas que o valor que considerei está longe dos 0,47€ que custa o envio de uma peça em formato normalizado até 20g. Seria necessário um desconto de quase 50%.

Juntando estes valores com os valores anteriores e a questão que fica é apenas porque é que a qualidade dos dados continua em muitos casos a ser negligenciada.

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei").

Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção da qualidade dos dados, mas a "doença" continua activa e a minar todos os dados novos e os existentes, durante o dia a dia.

Em alguns tratamentos temos a possibilidade de através de um processo de ETL, colocar os códigos postais actualizados, mas os que sejam inseridos nos dias seguintes a esse processo de ETL? Têm de esperar um ano, ou mesmo em alguns casos mais tempo para que possam ser validades e/ou corrigidos. O mesmo se passa relativamente aos duplicados. Existem muitos duplicados em BD, faz-se um processo de qualidade de dados com uma deduplicação, mas no dia seguinte aparece um novo registo e como não existe forma de automaticamente ter acesso a uma lista de possíveis duplicados, são criados novos registos e o Single View of Customer é apenas uma miragem.

As ferramentas online são por isso essenciais para resolver a doença, porque trabalham lado a lado com todos os intervenientes, a todo o momento na inserção/alteração de dados, impedindo assim validar e corrigir quando necessário todos os dados.

Muitas vezes é colocada a questão "Como posso medir a qualidade dos dados?"

Logo à partida a qualidade de dados não pode ser medida numa só dimensão, porque é multidimensional, existem inúmeras métricas que devem ser contempladas.

Se por um lado temos a validade dos dados, por outro temos a completude dos dados ou até mesmo a consistência desses dados entre outros aspectos.

Depois temos outro factor que entra na equação. Se tivemos a falar de moradas poderemos dizer que todos os registos têm os 7 dígitos do código postal, ou seja, supostamente existe 100% de completude nos códigos postais, mas quantos são válidos? Quantos são consistentes? Olhando muitas vezes para os dados, sem ser sequer necessário o recurso a qualquer aplicação, notamos que uma boa parte deles terminam em 000, ou mesmo em 999. Quando estes dois já foram "proibidos", detectamos uma grande numero de ocorrências de registos terminados em 001. Ou seja numa dimensão (completude) até temos valores bastante bons, mas se formos ver em termos de validade e consistência dos dados, a realidade é um pouco diferente. Se juntarmos a isto a consistência entre as ruas e as localidade indicadas, os valores finais relativos ao address management, vão ficar bem abaixo dos 100%.

Mas depois temos ainda os valores relativos aos nomes, aos duplicados entre muitos outros factores. Quantos nomes existem que não estão correctos? Quantos nomes existem que não têm sexo atribuído? Quantos registos existem que devido a algum dos erros anteriormente referidos não estão identificados como duplicados?

Pode haver algum numero final que diga qual a percentagem de qualidade de dados? Dificilmente esse numero será um numero aceitável, porque o que pode e deve existir é uma métrica para cada uma das dimensões a cada um dos factores.

Como conclusão, sim pode ser medido em percentagem o valor de cada uma das dimensões.

Nos dias que correm a qualidade dos dados está cada vez mais presente, porque quando as coisas correm bem, não se olha muito para o que corre menos bem, as coisas continuam o seu rumo sem qualquer problema. O pior é quando em fases como a que infelizmente estamos a enfrentar e qualquer pequena dificuldade que até aqui era considerada um pequeno incidente, passa a ter um impacto maior.

Explicando um pouco melhor, se até uma morada errada que gerava um devolvido era considerado um "incidente", agora alguns desses devolvidos são cartas que infelizmente "informam" o incumprimento de alguns clientes e se essa carta é devolvida, significa que a pessoa não foi notificada da sua "falta". Ou seja, se até aqui o que foi devolvido foi uma carta informativa, que tem um custo, mas que era negligenciado, a mesma devolução agora toma uma outra dimensão.

Pior ainda quando estamos a falar não da devolução de uma carta, mas da devolução de 10.000 ou de 100.000 cartas. Algumas empresas estão neste momento a perceber que existem moradas falsas e que não se consegue contactar aqueles clientes. E como agora tudo conta até o custo da devolução dessas cartas é valorizado. Muito rapidamente existe um ROI positivo de ferramentas de address management.

Torna-se por isso importantíssimo, urgente mesmo, a validação das moradas, dos duplicados e de outras acções de qualidade de dados que até agora tinham sido negligenciadas. Mais do que acções pontuais de qualidade de dados é necessário que seja feita a integração de soluções que melhorem, não apenas os dados, mas que impeçam a entrada de "lixo" para o sistema. Quando falo em "lixo" falo em moradas incorrectas ou inválidas, falo em registos duplicados, falo em registos que são erradamente atribuídos por troca de id's e com a não validação do resto da informação.

Para terminar vamos desenvolver um pouco o output e como obter esse output.

O resultado final, dependendo do fim pretendido, pode ter várias "formas". Pode ser apenas um ficheiro com os registos duplicados e respectivos masters, pode ser um ficheiro apenas com os limpos ou um ficheiro apenas com os duplicados.

O que o software faz é a criação de grupos de duplicados que com uma chave comum que permite o posterior tratamento das bases de dados como por exemplo, com a alteração dos históricos de todas as tabelas dos registos duplicados para o registo master.

Outro ficheiro final de output é um ficheiro apenas com os "limpos", ou seja todos os registos únicos, sem duplicados e com os masters, ou seja apenas um dos duplicados, que pode ser "eleito" tal como nas prioridades das listas.

Por fim temos o ficheiro final apenas com os duplicados.

De todos estes ficheiros e logicamente salvaguardando usos específicos, o mais importante é sem duvida o primeiro que contém todas as informações fundamentais para tratamento dos dados. Com este ficheiro temos os elementos que nos permitem: complementar um registo, alterar tabelas de históricos entre outros.

Com este post fica completo finalmente o tópico da deduplicação.

No fine tuning da deduplicação temos de ter em consideração o inicio, para encontrarmos o meio de alcançarmos o fim pretendido. Ou seja, temos de saber de onde vamos e para onde vamos. Tipicamente existem 3 tipos de deduplicação a Standard, Overkill e Underkill.

Se falarmos de uma deduplicação normal, a deduplicação standard, depois vamos afinar conforme os resultados que vamos obtendo. Mas podemos ter uma campanha para fazer em que à partida temos 1 milhão de registos, mas sabemos que apenas temos material para enviar para metade desses registos. Como tal poderemos optar por uma deduplicação overkill e dessa forma vamos de forma aleatória ou não, remover registos que à partida não deveriam ser considerados como duplicados, mas como temos excesso de registos, podemos "correr o risco".

Por outro lado, temos uma base de dados que deve ser enviada uma comunicação mesmo para todos os indivíduos, mesmo que um individuo receba mais que uma comunicação, é preferível que haver algum que não receba. Optamos por uma deduplicação underkill, que desta forma a segurança dos duplicados é de 100%.

Em qualquer uma destes tipos de fine tuning, podemos ajustar parâmetros de forma a conseguirmos os melhores resultados, ou aqueles que mais se ajustam ao nosso objectivo final.

Esses parâmetros são as comparações executadas nos campos que podem ser comparações Fonéticas, de Similaridade, Equalização (Código Postal), Proximidade (Numero de porta) e Sinónimos.

Fonéticas o próprio nome é esclarecedor, de similaridade é tomada em conta uma série de factores como por exemplo um V e um U, se estivermos a visualizar algo manuscrito pode facilmente ser similar. Como tal, neste campo podemos aumentar ou diminuir o valor conforme a origem dos dados.

Equalização é usado especialmente no código postal. Temos em Lisboa códigos postais que vão do 1000-001 ao 1990-999, e muitas vezes como não se sabe o código exacto coloca-se simplesmente 1500-000. O que vai acontecer aqui é que todos os registos de Lisboa vão ficar com o mesmo código postal: 1000-000. Desta forma ajuda a encontrar duplicados, mesmo que não tenha sido possível fazer a normalização de algum registo.

Relativamente à proximidade um dos exemplos são os números de porta ou números de telefone. Pode haver pequenas diferenças por exemplo no numero de telefone e assim é possível também encontrar esses registos independentemente de pequenas diferenças nos números que possam existir.

Finalmente temos os sinónimos cujo nome também é esclarecedor.

Está complicado acabar este tema, mas está quase.

Neste post vou descrever os diferentes tipos de listas que são possíveis de deduplicar.

Tal como tinha dito no post inicial existem as listas Standard, Externas, Negativas e de Enriquecimento.

As listas Standard são as "nossas" listas, aquelas onde vai incidir o tratamento. Podemos ter uma ou várias listas com prioridades entre elas. Vamos assumir que temos a lista com os clientes da empresa, mas entretanto surgiram outras pequenas listagens de outros clientes porque foi feita a incorporação de outras empresa, ou seja passam a ser nossos clientes também, mas para que se possa ter uma noção concreta do valor desses clientes vamos fazer a incorporação dos mesmos numa listagem única e deduplicada.

Podemos então dizer que os clientes existentes têm prioridade máxima e prioritizar todas as outras listas. Dessa forma no final na listagem de duplicados o master dos duplicados será sempre aquele com a prioridade mais elevada.

O mesmo relativamente às listas externas, que como o nome indica são listas que são por exemplo registos do departamento financeiro e que queremos comparar com os registos do marketing, porque não existe integração entre as duas ferramentas. Mais uma vez as prioridades aqui são válidas.

Um pouco como estas listas externas temos as listas de Enriquecimento que são listas que contêm dados que necessitamos de incorporar nos nossos dados, mas que estão noutras listagens. Por exemplo termos uma lista de clientes sem numero de contribuinte e o departamento financeiro ter uma lista com os NIF's de todos os clientes. Vamos por isso enriquecer a informação inicial com os NIF's dos clientes.

Por fim temos as listas negativas que propositadamente deixei para o fim. Aqui temos os Robinson (pessoas que pediram para não serem contactadas novamente), os "terroristas" e por exemplo os devedores.

Quando se fala de terroristas é mesmo no pior sentido da palavra, mas essa temática já a desenvolvi em outros posts como por exemplo neste.

Vou finalmente iniciar pelos tipos de deduplicacão.

O mais habitual é a deduplicacão por indivíduo. Para a execução destas deduplicacões são utilizados os campos que possam de alguma forma distinguir os indivíduos entre si. Toda e qualquer referência pode e deve ser usada. Partindo dos mais comuns como o nome, morada, data de nascimento, BI, mas tudo o que possa ajudar a distinguir indivíduos pode ser utilizado, emails, telefones fixos ou móveis, tudo o que nos possa tornar únicos ou que nos possa distinguir de outros pode ser importante para uma deduplicação.

O output final deste processo será um ficheiro com uma chave que identifica os registos que são duplicados, ou que suspeita que sejam duplicados e uma percentagem de match entre eles. Ou seja, no exemplo abaixo encontramos um grupo de duplicados (234) que é composto por 3 registos em que 2 são precisamente iguais e existe um com uma percentagem de match de 80%.

Estes valores são meramente exemplificativo e não servem de referência porque dependendo dos pesos que forem colocados a cada um dos campos, teremos valores diferentes. Esses acertos que são uma das fases mais complicadas da deduplicação por norma é diferente de BD para BD. Existem as deduplicações genéricas, mas depois para termos maior precisão são necessárias várias tentativas para conseguirmos o ponto óptimo.

Para além da deduplicação normal por individuo podemos ter por household, ou seja conseguirmos ter a noção de quantas casas temos em BD, independentemente de termos o pai, a mãe e os filhos como nossos clientes, se necessitarmos de enviar uma comunicação dispendiosa para os clientes, podemos enviar apenas uma por casa, tendo essa indicação.

Estes são dois dos exemplos, mas podemos ainda ter a deduplicação por quadro de empresa, para além de deduplicações de outro tipo, tudo o que seja passível de ser deduplicado.

Desta vez vou iniciar uma série de post's relativos à deduplicação (foi este o termo que "aprendi" a usar e que uso com mais frequência) em modo batch.

Existem alguns acrónimos que por vezes importamos do Marketing para designar as diferentes deduplicações existentes, mais usualmente utilizadas. B2C, B2B e B2H, significando deduplicação por Individuo, por Empresa e por Household. No caso da deduplicação por Empresa pode ter incluída a deduplicação com individuo ou não.

Quanto às listas que podem ser incluídas nestas deduplicações, existem as listas Standard, Externas, Negativas e de Enriquecimento.

Depois podemos ter "afinações" diferentes em cada uma das deduplicações: Idênticos, Standard, Overkill e Underkill.

Dentro de cada uma destas "afinações" temos para cada campo várias formas de comparar os registos: Fonéticas, Similaridade, Equalização (Código Postal), Proximidade (Numero de porta) e Sinónimos.

Por fim temos as Listas de saída, numa deduplicação podemos gerar um ficheiro com os Limpos, um ficheiro com os duplicados e um ficheiro com a lista dos duplicados que inclui para alem dos duplicados os Master's desses duplicados.

Como resultado teremos vários tipos de registos: Único, Mestre, Duplicado e Ambíguo.

O registo Mestre pode ser definido por prioridade, que pode ter como origem: Categoria ou Prioridade da lista, Prioridade ou Completude do registo ou simplesmente pela ordenação.

Tudo assim de seguida pode parecer uma grande confusão, mas vou nos próximos posts desenvolver cada um dos pontos anteriores.

Segundo um estudo Holandês numa Base de Dados com mais de um milhão de registos, descobriram a existência de um local (Gravenhage), escrito de mais de 50 formas diferentes e que esta inconsistência afectou mais de 50% de todos os registos. Com a colocação de um software de validação no ponto de entrada dos dados consegue-se um ROI imediato, com o aumento da velocidade de inserção dos dados, (muitas vezes evitando a criação de duplicados), reduzindo assim os custos com o pessoal. Qualquer organização que tenha por base dados inconsistentes é provável que subestimem o número e o valor dos seus clientes numa certa área. Todas as decisões que forem tomadas com essa base certamente que irão falhar e com custos para a organização.

A colocação de ferramentas para a validação de endereços no ponto de colecta dos dados tem um efeito imediato sobre a qualidade dos dados recolhidos. Os dados são recolhidos de forma mais rápida - os operadores não necessitam de tantos keystrokes para encontrar a informação pretendida. Desta forma se pode reduzir os tempos de espera e de atendimento de clientes, aumentado a satisfação, diminuindo custos com o pessoal. Com o aumento da satisfação dos clientes aumenta o valor da organização em todo o mercado com a partilha de experiências entre os clientes e os seus amigos/contactos.

A limpeza a jusante é sempre menos eficaz que a limpeza na fonte, não se pode identificar com tanta facilidade problemas de qualidade e não tem a oportunidade de dialogar com o cliente como se tem durante a colecta dos dados. A Sirius Decisions criou a regra 1-10-100: "É necessário $1 para verificar um registo na inserção dos dados, $10 para o limpar e deduplicar e $100 se nada for feito, com as ramificações dos erros a serem sentidas repetidamente" (“The Impact of Bad Data on Demand Creation”, Sirius Decisions, January 2009)

Tal como terminei o ultimo post vou continuar neste com uma noticia recente e que nos pode ajudar a mostrar um pouco a dificuldade que há na criação de métricas para aferir os danos na imagem de uma empresa.

Como muitos puderam ver na TV, existem várias queixas de carros de uma marca de topo que simplesmente arderão. Uma vez que a marca nunca conseguiu dar uma resposta definitiva, a dúvida vai manter-se e ainda que seja dada uma explicação cabal para todos os acontecimentos, esta imagem vai sempre pairar sobre os possíveis compradores de carros da marca. Tanto nos novos compradores da marca como nos que já são clientes e que querem trocar de carro, MAS existe uma dúvida que paira no ar.

Esta é talvez uma das formas mais evidentes de se demonstrar que mesmo que se prove de forma inequívoca que os acontecimentos não são responsabilidade da marca, a imagem pode ficar afectada. Há mesmo algumas marcas que ainda hoje sofrem porque existiu um produto com baixa qualidade e por muito que tenham feito para dar a volta a essa imagem, é muito complicado convencer totalmente todo o mercado.

O problema é a quantificar estes valores e é igualmente complicado quantificar os custos de imagem quando se enviam peças em duplicado, pela existência de registos duplicados, pela devolução de cartas que podem ser muito importantes para os clientes, mas que não chegaram ao destino. Até mesmo na prevenção de fraude com a inserção de moradas inexistentes, evitando assim desperdiçar dinheiro em envios de peças promocionais por vezes bastante caras, para moradas inexistentes. No próximo post vou falar continuar a falar do ROI da qualidade de dados.

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Depois de uma interrupção, vou tentar retomar um ritmo de posts mais constante.

Existem uma série de questões que são recorrentes acerca do tema da qualidade dos dados, uma delas é o custo dos projectos de qualidade dos dados vs retorno do investimento.

Os custos dos projectos de qualidade de dados podem ser muito rapidamente recuperados, se forem executados de forma correcta e principalmente de forma empenhada por toda a organização. É uma questão transversal a toda a empresa e que requer a atenção em todos os níveis da pirâmide organizacional. A recuperação financeira do investimento feito com um projecto de qualidade de dados, em muitos casos é facilmente mensurável, mas em muitos outros pode ser difícil de quantificar, porque alguns valores podem não ter valoração mensurável de forma directa.

Relativamente aos que são mensuráveis, temos aqui um pequeno exemplo onde o valor de recuperação de 20% entre registos duplicados e devolvidos está certamente muito abaixo do que será um valor "atingível", mas mesmo com um valor de referencia baixo as economias de custos são consideráveis.

O mesmo exemplo anterior pode ser usado para os que não têm valores mensuráveis. Clientes que recebem comunicações duplicadas por estarem duplicados na base de dados e os clientes que não receberam a comunicação por ter sido devolvida. Estes custos são custos de imagem, que podem custar clientes e que não podem de forma nenhuma ser quantificados porque não há forma de os quantificar, porque as reacções dos clientes podem não ser imediatas e mais que isso muitas vezes não há uma explicação do afastamento de um determinado cliente.

Como tal um projecto de qualidade de dados é facilmente recuperável em termos de investimento, o espaço temporal necessário é que é mais difícil de medir, podendo em alguns casos ter recuperação praticamente imediata.

Um video com um exemplo do funcionamento das ferramentas de qualidade de dados no Salesforce.

http://www.data-quality-on-demand.com/media/en/film/salesforce.swf

Neste video podemos ver numa primeira fase a normalização das moradas, no caso moradas americanas.

Como se pode ver igualmente no video executar a normalização a mais de uma morada.

Na fase seguinte temos a busca de duplicados dentro da base existentes de registos com a possibilidade de complementarização consoante os melhores dados existentes.

Com integração "plug and play" estas ferramentas apresentam resultados excelentes conforme pode ser demonstrado no demo online, mesmo com os erros comuns de digitação, fonéticos e outros.

Como ponto de partida temos de dividir os esforços para melhoramento da qualidade de dados entre projectos e soluções.

Nos projectos poderemos ter custos que dificilmente se consegue encontrar benefícios para eles, ou porque os projectos são mal concebidos, complexos e falham o ataque às causas da má qualidade dos dados.

Tradicionalmente as soluções de melhoramento de qualidade de dados têm retorno no investimento e impacto na organização com o aumento nos lucros tanto no aumento da facturação, como na redução de custos e redução de riscos vários.

Quando por exemplo num call center se reduz o numero de teclas necessárias para ter uma morada válida, ou para se encontrar um registo, isso tem um retorno visível e praticamente imediato nos custos. Se no final do dia se conseguir atender mais 10% das pessoas por que as ferramentas de qualidade de dados ajudaram na velocidade de atendimento, isso é facilmente detectável nas métricas do call center.

Por outro lado se nos devolvidos das campanhas, tivermos uma taxa de devolução reduzida relativamente aos dados anteriores, também representa valores mesuráveis e que ajudam a validar a implementação destas soluções.

Muitas vezes perguntam como consegue aferir a qualidade dos dados das empresas. Existem algumas ferramentas que o possibilitam, mas existe uma forma ainda mais simples. Ordenar os diferentes campos que compõem a base de dados e normalmente os erros aparecem de forma "natural". Provavelmente no campo do código postal podem aparecer em alguns casos códigos postais tipo "0000-000". Caso o sistema já esteja preparado para evitar estes casos podem existir muitos "X000-000" ou "X000-999". Os utilizadores encontram sempre forma de "dar a volta" ao sistema.

Por outro lado, ordenando os campos código postal e morada, vão encontrar muitos erros nas moradas, que estão escritas de formas totalmente distintas. Ruas como a Rua Calouste Gulbenkian devem existir versões de todas as formas. E é aqui que existe a distinção entre os projectos e as soluções de melhoria de qualidade de dados. Num projecto no dia seguinte os dados estão correctos, mas uma semana depois já existe "lixo" no sistema. É que se na Rua Calouste Gulbenkian pode não criar muitas duvidas na entrega da correspondência existem outros exemplos em que a escrita pode ser totalmente impeditiva da entrega da mesma.

Não estou com isto a dizer que os projectos de qualidade de dados não devem ser feitos, estou sim a dizer que devem ser complementados com a implementação de soluções de qualidade de dados. Apenas assim conseguimos assegurar a manutenção da qualidade dos dados e mais que isso, a redução dos custos.

Finalmente para finalizar esta temática aqui fica o ultimo post com o link para download do withe paper de compliance.

Lucre com as Soluções de Qualidade de Dados da Uniserv para compliance, incluindo:

• Revisão confiável dos dados (Data Cleansing) através da deduplicação automática dos actuais clientes, fornecedores e dados sócio contra listas de embargo nacionais e internacionais (em processamento em batch ou em tempo real)
• São necessários recursos e custos mínimos para garantir o compliance, como resultado de uma deduplicação de dados automatizada
• A protecção da sua competitividade e protecção contra as consequências legais e vendas perdidas causadas por incumprimento

Tal como prometido aqui fica igualmente o link para o white papper referente a esta matéria.

Soluções de qualidade de dados da Uniserv - o Compliance de confiança com um mínimo de esforço

As soluções de qualidade de dados da Uniserv vão apoiá-lo em garantir o Compliance de forma confiável ​​e transparente, através da máxima qualidade dos dados. Coerência dos dados em formatos normalizados, bem como soluções completas para a correspondência automática dos actuais clientes, fornecedores e parceiros de dados com as listas de embargo proteger você e sua empresa contra as consequências financeiras e jurídicas.

Data Quality Batch Suite para Compliance: A suíte completa de produtos para a verificação em batch totalmente automático para limpeza dos dados do cliente e para a deduplicação automatizada de dados em batch contra listas de embargo (listas de bloqueio).

Data Quality Real-Time Services para Compliance: Para a protecção da qualidade dos seus endereços directamente nos sistemas operativos assim como a deduplicação em tempo real de dados contra listas de bloqueio.

A nossa contribuição para o cumprimento de Compliance: Deduplicação automatizada dos dados do cliente contra as listas de embargo (listas de bloqueio) de forma rápida, com pesquisa tolerante ao erro, com reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, validação de dados e aumentando ou sincronizando com outros sistemas são apenas algumas das as funções do DQ Batch Suite e DQ Real Time Services da Uniserv- a nossa contribuição para a observância de confiança de requisitos de Compliance.