Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Para terminar vamos desenvolver um pouco o output e como obter esse output.

O resultado final, dependendo do fim pretendido, pode ter várias "formas". Pode ser apenas um ficheiro com os registos duplicados e respectivos masters, pode ser um ficheiro apenas com os limpos ou um ficheiro apenas com os duplicados.

O que o software faz é a criação de grupos de duplicados que com uma chave comum que permite o posterior tratamento das bases de dados como por exemplo, com a alteração dos históricos de todas as tabelas dos registos duplicados para o registo master.

Outro ficheiro final de output é um ficheiro apenas com os "limpos", ou seja todos os registos únicos, sem duplicados e com os masters, ou seja apenas um dos duplicados, que pode ser "eleito" tal como nas prioridades das listas.

Por fim temos o ficheiro final apenas com os duplicados.

De todos estes ficheiros e logicamente salvaguardando usos específicos, o mais importante é sem duvida o primeiro que contém todas as informações fundamentais para tratamento dos dados. Com este ficheiro temos os elementos que nos permitem: complementar um registo, alterar tabelas de históricos entre outros.

Com este post fica completo finalmente o tópico da deduplicação.

No fine tuning da deduplicação temos de ter em consideração o inicio, para encontrarmos o meio de alcançarmos o fim pretendido. Ou seja, temos de saber de onde vamos e para onde vamos. Tipicamente existem 3 tipos de deduplicação a Standard, Overkill e Underkill.

Se falarmos de uma deduplicação normal, a deduplicação standard, depois vamos afinar conforme os resultados que vamos obtendo. Mas podemos ter uma campanha para fazer em que à partida temos 1 milhão de registos, mas sabemos que apenas temos material para enviar para metade desses registos. Como tal poderemos optar por uma deduplicação overkill e dessa forma vamos de forma aleatória ou não, remover registos que à partida não deveriam ser considerados como duplicados, mas como temos excesso de registos, podemos "correr o risco".

Por outro lado, temos uma base de dados que deve ser enviada uma comunicação mesmo para todos os indivíduos, mesmo que um individuo receba mais que uma comunicação, é preferível que haver algum que não receba. Optamos por uma deduplicação underkill, que desta forma a segurança dos duplicados é de 100%.

Em qualquer uma destes tipos de fine tuning, podemos ajustar parâmetros de forma a conseguirmos os melhores resultados, ou aqueles que mais se ajustam ao nosso objectivo final.

Esses parâmetros são as comparações executadas nos campos que podem ser comparações Fonéticas, de Similaridade, Equalização (Código Postal), Proximidade (Numero de porta) e Sinónimos.

Fonéticas o próprio nome é esclarecedor, de similaridade é tomada em conta uma série de factores como por exemplo um V e um U, se estivermos a visualizar algo manuscrito pode facilmente ser similar. Como tal, neste campo podemos aumentar ou diminuir o valor conforme a origem dos dados.

Equalização é usado especialmente no código postal. Temos em Lisboa códigos postais que vão do 1000-001 ao 1990-999, e muitas vezes como não se sabe o código exacto coloca-se simplesmente 1500-000. O que vai acontecer aqui é que todos os registos de Lisboa vão ficar com o mesmo código postal: 1000-000. Desta forma ajuda a encontrar duplicados, mesmo que não tenha sido possível fazer a normalização de algum registo.

Relativamente à proximidade um dos exemplos são os números de porta ou números de telefone. Pode haver pequenas diferenças por exemplo no numero de telefone e assim é possível também encontrar esses registos independentemente de pequenas diferenças nos números que possam existir.

Finalmente temos os sinónimos cujo nome também é esclarecedor.

Está complicado acabar este tema, mas está quase.

Vou finalmente iniciar pelos tipos de deduplicacão.

O mais habitual é a deduplicacão por indivíduo. Para a execução destas deduplicacões são utilizados os campos que possam de alguma forma distinguir os indivíduos entre si. Toda e qualquer referência pode e deve ser usada. Partindo dos mais comuns como o nome, morada, data de nascimento, BI, mas tudo o que possa ajudar a distinguir indivíduos pode ser utilizado, emails, telefones fixos ou móveis, tudo o que nos possa tornar únicos ou que nos possa distinguir de outros pode ser importante para uma deduplicação.

O output final deste processo será um ficheiro com uma chave que identifica os registos que são duplicados, ou que suspeita que sejam duplicados e uma percentagem de match entre eles. Ou seja, no exemplo abaixo encontramos um grupo de duplicados (234) que é composto por 3 registos em que 2 são precisamente iguais e existe um com uma percentagem de match de 80%.

Estes valores são meramente exemplificativo e não servem de referência porque dependendo dos pesos que forem colocados a cada um dos campos, teremos valores diferentes. Esses acertos que são uma das fases mais complicadas da deduplicação por norma é diferente de BD para BD. Existem as deduplicações genéricas, mas depois para termos maior precisão são necessárias várias tentativas para conseguirmos o ponto óptimo.

Para além da deduplicação normal por individuo podemos ter por household, ou seja conseguirmos ter a noção de quantas casas temos em BD, independentemente de termos o pai, a mãe e os filhos como nossos clientes, se necessitarmos de enviar uma comunicação dispendiosa para os clientes, podemos enviar apenas uma por casa, tendo essa indicação.

Estes são dois dos exemplos, mas podemos ainda ter a deduplicação por quadro de empresa, para além de deduplicações de outro tipo, tudo o que seja passível de ser deduplicado.

Desta vez vou iniciar uma série de post's relativos à deduplicação (foi este o termo que "aprendi" a usar e que uso com mais frequência) em modo batch.

Existem alguns acrónimos que por vezes importamos do Marketing para designar as diferentes deduplicações existentes, mais usualmente utilizadas. B2C, B2B e B2H, significando deduplicação por Individuo, por Empresa e por Household. No caso da deduplicação por Empresa pode ter incluída a deduplicação com individuo ou não.

Quanto às listas que podem ser incluídas nestas deduplicações, existem as listas Standard, Externas, Negativas e de Enriquecimento.

Depois podemos ter "afinações" diferentes em cada uma das deduplicações: Idênticos, Standard, Overkill e Underkill.

Dentro de cada uma destas "afinações" temos para cada campo várias formas de comparar os registos: Fonéticas, Similaridade, Equalização (Código Postal), Proximidade (Numero de porta) e Sinónimos.

Por fim temos as Listas de saída, numa deduplicação podemos gerar um ficheiro com os Limpos, um ficheiro com os duplicados e um ficheiro com a lista dos duplicados que inclui para alem dos duplicados os Master's desses duplicados.

Como resultado teremos vários tipos de registos: Único, Mestre, Duplicado e Ambíguo.

O registo Mestre pode ser definido por prioridade, que pode ter como origem: Categoria ou Prioridade da lista, Prioridade ou Completude do registo ou simplesmente pela ordenação.

Tudo assim de seguida pode parecer uma grande confusão, mas vou nos próximos posts desenvolver cada um dos pontos anteriores.

O Data Quality Solutions modular da Uniserv ajudá-lo-à a transformar o Customer Relationship Management num factor de sucesso para a sua empresa com dados correctos, completos e livres de duplicados em vez de ser um causador de custos.

As soluções da Uniserv aumentam o sucesso do CRM analítico, operacional, de comunicação e colaboração. Soluções especiais B2B e B2C asseguram a aplicação eficaz das suas necessidades específicas. E mesmo se você usar um eXtended Relationship Management System (xRM) em vez de um sistema convencional de CRM, as soluções mensuráveis da Uniserv oferecem-lhe um valor acrescentado para os seus dados e processos.

Data Quality Batch Suite para CRM: A suite completa de produtos para a verificação em batch totalmente automatizadas e limpeza de dados de clientes em sistemas de relacionamento com o cliente.

Data Quality Real-Time Services para CRM: Para obter qualidade de dados dos seus registos directamente na entrada dos dados e na alteração de dados de clientes em sistemas de CRM.

A nossa contribuição para o seu sucesso no CRM: Pesquisa rápida, tolerante ao erro, o reconhecimento automático de duplicados e de agrupamentos de dados por nome e morada, validação de dados e aumento ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ Real-Time Services - a nossa contribuição para o sucesso do uso do seu sistema de CRM .

VANTAGENS
Lucre com todas as Soluções de Qualidade de dados para CRM da Uniserv, incluindo:

• Óptima qualidade dos dados no sistema de CRM através da análise dos dados durante a transferência de fontes de dados existentes e através do acompanhamento permanente de novas entradas e mudanças (Data Quality Firewall)
• Revisão dos dados (limpeza de dados) de acordo com regras definidas e combinando - a contra os dados de referência (por exemplo, endereço, ...) no processamento em batch ou em tempo real
• Ambiente "Anti - envelhecimento" para os dados do seu cliente / prospect através da integração automática de informações sobre as mudanças de endereço ou de empresa renomeando tanto no B2B e B2C
• A geração automática de uma visão da família (Household) no mercado de B2C
• Os clientes satisfeitos e laços mais fortes com o cliente através de serviço de alta qualidade com base em informações de confiança de clientes.
• Optimizando vendas e planeamento de marketing e as decisões empresariais através informações de up- to-date e a elaboração de relatórios precisos.
• Extensas análises do comportamento do consumidor para o uso potencial e eficaz de upselling e cross-selling
• Campanhas de marketing eficientes e eficazes, através de selecção de endereços orientados ao objectivo e correctos, dados completos para campanhas de mailing.