Qualidade de Dados / Data Quality

O que é feito? 
Juntamente com o cliente, elaboramos uma lista dos sinais da má qualidade dos dados e analisamos os sintomas. A análise das necessidades ajuda-nos a decidir como é que os dados principais da empresa devem ser, para que possam usá-los da forma mais eficiente possível. Porque estes sinais e sintomas são muitas vezes "imaginados", vamos submetê-los a uma análise de dados para estabelecer se eles são relevantes e, ao mesmo tempo, estimar o tamanho e o grau do desafio potencial. 

Por que é feito? 
É necessário  um conhecimento preciso de seus dados  para a criação de um catálogo de medidas individuais para a sua empresa (e seu nível de qualidade no que diz respeito às exigências feitas sobre eles). A análise dos dados fornece uma visão objectiva e transparente da situação actual de seus dados. 

Como é feito? 
Durante um seminário conjunto é tomada uma decisão sobre quais os dados que vão ser objeto uma análise precisa e mais tarde aperfeiçoados com a nossa ferramenta de criação de perfil Data Analyzer. Várias análises baseadas em cada um dos sintomas de má qualidade dos dados são realizadas. Se considerarmos que existem mais desafios nos seus processos de negócio, a análise desses processos é possível também. Tomamos as revindicações específicas dos seus departamentos especializados em conta e verificamos se suas necessidades individuais sobre os dados já estão ancoradas em processos relevantes. O facto é que o processo determina o nível de qualidade de dados! Após a conclusão da análise é fornecida documentação completa sobre os resultados. Com esses resultados em mãos, o desenvolvimento de medidas individuais para optimizar e manter a qualidade dos dados podem ser elaboradas.

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se  com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Sintomas	Causa	Medidas Correctivas	Como fazer*	Valor acrescentado
Vários registos de clientes e parceiros de negócios aparecem no sistema	Antes de criar um novo registo, nenhuma verificação é feita para ver se o mesmo cliente já existe em outros lugares.	Limpe todos os dados existentes de duplicados. Crie um Golden Record e implemente um processo de pesquisa de duplicados em tempo real.	T: DQ Cleansing, DQ Protection D: Fazer os ajustes para pesquisa de duplicados E: Consolidar conjuntos de dados para um Golden Record.	Itens redundantes em conjuntos de dados são reduzidos a um mínimo. Todos os conjuntos de dados são definitivos e únicos.
O cliente por norma não sabe o seu código postal completo	O sistema não tem qualquer forma de devolver automaticamente o código postal correcto nem corrigir a morada	Implementar funções em tempo real apropriadas. De preferência corrigir todos os dados existentes	T: DQ Cleansing, DQ Protection E: Ter forma de pesquisar o código postal correcto rapidamente e eficazmente	O tempo poupado e os devolvidos evitados pela correção de moradas e códigos postais, trazem inúmeras vantagens para a empresa
Chave saudação pessoal ausente ou incorreta	As entradas nos campos do formulário são opcionais, ou o valor padrão (entrada) não é alterado.	Examine os dados para estabelecer a chave saudação correta. Implementar análise nome em tempo real.	T: DQ Cleansing, DQ Protection - Ou - E: Faça a entrada de uma chave obrigatória saudação correta.	Os endereços podem ser personalizados para campanhas de marketing directo de acordo com saudação de gênero específica apenas com o pressionar de uma tecla.
Taxas de retorno elevadas	Os detalhes da pessoa de contacto estão desatualizados, ou o endereço incompleto ou incorreto.	Corrigir e atualizar todos os endereços e contactos nos dados existentes. Implementar funções em tempo real apropriadas.	T: DQ Cleansing, DQ Protection - Ou - E: Realizar pesquisas para determinar a pessoa de contacto actual (por exemplo, usando Linkedin, ou similar).	Diminuir as taxas de retorno e taxas de resposta aumentará. As campanhas de marketing vão ter aumentos de sucesso tal como o volume de negócios.
Pessoa de contato desactualizada	Os conjuntos de dados de parceiros de negócios existentes não são verificadas para ver se eles estão atualizados ou não são atualizados automaticamente.	Criar medidas anti-envelhecimento, i.e., compare dados da empresa com um bases de dados de negócios atualizadas. Estenda o processo de atualização.	T: DQ Cleansing, DQ Protection - Ou - E: Detalhes de Pesquisa da pessoa de contacto actual (por exemplo, usando Linkedin ou similares)	O contacto pessoal directo é possível. Esforço para atualizar a pesquisa é mínima, e relações comerciais permanecem ativas.
Os funcionários queixam-se processos de trabalho ineficientes	Os processos internos não são definidos, não são conhecidos, ou simplesmente não são utilizados.	Analisar e optimizar processos de negócio. Fornecer treino a funcionários. Estender o processo de optimização.	T: DQ Analyzer D: DQ Audit, oficinas de processos e treino. Dê apoio durante o processo de implantação - Ou - E: análise de processos, treinamento, roll-out.	Processos de trabalho melhoram e a eficiência aumenta. Satisfação dos funcionários melhora.
Os funcionários reclamam do esforço de pesquisa manual que é necessário	Dados não estão atualizados ou os empregados têm pouca confiança na sua precisão. Isso resulta num maior esforço individual necessário para executar tarefas.	Conferir todos os dados procurando erros, integralidade, precisão, actualização das informações. Corrigir quaisquer erros ou inconsistências encontradas com medidas de optimização direcionadas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionadas.	Ao reduzir esforço de pesquisa, a satisfação do funcionário aumenta e as tarefas são tratadas de forma mais eficiente.
Oportunidades de cross-selling são perdidas ou não identificadas em operações de venda	O sistema contém dados redundantes ou informações complementares especificas do cliente que não são atuais, correctas ou estão incompleta.	Definir medidas individuais de optimização de acordo com o tipo de dados e os produtos afectados por oportunidades de cross-selling perdidas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionados.	Aumento de volume de negócios da empresa, como resultado de cross-selling bem sucedido.
Baixas taxas de resposta para campanhas de marketing	Os critérios de seleção estão faltando para campanhas de marketing eficazes. Os grupos de clientes errados estão a ser alvo.	Dependendo do tipo de campanha de marketing envolvida, as bases de dados são enriquecidas com dados de fornecedores externos adequados. Campos apropriados devem ser configurados nos sistemas.	T: DQ Cleansing, DQ Protection - Ou - D: Cuidado manual dos critérios de selecção E: Configurar campos para critérios de seleção na base de dados.	As campanhas de marketing obtêm as taxas de resposta mais elevadas. A empresa aumenta o volume de negócios.
Equipe de atendimento ao cliente reclama dos pobres padrões dos dados mestre de produtos	Informações sobre os produtos já vendidos não é atualizada, ou pelo contrário não representa a situação atual.	Definir um catálogo de medidas para corrigir e actualizar informações. Faça uma verificação duplicados de dados mestre de clientes e crie um Golden Record.	T: DQ Analyzer, DQ Cleansing, DQ protection              D: DQ Audit E: Consolidar conjuntos de dados para um Golden Record.	Melhoria no suporte ao produto e clientes. A satisfação do Cliente e funcionário é incrementada.
Clientes e funcionários queixam-se de dados de endereços incorretos	Erros de ortografia / digitação / audição ocorrem durante a entrada de dados.	Limpe todos os dados existentes. Implementar uma função de verificação de endereço em tempo real para assegurar que apenas os dados de endereços correctos são transferidos para o sistema.	T: DQ Cleansing,, DQ Protection E: Processar manualmente endereços incompletos ou ambíguos.	Taxa de devolução mais baixa significa clientes e funcionários satisfeitos.
Diferentes departamentos têm diferentes pontos de vista sobre o uso dos dados	Os dados são usados ​​de maneiras diferentes por diferentes departamentos; portanto, devem também cumprir exigências diferentes.	Estabelecer a utilização prevista para os dados e fazer uma avaliação qualitativa.	T: DQ Analyzer D: DQ Audit. Workshops para determinar o uso de dados - Ou - E: Esclarecer o uso pretendido de dados.	Alto nível de satisfação dos funcionários. Uso eficiente de dados em todos os diferentes departamentos.
A empresa não pode satisfazer certos requisitos legais	Procedimentos necessários para o cumprimento das exigências legais estão em falta. Possibilidades técnicas de aplicação de directivas (por exemplo, provisões anti-terrorismo) são insuficientes.	Comparar dados mestre com listas de sanções. Implementar correspondência em tempo real. Definir medidas para lidar com todos os dados correspondentes encontrados.	T: DQ Cleansing,, DQ Protection E: Decidir sobre medidas posteriores.	O cumprimento prevalecente de directivas e disposições jurídicas. Os riscos do negócio são minimizados.
Falta de planeamento de Segurança; decisões estratégicas são feitas com grande incerteza	Há pouca ou nenhuma confiança nos dados devido a padrões de dados de baixa qualidade (real ou imaginário).	Determinar medidas de optimização individuais e implementar um scorecard DQ para a monitorização da qualidade dos dados.	T: DQ Analyzer, DQ Cleansing,DQ Protection D: DQ Audit, DQ Scorecard E: Implementar medidas DQ.	A administração pode confiar nos dados da empresa e com confiança tomar decisões estratégicas. Os riscos do negócio são minimizados.
Análise feita internamente dos campos de dados selecionados não fornece quaisquer resultados úteis	Os campos são preenchidos com informações diferentes das previstas.	Análise o conteúdo do campo e sua finalidade. Adaptar os processos e modelos de entrada. Implantação de novos campos e processos.	T: DQ Analyzer. Além disso DQ Cleansing e DQ Protection, se necessário. D: DQ Audit E: Adaptar os sistemas e processos. Fornecer treino aos funcionários	Informação correta é inserida nos campos como previsto. Análises fornecem resultados significativos.

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos.  Ou seja, há ferramentas  disponíveis  para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma  consciencialização  que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato. 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Está documentado que a falta de confiança é um dos maiores problemas associados à fraca qualidade dos dados. Muitas organizações têm reconhecido isso e dado passos significativos para limpar seus dados. Mas mesmo estas organizações ainda enfrentam grandes problemas de qualidade de dados. Num mundo cada vez mais em tempo real e 24x7 já não é aceitável que haja um desfasamento entre a criação dos dados e a sua validação - o que resulta em decisões de negócios importantes com base em nada mais do que conjecturas.

Defendemos que uma abordagem mais gradual e generalizada à qualidade dos dados é necessária - quando é melhor prevenir do que remediar. Trata-se de uma clara estratégia de compromisso, numa mudança de cultura com o "foco na qualidade dos dados", expandindo para além das TI's para incluir mais pessoas que realmente usam os dados do dia-a-dia, e para que os funcionários em todos os níveis dentro da organização estejam conscientes da importância de ter boa qualidade dos dados. Esta maior participação resulta numa maior consciência e uma maior atenção - o efeito final serão dados em que todos possam confiar e uma redução de custos.

Os benefícios da adopção de uma abordagem de qualidade generalizada de dados incluem: - Tomar decisões mais inteligentes com base em dados consistentes, limpos e precisos. - Dados em que pode confiar. - Elimine os dispendiosos erros operacionais e atrasos enquanto diminui a dependência de recursos de TI limitados. - Assegure que os dados permanecem limpos e compatíveis com as regras e processos reutilizáveis. - Atrair e manter clientes com a máxima qualidade de serviço e apoio em todos os pontos de contacto do cliente. - Descobrir rapidamente novos mercados e oferecer novos produtos de forma mais eficiente. - Eliminar falhas de comunicação entre negócios e TI. - Produzir de forma eficiente os dados dos relatórios de cumprimento de que estão correctas e precisas - eliminando o risco de sanções devido a dados incorrectos ou incompletos.

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido.

Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja:
- 15% de duplicados
- 5% de moradas em falta e
- 20% de moradas incorrectas.

Tendo como base um o custo de 0,25€ por cada peça enviada e um custo de envio de 0,25€, nestes 400.000 registos que são enviados "indevidamente", existe um custo total de 200.000€ por cada envio. Se nestes conseguirmos uma redução de 25% (presumivelmente, valor fácil de atingir) teremos uma redução de custos de 50.000€. Mas se tomarmos em consideração que com o tratamento de moradas, conseguimos assinalar as moradas que podem não estar totalmente correctas, poderemos ainda ter reduções mais significativas.

Como se pode ver pelos valores da taxa de leitura automática para descontos nos CTT os valores "normais" rondam os 60 e os 70%. Dos 70% para cima já é considerado um valor bom, tendo já direito ao desconto máximo, no caso em análise estamos com um erro de moradas a rondar os 25% ou seja já com o desconto máximo logo à partida. Mas em muitos casos certamente que não é esta a realidade, sendo possível aqui ter uma poupança considerável porque o desconto é de 1% entre os 60 e os 70% e de 3% acima dos 70%.

Relembrar apenas que o valor que considerei está longe dos 0,47€ que custa o envio de uma peça em formato normalizado até 20g. Seria necessário um desconto de quase 50%.

Juntando estes valores com os valores anteriores e a questão que fica é apenas porque é que a qualidade dos dados continua em muitos casos a ser negligenciada.