Qualidade de Dados / Data Quality

O que é feito? 
Juntamente com o cliente, elaboramos uma lista dos sinais da má qualidade dos dados e analisamos os sintomas. A análise das necessidades ajuda-nos a decidir como é que os dados principais da empresa devem ser, para que possam usá-los da forma mais eficiente possível. Porque estes sinais e sintomas são muitas vezes "imaginados", vamos submetê-los a uma análise de dados para estabelecer se eles são relevantes e, ao mesmo tempo, estimar o tamanho e o grau do desafio potencial. 

Por que é feito? 
É necessário  um conhecimento preciso de seus dados  para a criação de um catálogo de medidas individuais para a sua empresa (e seu nível de qualidade no que diz respeito às exigências feitas sobre eles). A análise dos dados fornece uma visão objectiva e transparente da situação actual de seus dados. 

Como é feito? 
Durante um seminário conjunto é tomada uma decisão sobre quais os dados que vão ser objeto uma análise precisa e mais tarde aperfeiçoados com a nossa ferramenta de criação de perfil Data Analyzer. Várias análises baseadas em cada um dos sintomas de má qualidade dos dados são realizadas. Se considerarmos que existem mais desafios nos seus processos de negócio, a análise desses processos é possível também. Tomamos as revindicações específicas dos seus departamentos especializados em conta e verificamos se suas necessidades individuais sobre os dados já estão ancoradas em processos relevantes. O facto é que o processo determina o nível de qualidade de dados! Após a conclusão da análise é fornecida documentação completa sobre os resultados. Com esses resultados em mãos, o desenvolvimento de medidas individuais para optimizar e manter a qualidade dos dados podem ser elaboradas.

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se  com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Sintomas	Causa	Medidas Correctivas	Como fazer*	Valor acrescentado
Vários registos de clientes e parceiros de negócios aparecem no sistema	Antes de criar um novo registo, nenhuma verificação é feita para ver se o mesmo cliente já existe em outros lugares.	Limpe todos os dados existentes de duplicados. Crie um Golden Record e implemente um processo de pesquisa de duplicados em tempo real.	T: DQ Cleansing, DQ Protection D: Fazer os ajustes para pesquisa de duplicados E: Consolidar conjuntos de dados para um Golden Record.	Itens redundantes em conjuntos de dados são reduzidos a um mínimo. Todos os conjuntos de dados são definitivos e únicos.
O cliente por norma não sabe o seu código postal completo	O sistema não tem qualquer forma de devolver automaticamente o código postal correcto nem corrigir a morada	Implementar funções em tempo real apropriadas. De preferência corrigir todos os dados existentes	T: DQ Cleansing, DQ Protection E: Ter forma de pesquisar o código postal correcto rapidamente e eficazmente	O tempo poupado e os devolvidos evitados pela correção de moradas e códigos postais, trazem inúmeras vantagens para a empresa
Chave saudação pessoal ausente ou incorreta	As entradas nos campos do formulário são opcionais, ou o valor padrão (entrada) não é alterado.	Examine os dados para estabelecer a chave saudação correta. Implementar análise nome em tempo real.	T: DQ Cleansing, DQ Protection - Ou - E: Faça a entrada de uma chave obrigatória saudação correta.	Os endereços podem ser personalizados para campanhas de marketing directo de acordo com saudação de gênero específica apenas com o pressionar de uma tecla.
Taxas de retorno elevadas	Os detalhes da pessoa de contacto estão desatualizados, ou o endereço incompleto ou incorreto.	Corrigir e atualizar todos os endereços e contactos nos dados existentes. Implementar funções em tempo real apropriadas.	T: DQ Cleansing, DQ Protection - Ou - E: Realizar pesquisas para determinar a pessoa de contacto actual (por exemplo, usando Linkedin, ou similar).	Diminuir as taxas de retorno e taxas de resposta aumentará. As campanhas de marketing vão ter aumentos de sucesso tal como o volume de negócios.
Pessoa de contato desactualizada	Os conjuntos de dados de parceiros de negócios existentes não são verificadas para ver se eles estão atualizados ou não são atualizados automaticamente.	Criar medidas anti-envelhecimento, i.e., compare dados da empresa com um bases de dados de negócios atualizadas. Estenda o processo de atualização.	T: DQ Cleansing, DQ Protection - Ou - E: Detalhes de Pesquisa da pessoa de contacto actual (por exemplo, usando Linkedin ou similares)	O contacto pessoal directo é possível. Esforço para atualizar a pesquisa é mínima, e relações comerciais permanecem ativas.
Os funcionários queixam-se processos de trabalho ineficientes	Os processos internos não são definidos, não são conhecidos, ou simplesmente não são utilizados.	Analisar e optimizar processos de negócio. Fornecer treino a funcionários. Estender o processo de optimização.	T: DQ Analyzer D: DQ Audit, oficinas de processos e treino. Dê apoio durante o processo de implantação - Ou - E: análise de processos, treinamento, roll-out.	Processos de trabalho melhoram e a eficiência aumenta. Satisfação dos funcionários melhora.
Os funcionários reclamam do esforço de pesquisa manual que é necessário	Dados não estão atualizados ou os empregados têm pouca confiança na sua precisão. Isso resulta num maior esforço individual necessário para executar tarefas.	Conferir todos os dados procurando erros, integralidade, precisão, actualização das informações. Corrigir quaisquer erros ou inconsistências encontradas com medidas de optimização direcionadas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionadas.	Ao reduzir esforço de pesquisa, a satisfação do funcionário aumenta e as tarefas são tratadas de forma mais eficiente.
Oportunidades de cross-selling são perdidas ou não identificadas em operações de venda	O sistema contém dados redundantes ou informações complementares especificas do cliente que não são atuais, correctas ou estão incompleta.	Definir medidas individuais de optimização de acordo com o tipo de dados e os produtos afectados por oportunidades de cross-selling perdidas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionados.	Aumento de volume de negócios da empresa, como resultado de cross-selling bem sucedido.
Baixas taxas de resposta para campanhas de marketing	Os critérios de seleção estão faltando para campanhas de marketing eficazes. Os grupos de clientes errados estão a ser alvo.	Dependendo do tipo de campanha de marketing envolvida, as bases de dados são enriquecidas com dados de fornecedores externos adequados. Campos apropriados devem ser configurados nos sistemas.	T: DQ Cleansing, DQ Protection - Ou - D: Cuidado manual dos critérios de selecção E: Configurar campos para critérios de seleção na base de dados.	As campanhas de marketing obtêm as taxas de resposta mais elevadas. A empresa aumenta o volume de negócios.
Equipe de atendimento ao cliente reclama dos pobres padrões dos dados mestre de produtos	Informações sobre os produtos já vendidos não é atualizada, ou pelo contrário não representa a situação atual.	Definir um catálogo de medidas para corrigir e actualizar informações. Faça uma verificação duplicados de dados mestre de clientes e crie um Golden Record.	T: DQ Analyzer, DQ Cleansing, DQ protection              D: DQ Audit E: Consolidar conjuntos de dados para um Golden Record.	Melhoria no suporte ao produto e clientes. A satisfação do Cliente e funcionário é incrementada.
Clientes e funcionários queixam-se de dados de endereços incorretos	Erros de ortografia / digitação / audição ocorrem durante a entrada de dados.	Limpe todos os dados existentes. Implementar uma função de verificação de endereço em tempo real para assegurar que apenas os dados de endereços correctos são transferidos para o sistema.	T: DQ Cleansing,, DQ Protection E: Processar manualmente endereços incompletos ou ambíguos.	Taxa de devolução mais baixa significa clientes e funcionários satisfeitos.
Diferentes departamentos têm diferentes pontos de vista sobre o uso dos dados	Os dados são usados ​​de maneiras diferentes por diferentes departamentos; portanto, devem também cumprir exigências diferentes.	Estabelecer a utilização prevista para os dados e fazer uma avaliação qualitativa.	T: DQ Analyzer D: DQ Audit. Workshops para determinar o uso de dados - Ou - E: Esclarecer o uso pretendido de dados.	Alto nível de satisfação dos funcionários. Uso eficiente de dados em todos os diferentes departamentos.
A empresa não pode satisfazer certos requisitos legais	Procedimentos necessários para o cumprimento das exigências legais estão em falta. Possibilidades técnicas de aplicação de directivas (por exemplo, provisões anti-terrorismo) são insuficientes.	Comparar dados mestre com listas de sanções. Implementar correspondência em tempo real. Definir medidas para lidar com todos os dados correspondentes encontrados.	T: DQ Cleansing,, DQ Protection E: Decidir sobre medidas posteriores.	O cumprimento prevalecente de directivas e disposições jurídicas. Os riscos do negócio são minimizados.
Falta de planeamento de Segurança; decisões estratégicas são feitas com grande incerteza	Há pouca ou nenhuma confiança nos dados devido a padrões de dados de baixa qualidade (real ou imaginário).	Determinar medidas de optimização individuais e implementar um scorecard DQ para a monitorização da qualidade dos dados.	T: DQ Analyzer, DQ Cleansing,DQ Protection D: DQ Audit, DQ Scorecard E: Implementar medidas DQ.	A administração pode confiar nos dados da empresa e com confiança tomar decisões estratégicas. Os riscos do negócio são minimizados.
Análise feita internamente dos campos de dados selecionados não fornece quaisquer resultados úteis	Os campos são preenchidos com informações diferentes das previstas.	Análise o conteúdo do campo e sua finalidade. Adaptar os processos e modelos de entrada. Implantação de novos campos e processos.	T: DQ Analyzer. Além disso DQ Cleansing e DQ Protection, se necessário. D: DQ Audit E: Adaptar os sistemas e processos. Fornecer treino aos funcionários	Informação correta é inserida nos campos como previsto. Análises fornecem resultados significativos.

Qualidade de dados a cem por cento é um mito. Comecei mais uma vez com uma afirmação que faço muitas vezes e poderá ser perturbadora, mas considero ser um principio fundamental para conseguirmos obter a melhor qualidade de dados possível. E é essa mesma percepção que deve ser o ponto de partida que precisamos para realmente alcançar uma melhor qualidade dos dados. A segunda percepção é que, sem o compromisso de toda a empresa, a qualidade dos dados fica quase uma causa perdida. A terceira percepção é que é necessário ter e usar todas as ferramentas disponíveis para melhorar os níveis de qualidade dos dados e continuar sempre a usá-las.

Porque é que a qualidade dos dados é importante?

Um pouco ciclicamente vamos ouvindo que a qualidade dos dados é importante porque é fundamental para o CRM,  porque é fundamental para o BI,  porque é fundamental para o BIG DATA, porque é fundamental para o MDM, ... mas na realidade, muitas vezes opta-se pela implementação destes grandes projectos sem a ajuda de ferramentas de qualidade de dados. Sem estas ferramentas é quase o mesmo que querer entrar em competição, mas não querer gastar dinheiro em preparadores físicos. Existe quase tudo para ganhar, a técnica, o conhecimento, a táctica, agilidade e até muita vontade. Mas quando se inicia a competição as coisas até se iniciam bem, mas passado algum tempo começam a notar-se as dificuldades. 

Na utilização dos dados das empresas é precisamente a mesma coisa. Se olharmos para os dados do ponto de vista do "treinador" dos dados, normalmente eles até estão bem, o pior é quando os dados são necessários para o envio por exemplo das declarações do IRS. Aí as coisas começam a não parecer já tão bem assim, porque foram devolvidas muitas cartas. Ou quando tentamos saber quantos cliente únicos existem na realidade. Com algumas perguntas facilmente chegamos à conclusão que o CRM não está a ter is resultados esperados, que os relatórios do BI não são bem iguais à percepção existente pelo negócio, que quando necessitamos de Small data do Big Data não se consegue ter os dados pretendidos, ou que o MDM afinal tem vários dados mestre em vez de ter apenas um Golden Record.

Tal campanhas de marketing para os clientes e prospects existentes são sempre apenas tão boas quanto os dados em que elas se baseiam. Por exemplo, se os seus dados estão desactualizados, as suas campanhas serão incorretamente endereçadas e enviadas para a pessoa errada dentro de uma organização. Isto não só desperdiça tempo e dinheiro, mas também tem o potencial de prejudicar a sua reputação comercial. O que pensaria se já estivesse num cargo há mais de um ano e ainda estivesse a receber convites dirigidos à pessoa que substituiu? O que pensaria se recebesse esses convites em duplicado ou triplicado?

Com os dados de negócios a mudar a um ritmo rápido e com taxas de redução de negócios, manter os seus dados limpos e actualizados pode ser difícil. No entanto, se poder manter essas taxas de decomposição, no mínimo, será recompensado com campanhas mais direcionadas, reduzindo custos e melhorando o retorno sobre o investimento.

1 . Seja realista

A chave para melhorar a qualidade dos dados é entender antes de tudo que os seus dados nunca vão ser tão bons quanto pensa que são. Não existe tal coisa como 100 por cento de dados precisos. Depois de ver a verdade sobre os dados, pode ver os pontos fracos e entender quais os passos que precisa tomar para melhorar os seus níveis de qualidade dos dados.

2 . Defina a propriedade

Se a qualidade dos dados é de responsabilidade do marketing, vendas , atendimento ao cliente ou mais ou menos toda a gente dentro de sua organização, então não existe nenhuma responsabilidade - está a faltar compromisso.

Para a qualidade de dados ter hipótese real de vingar, o compromisso tem de vir de cima e de ser atribuído a um indivíduo nomeado - quanto mais alto da "cadeia alimentar" melhor.  Mais que um projecto a qualidade de dados deveria ser um departamento, com um responsável.

3 . Receba os processos correctamente

Já ouviu o "ditado" "entra lixo, sai lixo"? Quando se trata de qualidade de dados, precisa para ter os melhores processos para garantir que todos os dados capturados são recolhidos e armazenados de forma consistente.

Normalmente os dados vêm de muitas fontes diferentes, por isso é essencial que esta informação seja sempre adicionada nas suas base de dados num formato correcto. Isso pode ser tão simples como garantir que todos os campos relevantes são inseridos, como o nome do contacto, o endereço, incluindo o código postal correto e número de telefone. Se houver informação em falta, deve ser verificada e adicionada. Este é sempre o ponto fundamental onde se pode com menores custos assegurar a qualidade dos dados. É nesta fase que ao estar em contacto com o cliente, podemos dissipar duvidas, evitando que entrem no sistema, porque depois desta fase, já só com custos muito elevados poderemos reverter a falta de qualidade dos dados.

4 . Gerir as interações com clientes

Todos os contactos que ocorrem dever ser tomados em consideração quando uma empresa considera esses contactos de negócios como parte dos processos de negócios regulares. Estes contactos proporcionam oportunidades para a aquisição de novos dados, para a qualificação dos contatos existentes, adicionando informações complementares aos seus registos, a verificação ou atualização dos dados existentes. Eles oferecem uma proteção importante contra o atrito dos dados. Deve considerar todos esses contactos dentro dos seus processos de negócios, onde eles ocorrem e como a oportunidade pode ser maximizada.

5 . Auditoria aos seus dados

Auditorias de dados são uma boa maneira de verificar se os dados que tem, como actualizar e que lacunas precisa para preencher. A auditoria de dados também ajuda a identificar que partes dos seus processos de dados estão a funcionar e quais precisam de atualização. Por exemplo, onde estão a ser criados os erros? É quando as informações estão a ser introduzidas, ou os erros resultam da falta de formação?

De qualquer forma, é importante identificar onde os erros ocorrem, de modo que os processos possam ser corrigidos para evitar os erros que ocorrem em primeiro lugar - de modo que os dados estejam correctos logo na primeira vez que são adicionados.

Auditorias de dados podem ser realizadas tanto interna como externamente, e em combinação. Por exemplo, fornecemos "exames de saúde" gratuitos de dados para que possa verificar a qualidade dos dados. Com o relatório do "exame de saúde" completo poderá entender algumas das questões que estão presentes nos seus dados, pode então, utilizar fontes de dados internas e externas para melhorar a formatação dos seus dados e para combinar e melhorar os seus dados. 

6 . É melhor prevenir do que remediar

É mais rentável e eficiente para manter seus dados logo no ponto de entrada ao invés de efectuar uma revisão a cada dois anos, quando eles já vão estar completamente desactualizados, obrigando assim a um esforço humano e financeiro muito grande para a sua actualização.

Também é importante compreender a qualidade dos dados no contexto de como os dados são para ser usados ​​e como eles são recolhidos em primeiro lugar. Qualidade para uma finalidade não significa qualidade para outra. Por exemplo, a recolha e uso de endereços de uma sede de uma companhia só pode ser útil num contexto, mas não se os detalhes que realmente interessam são os de algum departamento especifico que está fisicamente em outro local.

Nos próximos posts irei detalhar cada um dos diferentes problemas e formas de os resolver. 

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

Depois de um interregno demasiadamente longo, vamos tentar retomar o ritmo de colocação de post's.      

Há um sem número de tópicos que quero abordar, mas para iniciar este novo ciclo, optei pelo MDM, logicamente em conjunto com a Qualidade de Dados.

Primeiro que tudo o que é o MDM? Se formos ver a definição da Wikipédia, teremos: "master data management (MDM) compreende um conjunto de processos e ferramentas que definem consistentemente e gerenciam os  dados mestres  (i.e.  não transacionais) de uma organização  (que pode conter  dados referenciais). MDM tem o objetivo de prover processos para coletar, agregar, combinar, consolidar, garantir a qualidade, persistir e distribuir estes dados a toda a organização para garantir a consistência e o controle nas futuras manutenções e uso desta informação."

Logo de seguida temos uma explicação mais simples: "Basicamente, MDM procura garantir que uma organização não utilize múltiplas (potencialmente inconsistentes) versões de um mesmo dado mestre em diferentes partes de sua operação, o que ocorre normalmente em grandes organizações."

Acrescento um exemplo que todos já devem ter tido, que é a alteração de uma morada num fornecedor de serviços que continua a enviar a correspondência para a morada anterior, com todos os problemas que daí podem advir. Mas o MDM não se fica apenas pelo chamado CMDM (customer master data management). 

Existem mais domínios em que podemos ter necessidade um MDM, aqui ficam alguns dos principais:

- MDM para Dados repartidos (Party Data)
Gerir e controlar hierarquias complexas de várias fontes.

- MDM para Dados do Produto
Gerir e controlar informações complexas sobre o produto

- MDM para Recursos Humanos
Gerir e controlar os dados dos seus empregados e as hierarquias de RH

- MDM no sector Financeiro e Contabilidade
Gerir e controlar hierarquias financeiras

No próximo post abordarei o CMDM em conjunto com a qualidade de dados, como factor essencial para o sucesso.

*Por opção do autor, este artigo não foi escrito de acordo com o novo Acordo Ortográfico

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos.  Ou seja, há ferramentas  disponíveis  para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma  consciencialização  que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato. 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt