Qualidade de Dados / Data Quality

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

Depois de um interregno demasiadamente longo, vamos tentar retomar o ritmo de colocação de post's.      

Há um sem número de tópicos que quero abordar, mas para iniciar este novo ciclo, optei pelo MDM, logicamente em conjunto com a Qualidade de Dados.

Primeiro que tudo o que é o MDM? Se formos ver a definição da Wikipédia, teremos: "master data management (MDM) compreende um conjunto de processos e ferramentas que definem consistentemente e gerenciam os  dados mestres  (i.e.  não transacionais) de uma organização  (que pode conter  dados referenciais). MDM tem o objetivo de prover processos para coletar, agregar, combinar, consolidar, garantir a qualidade, persistir e distribuir estes dados a toda a organização para garantir a consistência e o controle nas futuras manutenções e uso desta informação."

Logo de seguida temos uma explicação mais simples: "Basicamente, MDM procura garantir que uma organização não utilize múltiplas (potencialmente inconsistentes) versões de um mesmo dado mestre em diferentes partes de sua operação, o que ocorre normalmente em grandes organizações."

Acrescento um exemplo que todos já devem ter tido, que é a alteração de uma morada num fornecedor de serviços que continua a enviar a correspondência para a morada anterior, com todos os problemas que daí podem advir. Mas o MDM não se fica apenas pelo chamado CMDM (customer master data management). 

Existem mais domínios em que podemos ter necessidade um MDM, aqui ficam alguns dos principais:

- MDM para Dados repartidos (Party Data)
Gerir e controlar hierarquias complexas de várias fontes.

- MDM para Dados do Produto
Gerir e controlar informações complexas sobre o produto

- MDM para Recursos Humanos
Gerir e controlar os dados dos seus empregados e as hierarquias de RH

- MDM no sector Financeiro e Contabilidade
Gerir e controlar hierarquias financeiras

No próximo post abordarei o CMDM em conjunto com a qualidade de dados, como factor essencial para o sucesso.

*Por opção do autor, este artigo não foi escrito de acordo com o novo Acordo Ortográfico

Qualidade dos dados. Muito se escreveu e continua a escrever sobre o tema. Trabalho como Consultor nesta área já faz 13 anos. Recordo-me que, nessa altura, falar do tema numa reunião com um cliente ou potencial cliente era quase um trabalho de evangelho. Pouco se sabia sobre o tema e, mesmo para os mais sensíveis á problemática, não havia argumentos que convencessem alguém a gastar dinheiro com isto. Felizmente, 13 anos depois, o "mercado" aprendeu sobre o tema e, nos nossos dias, abordá-lo numa reunião provoca respostas diferentes. Hoje, mesmo os mais sépticos sabem reconhecer as vantagens destas iniciativas, mesmo que continue a ser igualmente difícil convencer os clientes a gastar dinheiro nisto e, acima de tudo, justificar o retorno do investimento deste tipo de iniciativas.

Do lado de quem tem por missão "vender" ou convencer alguém a empreender iniciativas nesta área, o discurso também mudou. Na altura, limitávamo-nos a um discurso maioritariamente técnico, tentando demonstrar a maravilha que a ferramenta X ou Y conseguia fazer com as suas funcionalidades de parsing ou com os seus algoritmos de matching. Hoje, estas funcionalidades tornaram-se um standard de qualquer ferramenta moderna na área, por isso o nosso discurso tornou-se mais tático. Falamos em Master Data Management, em Data Governance e em outros tantos "chavões" mais atuais e mais virados para negócio.

Pretendo, com este texto, transmitir uma ideia fundamental baseada na minha própria experiência ao longo deste tempo: Melhorar a qualidade dos dados é muito mais do que tecnologia. É um processo (bastante penoso) de mudança de mentalidades que poucos têm a capacidade, visão e coragem de tentar liderar e levar a cabo. Demora tempo, custa dinheiro e trás esforço. Mas, no final e a longo prazo, esta aposta pode bem ser uma enorme vantagem competitiva na empresa.

Enquanto consultor, não duvido que a componente tecnológica é importante. Porém, sem uma estratégia e metodologias adequadas, não é suficiente para garantir o sucesso das iniciativas.

De facto, a "estratégia" de que falo  vai bem além do plano tecnológico necessário: passa por um processo de mudança organizacional, de mudança de hábitos e costumes na forma e processos de trabalho da organização. Como sabemos, gerir esta mudança é um processo complexo. Superar este desafio torna qualquer organização mais ágil, mais apta para enfrentar as inevitáveis e rápidas mudanças na conjetura dos mercados.

Liderar uma iniciativa de sucesso passa, na minha opinião, pela capacidade de conseguir mobilizar toda a empresa na procura da excelência de serviço, excelência essa que não se consegue sem que todos se unam na recolha, tratamento e uso de informação verdadeira, válida ,coerente e atualizada: Em duas palavras, informação "de Qualidade".

Abraçar esta estratégia passa, na minha opinião, por endereçar eficazmente os seguintes vetores basilares:

Definir claramente quem são os "owners" da informação

Temos vindo a assistir a uma mudança de paradigma: o ownership dos dados está a transitar do departamento de TI (tradicionalmente apontado como "dono" dos dados ou responsabilizado pelas suas inconsistências) para as unidades de negócio. São elas os "consumidores" da informação, quem beneficia (ou sofre) com a boa (ou fraca) qualidade dos dados que utiliza e dos quais depende. Entendemos que, se são as áreas de negócio o público-alvo dos dados, deverão, também, ser estas a assumir para si o papel de donos da informação. Ser "dono" da informação não implica assumir mais uma responsabilidade. Implica, também, ter os meios (orçamento, calendário e recursos) para gerir as ações sobre os mesmos, garantindo que se gere a qualidade dos dados exatamente da mesma forma como se gere qualquer projeto: Definindo prioridades de atuação, possuindo um orçamento, calendário e recursos afetos e funcionando coordenado com os outros departamentos da empresa. Numa frase, pretendo transmitir a ideia de que devem ser os departamentos com funções de negócio os dinamizadores das iniciativas e não só os "clientes" destas. Deverão ser estes os responsáveis pela execução das mesmas, possuir um orçamento, elaborar o calendário e afetar recursos, com uma coordenação perfeita com todos os departamentos "de suporte" na empresa;

Definir os segmentos de informação a controlar e implementar os mecanismos de monitorização periódica da qualidade desses dados

Sabemos que ninguém em nenhum departamento da empresa é levado a sério quando aponta inconsistências nos dados ou explica o quanto os seus processos de negócio "sofrem" com essas inconsistências. Se, numa reunião com decisores, não formos munidos dos números que quantifiquem essas inconsistências, é certo e sabido que aquele tema que nos levou a reunir depressa cairá no esquecimento. Mais... Nem conseguiremos o objetivo de captar a atenção de quem decide.

É óbvio que, de uma forma qualitativa, devemos entender as causas e os impactos que um menor nível de qualidade dos dados nos impõe. Porém, esta nossa análise deve estar fundamentada pelo aspeto quantitativo: Sermos capazes de "medir" eficazmente a extensão dos problemas. Selecionar a informação a controlar e implementar os processos de medição periódica dos níveis de qualidade desses mesmos dados é fundamental. Superado este objetivo, o passo lógico seguinte será a definição de objetivos a atingir e a classificação da qualidade da informação como "suficiente" ou "insuficiente" para utilização no processo de negócio A ou B da empresa;

Gerir a qualidade dos dados de forma ativa

Uma significativa parte das empresas é reativa no que toca a assuntos relacionados com a qualidade dos seus dados. Quando o fraco nível de qualidade dos mesmos já afetou (em grande parte dos casos, grandemente) as operações da empresa, quando nos vimos perante impactos consumados, reagimos com a tentativa de correção desses mesmos dados. Entendo que esta tendência tem de mudar do capítulo reativo para o capítulo ativo: Aprender que a qualidade dos dados deve passar a ser um processo gerido onde, o mais possível, é a empresa que tem o controlo e que é capaz de determinar e prioritizar o que deve ser corrigido e quando se devem levar a cabo tais intervenções.

Criar um centro de competências na área da qualidade dos dados

Criar, internamente, as competências de "know how" técnico e metodológico reunidas em torno de uma equipa de profissionais que assume a responsabilidade de liderar a implementação dos mais variados processos de auditoria e limpeza dos dados da empresa. Essa equipa deverá misturar as variadas competências técnicas necessárias para estes trabalhos e atuar como veículo de divulgação metodológica, definindo "Boas práticas" de desenvolvimento, formando outras áreas da empresa, etc.;

Implementar e fomentar uma cultura de responsabilização

Por fim, mas não menos importante, é preciso fomentar uma cultura de excelência nos "produtores" dos dados, premiando quem gera informação de qualidade e fomentando um maior nível de exigência nos restantes. Este é, na minha opinião, um dos aspetos mais difíceis de atingir mas, a longo prazo, dos objetivos mais críticos: Sensibilizar quem gera informação para deixar de ser "parte do problema" para passar a ser "parte importante da solução". Globalmente, todos os intervenientes beneficiam com a existência de informação de qualidade. Todos deverão ser parte ativa na melhoria e proteção de um dos mais preciosos activos da empresa: Os seus dados.

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Mas estes são apenas algumas das vantagens, ainda podemos continuar a enumerar mais algumas:

5. Melhoramento da imagem corporativa, melhorando a reacção às necessidades dos clientes. Criando uma Base de Dados de Clientes de alta qualidade, permitindo o melhoramento das comunicações adaptando-as às preferências pessoais de cada cliente, estabelecendo assim relações de confiança e de longa duração.

6 Melhoramento dos serviços oferecidos, porque passamos a saber melhor quais as necessidades dos clientes, reduzindo os tempos de entrega e evitando entregas múltiplas.

7. Entendendo melhor os dados, conhecendo os conteúdos e a estrutura onde assentam os dados, incremento da rapidez de resposta às iniciativas de qualidade de dados, migração de dados mais rápida, barata e confiável. Melhoramento do uso dos recursos tanto em humanos como de TI.

8. Medição e controlo nas iniciativas de qualidade de dados, garantindo a consistencia dos dados ao longo de todo o ciclo de vida do projecto. Eliminação dos risco de propagação de dados incorrectos, automatizando uma monitorização de regras previamente definidas e garantindo a entrega atempada de informação confiável.

Por vezes quando se está a fazer comunicação B2C (business-to-consumer) o que deveria ser feito realmente era comunicação B2H (business-to-household).

O dinheiro que se gasta desnecessariamente sempre que é feita uma comunicação offline em criatividade, produção, handling e portes, em material que vai duplicado e triplicado para a mesma casa é um valor que todas as empresas deveriam ter em consideração. A estes custos ainda podemos juntar os devolvidos por moradas mal endereçadas por falta de um software que faça a normalização dos dados.

Com a existência de uma chave de household ficamos com a possibilidade de fazer envios, personalizados segundo o target que pretendemos. Se tivermos uma peça que será dirigida apenas às mulheres de uma casa, podemos assim evitar fazer o envio da peça para mãe e filha que constem da nossa BD, mas apenas para aquela que mais se adequar à peça a enviar.

A deduplicação feita por household não é fácil de executar, encontramos inúmeras dificuldades, das quais destaco, households que são constituídos por indivíduos com nomes de família diferentes, a existência de moradas que podem ser moradas de trabalho ou residências partilhadas.

Quais são os limites de tolerância que deve ter o projecto?

Por norma todas as aplicações são parametrizáveis e estes limites devem ser tomados em conta, não de uma forma genérica, mas mais uma vez, com a experiencia adquirida. Tal como foi dito nos pontos anteriores todas as BD's são únicas e como tal têm de ter tratamentos diferenciados. Imaginemos que temos uma BD na qual temos uma deduplicação já testada e experimentada, em que o valor de match tem um valor ideal. Mas entretanto foi criado mais um campo que ajuda na deduplicação dos registos, como tal deveremos mudar os limites para termos a certeza que os duplicados são encontrados.

O mesmo se passa relativamente aos parâmetros dos softwares real time. Ao longo do tempo poder-se-á verificar que é necessário fazer acertos porque os utilizadores por exemplo usam mais uma variável que outras para fazer pesquisas. Como tal temos de na parametrização evidenciar essa variável para que os resultados sejam totalmente satisfatórios. Com isto apenas se demonstra que embora os limites devam existir, existe com estas ferramentas sempre a possibilidade de fazer afinações.