Qualidade de Dados / Data Quality

Na grande maioria dos casos os projectos de limpeza de dados ou qualidade de dados, são projectos simples de ETL, em que existem várias abordagens.

Há projectos que são "simples". É feita a Extracção dos dados, o seu tratamento (Transform) e posteriormente o seu carregamento em BD (Load). Com estes projectos há uma aproximação a uma verdadeira qualidade de dados, mas se "olharem" com mais atenção vão verificar que na realidade, os dados nunca chegaram realmente a ficar limpos nos valores que são apresentados. Estes processos de ETL demoram algum tempo, e durante esse tempo, alguns dos dados que estão a ser tratados, estão a ser alterados pelos utilizadores. Ou seja, quando a BD é reposta, esses dados para alem de não poderem ser carregados, as alterações que entretanto foram efectuadas trouxeram mais "lixo" para o sistema.

E depois? Na semana seguinte a este projecto há novos dados, alterações e todo um conjunto de processos que fazem os dados voltar ao seu estado de falta de qualidade.

Existem outras abordagens, que já vi serem implementadas por grandes empresas em Portugal, que são ainda mais chocantes, que é a execução de projectos de ETL de forma progressiva. Ou seja, primeiro por exemplo tratam os registos que têm o código postal 1000. Depois os 1050 e assim sucessivamente. Este processo apenas permite que uma empresa fique eternamente a fazer a limpeza de dados, porque quando chegam ao fim do processo, estão os dados iniciais já totalmente "sujos". Apenas continuam o processo Ad aeternum.

Os processos ETL devem ser o principio de qualquer projecto de qualidade de dados. Durante o processo de ETL deve ser implementada uma solução online que permita a manutenção dos dados actualizados, evitando assim estar sempre a implementar processos ETL, com os elevados custos inerentes.

Aqui podem ver uma demonstração de como podem funcionar estas aplicações que em termos de moradas evitam a entrada de "lixo" para o sistema.

Tudo o devemos ter em conta relativamente à qualidade dos dados:
- Os dados assim que entram no sistema já estão desactualizados
- A conversão de dados é um dos maiores problemas de qualidade de dados
- Convencer os responsáveis que a qualidade de dados é um problema é um desafio.
- Tem sempre de haver num€ros para se poder fundamentar um projecto de DQ
- O projecto de DQ tem de ser um projecto global, envolvendo TODA a empresa.
- Nada se compara a uma validação dos dados logo no seu input. Todos os projectos posteriores de ETL vão ter sempre resultados muito inferiores.
- A chave para termos os melhores dados é pensarmos que os dados nunca estão tão bons como pensamos.
- Não existe perfeição, não existe 100% de dados correctos, mas podemos ficar perto.
- Quem é responsável pela qualidade dos dados na empresa? O Marketing? As Vendas? Os Serviços ao Cliente? O departamento de TI's? Nenhum dos anteriores? Deve haver sempre um responsável e quanto mais alto esse responsável estiver dentro da hierarquia da empresa melhor.
- Todo o "lixo" que entrar, vai ser "lixo" que vai para a rua. O envio desse "lixo" tem custos. O ideal é ter um filtro na entrada dos dados que faça a limpeza desses dados para evitar a entrada do "lixo".

Para haver sucesso num processo de CRM, antes têm de existir fundações fortes. E quais são as fundações de qualquer projecto de CRM? Os dados.

Se os dados não estiverem em condições, não estiverem normalizados e especialmente deduplicados será muito difícil que qualquer CRM tenha sucesso. Se o mesmo individuo tiver mais que um registo, o que vai acontecer é que há tantas possibilidades de haver problemas, que o mais certo é mais tarde ou mais cedo um deles poder vir a acontecer.

Se por exemplo, num envio de email esse individuo fizer o pedido de remoção do envio de emails, essa remoção é executada num dos registos, mas pode ser enviado posteriormente de outro registo, mesmo que o email não seja o mesmo, fica sempre uma má imagem para a empresa. O mesmo se pode passar caso esse cliente peça para alterar por exemplo uma morada. A alteração seria feita apenas num registos e continuariam a ser enviadas comunicações para a anterior morada em outro(s) registo(s) que possam existir. Estes são apenas 2 pequenos exemplos de coisas que podem correr mal por haver registos duplicados.

Tal como mostrei anteriormente num video, é possível manter a qualidade de dados em tempo real, entre outros ambientes, em SAP(R). Estas aplicações que se podem ver em funcionamento no video, são ferramentas certificadas, tendo sido as primeiras a nível mundial a terem esta distinção. A integração destas ferramentas permite que em tempo real, no momento mais importante, ou seja logo na criação do registo, se possa fazer a normalização e deduplicação, conseguindo-se com isto resultados que ficam muito acima de qualquer tratamento batch que se possa fazer posteriormente. Qualquer duvida que exista pode ser imediatamente esclarecida com o interluctor, coisa que à posteriori será sempre muito difícil.

Se o SAP não tiver tido alterações à sua estrutura, quer em termos visuais, quer em termos de estrutura de Base de Dados, esta instalação é o que se pode considerar plug & play. Caso hajam alterações, logicamente que é possível fazer essas adaptações, mas nesse caso logicamente o tempo de integração já não será de um dia para o outro, mas certamente em poucos dias é possível ter a solução em funcionamento.

Cloud, nuvem, ASP, SaaS, Software como Serviço e muitas outras designações que se vão ouvindo para definir o mesmo conceito. O conceito poderemos definir de forma muito simples como o aluguer de um software sempre via internet.

Teoricamente em termos de vantagens é uma relação win-win. O comprador tem como vantagens não necessitar de fazer a manutenção do sistema, não necessitar de se preocupar com os upgrades e tem ainda a vantagem crucial, que é o baixo custo de investimento inicial. Existe ainda a vantagem de que o investimento total fica sempre muito aquém, em caso de uma utilização moderada, do preço total da compra da aplicação. Existem ainda muitas outras vantagens, como por exemplo poder ter sempre um controle sobre os custos, ter acesso imediato a actualizações/alterações, serem sempre soluções flexíveis e evolutivas.

Por outro lado, para o fornecedor, a principal vantagem é poder chegar a mercados que de outra forma lhe estariam inacessíveis.

No caso da qualidade de dados é possível aceder aos processos de normalização de dados, falados anteriormente via SaaS. Em vez de aceder ao servidor local para poder normalizar a morada, com o SaaS esta normalização vai ser efectuada num servidor via web. Esta possibilidade está disponível, e pode ser uma solução não apenas para clientes que tenham um volume de dados que não justifique a compra das aplicações, mas também para clientes que tenham moradas estrangeiras em numero mais reduzido, mas que pretendam fazer a normalização das mesmas. Desta forma localmente fazem a normalização das moradas nacionais e via SaaS fazem a normalização das moradas estrangeiras. Neste serviço podem ser incluídas as coordenadas geográficas.

Por vezes quando se está a fazer comunicação B2C (business-to-consumer) o que deveria ser feito realmente era comunicação B2H (business-to-household).

O dinheiro que se gasta desnecessariamente sempre que é feita uma comunicação offline em criatividade, produção, handling e portes, em material que vai duplicado e triplicado para a mesma casa é um valor que todas as empresas deveriam ter em consideração. A estes custos ainda podemos juntar os devolvidos por moradas mal endereçadas por falta de um software que faça a normalização dos dados.

Com a existência de uma chave de household ficamos com a possibilidade de fazer envios, personalizados segundo o target que pretendemos. Se tivermos uma peça que será dirigida apenas às mulheres de uma casa, podemos assim evitar fazer o envio da peça para mãe e filha que constem da nossa BD, mas apenas para aquela que mais se adequar à peça a enviar.

A deduplicação feita por household não é fácil de executar, encontramos inúmeras dificuldades, das quais destaco, households que são constituídos por indivíduos com nomes de família diferentes, a existência de moradas que podem ser moradas de trabalho ou residências partilhadas.

Estão cada vez mais na voga as aplicações de BI, mas para que elas vinguem têm de ter boa informação.

Como podemos dizer que a informação da sua empresa é boa? Aqui ficam uma série de perguntas, que caso possa responder afirmativamente a todas as questões, pode acreditar que as suas ferramentas de BI vão fazer a sua função correctamente e certamente que lhe vão ser muitíssimo úteis. As perguntas que devem ser feitas relativamente à informação disponibilizada pelas ferramentas de BI são:
- Conseguimos encontrar o que procuramos?
- Está disponível quando necessitamos?
- Inclui tudo o que necessitamos?
- Conseguimos perceber?
- Está correcta?
- Podemos confiar?
- Podemos usar?
Muitas vezes chegamos à conclusão que a informação não é boa e ouvimos queixas, causa conflitos, perdas de tempo, custos elevados e fraco nível de decisão.

“90% dos gestores de topo sentem que não têm a informação necessária para decisões críticas de negócio; 50% deles têm medo que estejam a tomar decisões pouco acertadas devido a isso” Economist Intelligence Unit.

Mais uma vez tudo isto se resume à qualidade dos dados. Embora muitas vezes o que se ouve seja "deitem tudo fora e comecem de novo", isso não é de todo a solução porque caso não estejam incorporadas na empresa medidas que possam assegurar a qualidade dos dados, o que rapidamente vai acontecer à nova base de dados é ficar precisamente com os mesmos problemas que a anterior.

O projecto final entregue aos colaboradores da empresa é realmente útil?

Rapidamente todos os departamentos vão poder verificar a utilidade de um projecto destes nas suas rotinas do dia-a-dia. Por vezes, entram tão rapidamente que a dificuldade é ter noção de como as coisas funcionavam antes de o projecto entrar em actividade. Depois de os utilizadores estarem habituados a ter um sistema que os ajuda, cada vez que dão um erro na inserção da morada, ou que lhes permite colocar apenas alguns caracteres e apenas com esses fazer a normalização da morada, rapidamente se habitua e facilmente compreende a utilidade do projecto. Com o tempo vai certamente achar que o sistema é imprescindível para o dia-a-dia.

Quais são os limites de tolerância que deve ter o projecto?

Por norma todas as aplicações são parametrizáveis e estes limites devem ser tomados em conta, não de uma forma genérica, mas mais uma vez, com a experiencia adquirida. Tal como foi dito nos pontos anteriores todas as BD's são únicas e como tal têm de ter tratamentos diferenciados. Imaginemos que temos uma BD na qual temos uma deduplicação já testada e experimentada, em que o valor de match tem um valor ideal. Mas entretanto foi criado mais um campo que ajuda na deduplicação dos registos, como tal deveremos mudar os limites para termos a certeza que os duplicados são encontrados.

O mesmo se passa relativamente aos parâmetros dos softwares real time. Ao longo do tempo poder-se-á verificar que é necessário fazer acertos porque os utilizadores por exemplo usam mais uma variável que outras para fazer pesquisas. Como tal temos de na parametrização evidenciar essa variável para que os resultados sejam totalmente satisfatórios. Com isto apenas se demonstra que embora os limites devam existir, existe com estas ferramentas sempre a possibilidade de fazer afinações.

Quem devem ser os intervenientes num processo destes?

No final do projecto, toda a empresa deve ter participado no processo porque tal como foi dito, isto afecta todos os departamentos da empresa sem excepção. Numa fase inicial apenas o departamento de informática tem um maior envolvimento no projecto, mas numa fase posterior todos os departamentos são chamados a participar, especialmente se forem colocados a funcionar os softwares que funcionam em real time. Nesta fase todos os colaboradores da empresa que tenham interacção com os dados vão ser chamados a normalizar os dados. Este processo vai apenas simplificar e em muitos casos permitir poupar tempo nas rotinas de introdução/ alteração de dados.

Mesmo que existam vícios de introdução de dados, o que vai acontecer no final é que todas os colaboradores da empresa sem excepção, vão colocar os dados da mesma forma no sistema.

No link podem tentar colocar alguns dados de formas diferentes e como se pode ver no final o resultado é sempre o mesmo.

Quanto tempo demora a ter um projecto destes em funcionamento?

O tempo de implementação de um projecto de qualidade de dados depende de muitos factores: da quantidade de registos existentes, dos sistemas existentes (SO e SGBD), da qualidade actual da BD. Tudo isto são factores que podem interferir no tempo de implementação do projecto de qualidade d e dados.

Vamos então por partes. Relativamente à quantidade de registos existentes, como facilmente se compreende é totalmente diferente normalizar 5.000 registos que normalizar 5.000.000 de registos, não apenas em termos de tempos de processamento máquina, como em termos de tempos de verificação dos resultados e respectivos acertos que sejam necessários efectuar. Especialmente em termos de deduplicação. Todas as BD’s são diferentes e como tal têm de ser efectuados acertos. Não existe nenhuma fórmula mágica que sirva para todas as bd’s e estes acertos, são dos processos mais melindrosos dentro de qualquer projecto de qualidade de dados. Pode ser a diferença entre, ter uma base de dados em que se misturaram clientes que nada têm a ver um com o outro ou então onde ficaram muitos duplicados por encontrar.

Quem já alguma vez tentou retirar duplicados de uma base de dados sabe a dificuldade que esse processo acarreta, porque muitas vezes mesmo estando a olhar para dois registos parecidos, não conseguimos dizer se são duplicados ou não. Fazer isto de forma automática, aumenta a dificuldade. Como tal, apenas com técnicos altamente experimentados conseguimos ter os melhores resultados num processo tão sensivel.

Qual é o budget necessário?

Tal como referido no ponto anterior a solução depende muito da quantidade de dados existente. Existem soluções para todos os budgets. Quanto maior a quantidade de dados, maior será a utilidade das ferramentas que funcionam real time.

Embora existam outras possibilidades, a possibilidade de se fazerem limpezas de dados com alguma regularidade, existem ainda os serviços SAAS, que começam agora a ganhar força, e que permitem que se tenha uma solução a preço reduzido.

Depois logicamente e para organizações de maior dimensão, existem as ferramentas que funcionando em real time permitem que se tenham dados com muita qualidade a todo o momento, por um custo por registo muito bom.

O que vamos fornecer no final aos nossos colaboradores? O que vão ganhar com isto?

O que se vai executar numa fase inicial será a normalização/deduplicação de todos os dados para que os dados passem a ter consistência. Enquanto este processo se desenvolve deverá ser instalado um sistema online que faça a normalização e deduplicação aquando da inserção dos registos para que estes se mantenham sempre com qualidade. Esta abordagem é uma abordagem que não é muito comum no mercado, embora seja a mais avançada. Tem como base ferramentas hi-tec, e que não estão muito divulgadas no nosso mercado. Com estas ferramentas os colaboradores vão ter do seu lado ferramentas que os ajudam no seu dia a dia.

Quantos de nós não tivemos de pedir ao nosso interlocutor para repetir uma morada, porque simplesmente não estávamos a conseguir entender o que estava a ser dito. Com estas ferramentas que aqui podem ser testadas, isso deixa de ser um problema.

Com isto os nossos colaboradores ganham tempo, ganham em imagem, porque se no final ainda conseguirem dizer ao utilizador por exemplo o seu CP7, isso mostra profissionalismo.

Ganham igualmente se tiverem o modulo de georeferenciação, quando tiverem de ir para a rua e não necessitarem de andar a perguntar onde fica a rua, uma vez que já levam as coordenadas geográficas no GPS, ou antes de saírem já viram como chegar ao destino.

O procedimento tradicional nestes casos, consiste em executar processo de qualidade de dados (normalização e deduplicação) e passados uns meses, voltar a correr esse processo. Este “ciclo” tem como desvantagens os custos que ficam associados, a deterioração dos dados ao longo do tempo até à normalização seguinte.

Porque vamos fazer este projecto? Este projecto é realmente necessário?

A resposta ao porquê, já foi anteriormente respondida no post inicial deste blog, mas é sempre bom reforçar argumentos. Tal como foi dito anteriormente os dados são as fundações de qualquer empresa. Não tendo dados de qualidade, os custos operacionais podem ser enormes, embora ninguém saiba muito bem quantificar o real valor destes custos nas respectivas empresas.

Por norma estes custos estão dispersos pelos diferentes departamentos da empresa. Se pensarmos em termos do departamento de informática, passam horas incontáveis a tentar resolver problemas de integridade de dados, porque por exemplo, quando lhes é pedida uma contagem simples ao número de clientes de uma determinada zona. Como não têm capacidade imediata para dar resposta, vão verificar, muitas vezes manualmente e sem ferramentas adequadas, os registos que não têm distrito, concelho ou freguesia associada, ou até quem sabe um código postal de 7 dígitos de forma a poder cruzar com a tabela que faz a associação com os respectivos vendedores. Este é apenas um pequeno exemplo.

Depois no departamento de distribuição, por não terem as moradas normalizadas, nem com coordenadas geográficas, os carros têm de parar para pedir informações porque a rua como está escrita, não aparece no GPS, ou quem sabe andarem perdidos com os respectivos custos associados.

No departamento de Marketing, não se contabilizaram as devoluções que existem relativas à última campanha. Que têm associados custos não apenas de portes de correio, mas de criatividade da peça, desenvolvimento, impressão e envelopagem. Tudo isto são custos que se deveriam associar a cada uma daquelas peças que vieram devolvidas. Juntando a isto, temos ainda os clientes que receberam peças em duplicado ou triplicado, com os custos de imagem que isso implica.

No departamento de vendas por vezes podem não ter uma real noção dos gostos/necessidades dos respectivos clientes porque as vendas estão dispersas por mais que um registo. Como tal perdem oportunidades de vendas apenas porque o vendedor ao olhar para a ficha do cliente não tinha nesse registo a informação que ele era consumidor de um produto que por acaso nessa altura estava em promoção, de entre outros que o vendedor destacou.

Estas são apenas algumas das implicações que a falta de qualidade de dados pode trazer para dentro da organização, sendo que contabilizar todos estes valor é quase uma missão impossível.

Ainda dentro da remoção/alocação de duplicados, falada no post Limpeza de dados, existe muito mais que dizer. São inúmeras as formas de encontrar duplicados, sendo a mais comum por indivíduo. Mas podemos encontrar duplicados, não apenas por indivíduo, mas por domicílio (household), por edificação, por família, e muitos outras formas que sejam interessantes para os fins pretendidos, isto quando estamos a falar de bases de dados B2C (business to consumer). Se formos para as BD’s B2B (business to business) podemos detectar duplicados por empresa, por departamento, enfim um sem número de possibilidades.

Por norma estes softwares o que fazem é a criação de chaves que devem ficar guardadas em BD para serem usadas sempre que necessárias. Por exemplo já fizemos a deduplicação para encontrar os duplicados por domicílio, e vamos ter uma acção de Marketing na empresa que vai envolver uma peça que é extremamente cara, como tal, apenas queremos enviar uma peça para cada domicílio, para que os custos não sejam tão elevados. Indo buscar a chave que está guardada em BD, permite o envio apenas para um dos indivíduos desse domicílio, sendo que a escolha de para qual vai ser feito o envio pode ser efectuada com a ajuda por exemplo da data de nascimento. Vamos apenas enviar para o mais velho.

Esta e muitas outras possibilidades são assim facilmente executadas, sem necessidade de ter preocupações extremas antes de cada campanha.

Se por um lado existem os custos inerentes aos processos de qualidade de dados, por outro temos as reduções de custos que esses processos trazem às empresas.

Se olharmos por exemplo aos custos que as empresas têm devido à existência de duplicados, pode ser um valor demasiado elevado relativamente ao custo de um processo de qualidade de dados. Existem muitos problemas que podem ser evitados com um processo de qualidade. Se for uma empresa que faça envios quer seja de peças de Marketing, quer seja de expedições de encomendas, os custos com os envios, como por exemplo de cartas em duplicado e os custos de devolvidos são muito grandes e muitas vezes nem são contabilizados. Quantos de nós não recebemos já 2 ou 3 cartas do mesmo banco ou seguradora. E se formos acrescentar a este valor possíveis peças de marketing, o valor no final do ano pode ser muito considerável.

Se acrescentar-mos a isso, os devolvidos por falta de normalização ou por erro no código postal, provavelmente numa empresa com alguma interactividade com os seus clientes fará com que muito rapidamente um processo de qualidade de dados seja rentabilizado.

Mas como todos estes valores não são valores muitas vezes contabilizados, é sempre difícil justificar a opção. Muitas vezes os devolvidos vão directamente para um qualquer armazém, porque a campanha para todos os efeitos teve, ou não bons resultados. Por norma o sucesso ou insucesso das campanhas é medido apenas na componente de Marketing a culpa é sempre das peças de criatividade, do produto, de tudo menos da falta de qualidade dos dados, sendo que segundo os especialistas, os dados podem ter cerca de 40% de responsabilidade no sucesso/insucesso de uma campanha.

Por norma o primeiro passo a dar antes de qualquer processo de qualidade de dados é o processo em que se auditam os dados, detectando assim quais os problemas que existem dentro da BD.

Há duas abordagens que podemos ter para a detecção destes problemas, sendo que das primeiras coisas que devemos ter em mente é que quantos mais problemas forem detectados nesta fase, melhor qualidade terá o processo de limpeza dos dados. Como tal temos a abordagem convencional, que implica um esforço de recursos humanos significativo, uma vez que todas as áreas da empresa têm de estar envolvidas, porque existem detalhes que são específicos de cada uma das áreas e dificilmente outras áreas os vão detectar.

A outra abordagem, embora necessite de esforço em termos de recursos humanos, requer muito menos tempo, e consiste na utilização de softwares que façam a detecção de “desvios” dos valores padrão e apenas precisam de verificar esses, não necessitando assim ter passar tanto tempo a verificar a BD.

Este processo é essencial porque apenas assim se evita que alguns dos erros existentes persistam na BD, mesmo depois do processo de limpeza. Quanto mais pormenorizado for este processo de detecção dos erros na BD, melhor será o resultado final em termos de limpeza da BD. Existem outros softwares que fazem a monitorização dos dados depois do processo de limpeza, mas mais uma vez a sua fiabilidade depende em muito do processo de detecção de problemas na BD. Se conseguir detectar todos os erros que deram entrada na BD, mais facilmente se consegue monitorizar e evitar novas entradas.

Tal como prometido aqui fica o post dedicado à validação dos dados.

É uma parte fundamental da qualidade de dados. Há duas possibilidades de fazer a validação dos dados que é online ou off-line. Logicamente que o modo online é o melhor método para executar, por exemplo a validação postal. Imaginemos que alguém liga para a empresa e diz que é de Vila Real e não sabe o código postal. Pode dar-se o caso de o interlocutor por parte da empresa, não se lembrar de perguntar se é Vila Real de Trás os Montes ou Vila Real de Santo António. Este registo só por sorte virá a ficar corrigido. E se existisse na empresa um software que, funcionando em background ajudasse o utilizador a resolver este problema? Assim os dados quando entrassem em BD já estariam normalizados.

Se este problema passar para o modo de tratamento em massa (batch), tarde ou nunca será resolvido. A menos que haja um contacto com a pessoa para dissipar a dúvida, o software (modo batch), não escolhe um deles. Estes e muitos outros problemas apenas podem ser resolvidos no imediato e com uma ferramenta que trabalhe juntamente com a pessoa que estiver a colocar/alterar os registos na BD. E tal como foi dito num dos post’s iniciais, este processo de qualidade de dados, não só tem de envolver todos na empresa, como todos são responsáveis por essa qualidade de dados. Se tiverem uma aplicação que os possa ajudar, então mais facilmente conseguem fazer o seu trabalho e com maior qualidade, mas igualmente em caso de erro, se lhes pode exigir uma maior responsabilidade.

Para terem uma noção das capacidades do software em termos de tolerância ao erro na página que está no link podem fazer testes com moradas, dando erros de escrita, trocando letras, erros fonéticos, enfim tudo aquilo que sabemos que acontece no dia-a-dia de qualquer empresa, nas inserções de moradas.

http://datalab.pt/index.php/demos2

Como exemplo aqui ficam algumas imagens de normalizações.

Estas são versões muito concisas, porque para alem da normalização podemos ainda ter os dados do Distrito, Concelho e Freguesia e/ou DDCCFF os códigos do INE. Outra possibilidade é a alocação das coordenadas geográficas.

No video que se segue podem ver como funcionam as ferramentas de qualidade de dados. Neste caso, podemos ver a versão integrada em SAP(R), em que a Uniserv foi a primeira empresa a nível mundial a receber esta certificação SAP(R). Para além desta versão, estão disponíveis módulos de integração para as mais diferentes configurações, desde o mainframe a módulos de cliente nos mais variados sistemas operativos.