Qualidade de Dados / Data Quality

Na grande maioria dos casos os projectos de limpeza de dados ou qualidade de dados, são projectos simples de ETL, em que existem várias abordagens.

Há projectos que são "simples". É feita a Extracção dos dados, o seu tratamento (Transform) e posteriormente o seu carregamento em BD (Load). Com estes projectos há uma aproximação a uma verdadeira qualidade de dados, mas se "olharem" com mais atenção vão verificar que na realidade, os dados nunca chegaram realmente a ficar limpos nos valores que são apresentados. Estes processos de ETL demoram algum tempo, e durante esse tempo, alguns dos dados que estão a ser tratados, estão a ser alterados pelos utilizadores. Ou seja, quando a BD é reposta, esses dados para alem de não poderem ser carregados, as alterações que entretanto foram efectuadas trouxeram mais "lixo" para o sistema.

E depois? Na semana seguinte a este projecto há novos dados, alterações e todo um conjunto de processos que fazem os dados voltar ao seu estado de falta de qualidade.

Existem outras abordagens, que já vi serem implementadas por grandes empresas em Portugal, que são ainda mais chocantes, que é a execução de projectos de ETL de forma progressiva. Ou seja, primeiro por exemplo tratam os registos que têm o código postal 1000. Depois os 1050 e assim sucessivamente. Este processo apenas permite que uma empresa fique eternamente a fazer a limpeza de dados, porque quando chegam ao fim do processo, estão os dados iniciais já totalmente "sujos". Apenas continuam o processo Ad aeternum.

Os processos ETL devem ser o principio de qualquer projecto de qualidade de dados. Durante o processo de ETL deve ser implementada uma solução online que permita a manutenção dos dados actualizados, evitando assim estar sempre a implementar processos ETL, com os elevados custos inerentes.

Aqui podem ver uma demonstração de como podem funcionar estas aplicações que em termos de moradas evitam a entrada de "lixo" para o sistema.

Tudo o devemos ter em conta relativamente à qualidade dos dados:
- Os dados assim que entram no sistema já estão desactualizados
- A conversão de dados é um dos maiores problemas de qualidade de dados
- Convencer os responsáveis que a qualidade de dados é um problema é um desafio.
- Tem sempre de haver num€ros para se poder fundamentar um projecto de DQ
- O projecto de DQ tem de ser um projecto global, envolvendo TODA a empresa.
- Nada se compara a uma validação dos dados logo no seu input. Todos os projectos posteriores de ETL vão ter sempre resultados muito inferiores.
- A chave para termos os melhores dados é pensarmos que os dados nunca estão tão bons como pensamos.
- Não existe perfeição, não existe 100% de dados correctos, mas podemos ficar perto.
- Quem é responsável pela qualidade dos dados na empresa? O Marketing? As Vendas? Os Serviços ao Cliente? O departamento de TI's? Nenhum dos anteriores? Deve haver sempre um responsável e quanto mais alto esse responsável estiver dentro da hierarquia da empresa melhor.
- Todo o "lixo" que entrar, vai ser "lixo" que vai para a rua. O envio desse "lixo" tem custos. O ideal é ter um filtro na entrada dos dados que faça a limpeza desses dados para evitar a entrada do "lixo".

Para haver sucesso num processo de CRM, antes têm de existir fundações fortes. E quais são as fundações de qualquer projecto de CRM? Os dados.

Se os dados não estiverem em condições, não estiverem normalizados e especialmente deduplicados será muito difícil que qualquer CRM tenha sucesso. Se o mesmo individuo tiver mais que um registo, o que vai acontecer é que há tantas possibilidades de haver problemas, que o mais certo é mais tarde ou mais cedo um deles poder vir a acontecer.

Se por exemplo, num envio de email esse individuo fizer o pedido de remoção do envio de emails, essa remoção é executada num dos registos, mas pode ser enviado posteriormente de outro registo, mesmo que o email não seja o mesmo, fica sempre uma má imagem para a empresa. O mesmo se pode passar caso esse cliente peça para alterar por exemplo uma morada. A alteração seria feita apenas num registos e continuariam a ser enviadas comunicações para a anterior morada em outro(s) registo(s) que possam existir. Estes são apenas 2 pequenos exemplos de coisas que podem correr mal por haver registos duplicados.

Tal como mostrei anteriormente num video, é possível manter a qualidade de dados em tempo real, entre outros ambientes, em SAP(R). Estas aplicações que se podem ver em funcionamento no video, são ferramentas certificadas, tendo sido as primeiras a nível mundial a terem esta distinção. A integração destas ferramentas permite que em tempo real, no momento mais importante, ou seja logo na criação do registo, se possa fazer a normalização e deduplicação, conseguindo-se com isto resultados que ficam muito acima de qualquer tratamento batch que se possa fazer posteriormente. Qualquer duvida que exista pode ser imediatamente esclarecida com o interluctor, coisa que à posteriori será sempre muito difícil.

Se o SAP não tiver tido alterações à sua estrutura, quer em termos visuais, quer em termos de estrutura de Base de Dados, esta instalação é o que se pode considerar plug & play. Caso hajam alterações, logicamente que é possível fazer essas adaptações, mas nesse caso logicamente o tempo de integração já não será de um dia para o outro, mas certamente em poucos dias é possível ter a solução em funcionamento.

Cloud, nuvem, ASP, SaaS, Software como Serviço e muitas outras designações que se vão ouvindo para definir o mesmo conceito. O conceito poderemos definir de forma muito simples como o aluguer de um software sempre via internet.

Teoricamente em termos de vantagens é uma relação win-win. O comprador tem como vantagens não necessitar de fazer a manutenção do sistema, não necessitar de se preocupar com os upgrades e tem ainda a vantagem crucial, que é o baixo custo de investimento inicial. Existe ainda a vantagem de que o investimento total fica sempre muito aquém, em caso de uma utilização moderada, do preço total da compra da aplicação. Existem ainda muitas outras vantagens, como por exemplo poder ter sempre um controle sobre os custos, ter acesso imediato a actualizações/alterações, serem sempre soluções flexíveis e evolutivas.

Por outro lado, para o fornecedor, a principal vantagem é poder chegar a mercados que de outra forma lhe estariam inacessíveis.

No caso da qualidade de dados é possível aceder aos processos de normalização de dados, falados anteriormente via SaaS. Em vez de aceder ao servidor local para poder normalizar a morada, com o SaaS esta normalização vai ser efectuada num servidor via web. Esta possibilidade está disponível, e pode ser uma solução não apenas para clientes que tenham um volume de dados que não justifique a compra das aplicações, mas também para clientes que tenham moradas estrangeiras em numero mais reduzido, mas que pretendam fazer a normalização das mesmas. Desta forma localmente fazem a normalização das moradas nacionais e via SaaS fazem a normalização das moradas estrangeiras. Neste serviço podem ser incluídas as coordenadas geográficas.

Por vezes quando se está a fazer comunicação B2C (business-to-consumer) o que deveria ser feito realmente era comunicação B2H (business-to-household).

O dinheiro que se gasta desnecessariamente sempre que é feita uma comunicação offline em criatividade, produção, handling e portes, em material que vai duplicado e triplicado para a mesma casa é um valor que todas as empresas deveriam ter em consideração. A estes custos ainda podemos juntar os devolvidos por moradas mal endereçadas por falta de um software que faça a normalização dos dados.

Com a existência de uma chave de household ficamos com a possibilidade de fazer envios, personalizados segundo o target que pretendemos. Se tivermos uma peça que será dirigida apenas às mulheres de uma casa, podemos assim evitar fazer o envio da peça para mãe e filha que constem da nossa BD, mas apenas para aquela que mais se adequar à peça a enviar.

A deduplicação feita por household não é fácil de executar, encontramos inúmeras dificuldades, das quais destaco, households que são constituídos por indivíduos com nomes de família diferentes, a existência de moradas que podem ser moradas de trabalho ou residências partilhadas.

Estão cada vez mais na voga as aplicações de BI, mas para que elas vinguem têm de ter boa informação.

Como podemos dizer que a informação da sua empresa é boa? Aqui ficam uma série de perguntas, que caso possa responder afirmativamente a todas as questões, pode acreditar que as suas ferramentas de BI vão fazer a sua função correctamente e certamente que lhe vão ser muitíssimo úteis. As perguntas que devem ser feitas relativamente à informação disponibilizada pelas ferramentas de BI são:
- Conseguimos encontrar o que procuramos?
- Está disponível quando necessitamos?
- Inclui tudo o que necessitamos?
- Conseguimos perceber?
- Está correcta?
- Podemos confiar?
- Podemos usar?
Muitas vezes chegamos à conclusão que a informação não é boa e ouvimos queixas, causa conflitos, perdas de tempo, custos elevados e fraco nível de decisão.

“90% dos gestores de topo sentem que não têm a informação necessária para decisões críticas de negócio; 50% deles têm medo que estejam a tomar decisões pouco acertadas devido a isso” Economist Intelligence Unit.

Mais uma vez tudo isto se resume à qualidade dos dados. Embora muitas vezes o que se ouve seja "deitem tudo fora e comecem de novo", isso não é de todo a solução porque caso não estejam incorporadas na empresa medidas que possam assegurar a qualidade dos dados, o que rapidamente vai acontecer à nova base de dados é ficar precisamente com os mesmos problemas que a anterior.