Qualidade de Dados / Data Quality

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei").

Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção da qualidade dos dados, mas a "doença" continua activa e a minar todos os dados novos e os existentes, durante o dia a dia.

Em alguns tratamentos temos a possibilidade de através de um processo de ETL, colocar os códigos postais actualizados, mas os que sejam inseridos nos dias seguintes a esse processo de ETL? Têm de esperar um ano, ou mesmo em alguns casos mais tempo para que possam ser validades e/ou corrigidos. O mesmo se passa relativamente aos duplicados. Existem muitos duplicados em BD, faz-se um processo de qualidade de dados com uma deduplicação, mas no dia seguinte aparece um novo registo e como não existe forma de automaticamente ter acesso a uma lista de possíveis duplicados, são criados novos registos e o Single View of Customer é apenas uma miragem.

As ferramentas online são por isso essenciais para resolver a doença, porque trabalham lado a lado com todos os intervenientes, a todo o momento na inserção/alteração de dados, impedindo assim validar e corrigir quando necessário todos os dados.

Desta vez vou colocar alguns números provenientes da falta de qualidade dos dados.

Para ser mais simples vou dividir em dois grandes grupos, um apenas com os custos directos que podemos associar à falta de qualidade dos dados e um outro em que juntamos campanhas de marketing directo sobre os dados.

Para este cenário de custos directos e por uma questão de simplificação vamos adoptar um universo de 1 milhão de registos.

Neste 1.000.000 de registos estimamos a existência de um universo de 15% de duplicados, a existência de 5% de moradas em falta e 20% de moradas incorrectas (em muitos casos estes valores até são bastante conservadores).

Por fim vamos assumir um custo de 6€ por hora por trabalhador que até é um valor bastante baixo, porque o calculo dos custos com o trabalhador devem contemplar para alem dos vencimentos e dos custos com segurança social, os custos do "posto de trabalho", como a electricidade, o custo da infraestrutura e todos os outros custos associados directa e indirectamente. Este valor pode assim ser quase que considerado como um valor mínimo.

Se por cada criação de duplicado foram perdidos 2,5 minutos, nos 150.000 registos que foram criados indevidamente, foram gastos 37.500,00€ desnecessariamente. Juntando a este valor o tempo perdido em busca de uma morada correcta, o tempo de correcção de erros de morada, o tempo perdido com queixas de clientes, temos um valor final que facilmente justifica a existência de ferramentas de qualidade de dados. Somando tudo com muita facilidade de consegue chegar às centenas de milhares de €uros. Como tal o ROI de um projecto destes é facilmente comprovado e justificado. Em muitos casos no final do primeiro ano já temos esse retorno.

No link do titulo abre uma página com alguns cálculos, mas tenho um template que com facilidade se conseguem ter valores concretos adaptando aos valores reais de cada companhia.

No próximo post vamos abordar a segunda parte que será o envio de peças por correio, quer sejam peças promocionais, quer sejam peças de envio regular, como extractos ou facturas/recibos.

Tudo o devemos ter em conta relativamente à qualidade dos dados:
- Os dados assim que entram no sistema já estão desactualizados
- A conversão de dados é um dos maiores problemas de qualidade de dados
- Convencer os responsáveis que a qualidade de dados é um problema é um desafio.
- Tem sempre de haver num€ros para se poder fundamentar um projecto de DQ
- O projecto de DQ tem de ser um projecto global, envolvendo TODA a empresa.
- Nada se compara a uma validação dos dados logo no seu input. Todos os projectos posteriores de ETL vão ter sempre resultados muito inferiores.
- A chave para termos os melhores dados é pensarmos que os dados nunca estão tão bons como pensamos.
- Não existe perfeição, não existe 100% de dados correctos, mas podemos ficar perto.
- Quem é responsável pela qualidade dos dados na empresa? O Marketing? As Vendas? Os Serviços ao Cliente? O departamento de TI's? Nenhum dos anteriores? Deve haver sempre um responsável e quanto mais alto esse responsável estiver dentro da hierarquia da empresa melhor.
- Todo o "lixo" que entrar, vai ser "lixo" que vai para a rua. O envio desse "lixo" tem custos. O ideal é ter um filtro na entrada dos dados que faça a limpeza desses dados para evitar a entrada do "lixo".

Cloud, nuvem, ASP, SaaS, Software como Serviço e muitas outras designações que se vão ouvindo para definir o mesmo conceito. O conceito poderemos definir de forma muito simples como o aluguer de um software sempre via internet.

Teoricamente em termos de vantagens é uma relação win-win. O comprador tem como vantagens não necessitar de fazer a manutenção do sistema, não necessitar de se preocupar com os upgrades e tem ainda a vantagem crucial, que é o baixo custo de investimento inicial. Existe ainda a vantagem de que o investimento total fica sempre muito aquém, em caso de uma utilização moderada, do preço total da compra da aplicação. Existem ainda muitas outras vantagens, como por exemplo poder ter sempre um controle sobre os custos, ter acesso imediato a actualizações/alterações, serem sempre soluções flexíveis e evolutivas.

Por outro lado, para o fornecedor, a principal vantagem é poder chegar a mercados que de outra forma lhe estariam inacessíveis.

No caso da qualidade de dados é possível aceder aos processos de normalização de dados, falados anteriormente via SaaS. Em vez de aceder ao servidor local para poder normalizar a morada, com o SaaS esta normalização vai ser efectuada num servidor via web. Esta possibilidade está disponível, e pode ser uma solução não apenas para clientes que tenham um volume de dados que não justifique a compra das aplicações, mas também para clientes que tenham moradas estrangeiras em numero mais reduzido, mas que pretendam fazer a normalização das mesmas. Desta forma localmente fazem a normalização das moradas nacionais e via SaaS fazem a normalização das moradas estrangeiras. Neste serviço podem ser incluídas as coordenadas geográficas.

Por vezes quando se está a fazer comunicação B2C (business-to-consumer) o que deveria ser feito realmente era comunicação B2H (business-to-household).

O dinheiro que se gasta desnecessariamente sempre que é feita uma comunicação offline em criatividade, produção, handling e portes, em material que vai duplicado e triplicado para a mesma casa é um valor que todas as empresas deveriam ter em consideração. A estes custos ainda podemos juntar os devolvidos por moradas mal endereçadas por falta de um software que faça a normalização dos dados.

Com a existência de uma chave de household ficamos com a possibilidade de fazer envios, personalizados segundo o target que pretendemos. Se tivermos uma peça que será dirigida apenas às mulheres de uma casa, podemos assim evitar fazer o envio da peça para mãe e filha que constem da nossa BD, mas apenas para aquela que mais se adequar à peça a enviar.

A deduplicação feita por household não é fácil de executar, encontramos inúmeras dificuldades, das quais destaco, households que são constituídos por indivíduos com nomes de família diferentes, a existência de moradas que podem ser moradas de trabalho ou residências partilhadas.

Estão cada vez mais na voga as aplicações de BI, mas para que elas vinguem têm de ter boa informação.

Como podemos dizer que a informação da sua empresa é boa? Aqui ficam uma série de perguntas, que caso possa responder afirmativamente a todas as questões, pode acreditar que as suas ferramentas de BI vão fazer a sua função correctamente e certamente que lhe vão ser muitíssimo úteis. As perguntas que devem ser feitas relativamente à informação disponibilizada pelas ferramentas de BI são:
- Conseguimos encontrar o que procuramos?
- Está disponível quando necessitamos?
- Inclui tudo o que necessitamos?
- Conseguimos perceber?
- Está correcta?
- Podemos confiar?
- Podemos usar?
Muitas vezes chegamos à conclusão que a informação não é boa e ouvimos queixas, causa conflitos, perdas de tempo, custos elevados e fraco nível de decisão.

“90% dos gestores de topo sentem que não têm a informação necessária para decisões críticas de negócio; 50% deles têm medo que estejam a tomar decisões pouco acertadas devido a isso” Economist Intelligence Unit.

Mais uma vez tudo isto se resume à qualidade dos dados. Embora muitas vezes o que se ouve seja "deitem tudo fora e comecem de novo", isso não é de todo a solução porque caso não estejam incorporadas na empresa medidas que possam assegurar a qualidade dos dados, o que rapidamente vai acontecer à nova base de dados é ficar precisamente com os mesmos problemas que a anterior.