Qualidade de Dados / Data Quality

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido.

Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja:
- 15% de duplicados
- 5% de moradas em falta e
- 20% de moradas incorrectas.

Tendo como base um o custo de 0,25€ por cada peça enviada e um custo de envio de 0,25€, nestes 400.000 registos que são enviados "indevidamente", existe um custo total de 200.000€ por cada envio. Se nestes conseguirmos uma redução de 25% (presumivelmente, valor fácil de atingir) teremos uma redução de custos de 50.000€. Mas se tomarmos em consideração que com o tratamento de moradas, conseguimos assinalar as moradas que podem não estar totalmente correctas, poderemos ainda ter reduções mais significativas.

Como se pode ver pelos valores da taxa de leitura automática para descontos nos CTT os valores "normais" rondam os 60 e os 70%. Dos 70% para cima já é considerado um valor bom, tendo já direito ao desconto máximo, no caso em análise estamos com um erro de moradas a rondar os 25% ou seja já com o desconto máximo logo à partida. Mas em muitos casos certamente que não é esta a realidade, sendo possível aqui ter uma poupança considerável porque o desconto é de 1% entre os 60 e os 70% e de 3% acima dos 70%.

Relembrar apenas que o valor que considerei está longe dos 0,47€ que custa o envio de uma peça em formato normalizado até 20g. Seria necessário um desconto de quase 50%.

Juntando estes valores com os valores anteriores e a questão que fica é apenas porque é que a qualidade dos dados continua em muitos casos a ser negligenciada.

É possível ter a(s) nossa(s) bases de dados com qualidade de dados, mantendo acesso às mesmas e com elevada qualidade de dados, poupando dinheiro?

A primeira pergunta a ser feita caso existam várias Bases de dados, é se é necessário coexistirem essas diferentes Bases de dados e se não será vantajoso fazer uma integração. É sempre mais fácil de manter uma base de dados que muitas, sendo que em alguns casos os dados são coincidentes. Se tivermos duas bases de dados com dados dos nossos clientes e sejamos informados da alteração de morada, o mais certo é que essa alteração apenas seja feita em uma das bd's. Caso os dados estejam integrados, normalizados e deduplicados isso já não acontece. É tempo que não se perde e é a qualidade das BD's que aumenta por estarem sempre com os registos actualizados.

Depois desta integração ser ou não executada, uma vez que pode ser executada em service bureau e reintegrada nos moldes actuais, existem outras questões que convém estarem bem presentes, especialmente nos tempos de contenção de despesas que estamos a viver. É necessário manter uma estrutura interna para manter as bases de dados? Em muitos casos estamos a falar não apenas de servidores, como de recursos humanos que estão muitas vezes parcialmente alocados a este área, mas por norma não têm tempo, nem conhecimentos, nem as ferramentas para manterem uma BD com qualidade. Como tal a melhor opção é entregar a BD a uma empresa especializada.

Actualmente e com a velocidade que se consegue ter nas ligações de Internet, é possível ter acesso à BD quase como se estivesse dentro da própria rede da empresa. Com isto e através de web services consegue-se desenvolver programas que permitam ter acesso remoto, não apenas pelos meios tradicionais, mas permite ainda colocar os novos meios a comunicar com a BD. Nestes novos meios estou a falar por exemplo dos smartphones.

Tudo isto incluído pode ser desenvolvido à medida das especificidades de cada uma das empresas, com um custo que é certamente muito inferior ao custo que se tem em manter as BD's dentro da organização. Em muitos casos sem qualquer custo inicial de desenvolvimento/adaptação de plataformas. Usando assim as novas possibilidades de Saas.