Quando os processos de qualidade de dados estragam os dados
12:20Nestes últimos dias tenho recebido de algumas de empresas, das quais sou cliente pedidos de actualização de morada e cartas com moradas que me fazem aumentar algumas preocupações.
Dos exemplos que tenho comigo, são 2 cartas, que só não foram devolvidas por "carolice" do carteiro, e uma outra empresa que me pede para reenviar os dados da morada, sinal que ou os perderam, que acho estranho com os processos de backup existentes e que as grandes empresas por norma têm, ou depois de um processo de qualidade de dados, com um normalização /tratamento /higienização de moradas, como lhe queiram chamar, foram adulterados de tal forma que já não é possível que as cartas cheguem ao destino.
Isto preocupa-me duplamente porque se por um lado existem empresas que estão a tratar os meus dados desta forma, a outra preocupação é a imagem que estes falsos processos de normalização /tratamento /higienização vão deixar nas empresas que os fizeram. Isto porque alguns destes até são executados por empresas bem cotadas na nossa "praça".
Como fiz a adaptação de um software para Portugal, sei quais são as principais dificuldades com que nos fomos deparando ao longo desse processo e que vou tentar aqui resumir um pouco para que se possa ter noção do porquê da existência destes problemas. Já lá vão mais de 10 anos mas até aqui pouco mudou. O que existia eram bases de dados de moradas com o histórico de erros. No que consiste esta técnica? Cada vez que se encontra uma rua escrita de forma diferente, essa forma é anexada ao histórico e na próxima vez que surja é corrigida automaticamente. Logicamente que isto é um processo muito complicado e muito falível, como tal não seria uma solução para o problema, mas um remendo. Existia a hipótese de desenvolver internamente uma ferramenta, mas se a roda já foi inventada... Como solução existia a colocação de ferramentas internacionais, mas aí chegados outros problemas surgiram:
- A primeira dificuldade encontrada aquando da busca de um software no mercado internacional foi a disponibilidade de adaptação à realidade Portuguesa. Se por um lado temos especificidades que não se encontram em mais nenhum país da Europa e algumas mesmo do mundo, por outro temos uma dimensão de Portugal que nem sempre permite às grandes multinacionais investir uma vez que podem não ter grandes possibilidades de retorno.
- A falta de informação existente em Portugal relativa a esta matéria. Não existe um organismo ou instituição responsável pelas moradas em Portugal. Assistimos a "crimes" como a numeração que foi colocada na zona da Expo, que não se compreende como é possível num país europeu se permite que tal exista na sua capital. Somos talvez o unico país na Europa que tem na mesma localidade a Rua, Travessa e o Largo da Liberdade entre muitos outros.
Por tudo isto e muito mais, o que recomendo é que antes de investirem em processos de normalização/ tratamento / higienização de moradas, é que peçam um teste a um numero razoável de dados, numero que apenas possa tratado de forma automatizada.
Desta forma, consegue-se separar o trigo do joio, uma vez que já existem algumas empresas a apregoar a normalização /tratamento /higienização de moradas, mas que tem por base pseudo-ferramentas desenvolvida em cima do joelho e que são testadas com os dados dos clientes, com todos os problemas que isso acarreta.
Para finalizar tenho ainda que esclarecer a diferença entre vários conceitos que andam misturados neste tema.
Normalização de dados: A normalização de dados é uma definição um pouco subjectiva. Se por um lado poderemos considerar a Normalização de dados como todo o processo qualidade de dados, existe ainda quem pense que a normalização de dados é colocar todas as Ruas como R., todas as Avenidas como Av. etc.
A normalização /tratamento /higienização de moradas é mais que isso, este processo até acaba por ser o processo mais simples. O mais complicado é a parte da comparação/correcção da morada com o ficheiro de arruamentos de referencia. Aqui sim existem inúmeros problemas que podem surgir. Como exemplo, ruas Alfredo da Costa em Sintra existem 3 ruas diferentes, se não existir um software preparado para estas situações, o mais certo é haver problemas no final.
Como tal, volto a alertar para o teste dos softwares antes de colocarem os dados dos Vossos clientes em risco. São poucas as empresas que têm confiança no seu software, de forma a colocarem no site um demo do mesmo.
0 comentários