Qualidade de Dados / Data Quality

Depois de ter no post anterior feito um resumo não apenas dos ambientes, mas também das plataformas em que as ferramentas de qualidade de dados podem assentar, vou agora aprofundar um pouco mais as vantagens destes sistemas.

Como se pode ver na imagem, as ferramentas estão disponíveis em praticamente todos as plataformas e ambientes disponíveis no mercado.

Estas aplicações em nada vão interferir com o já existente e desenvolvido na actual estrutura de qualquer empresa, mas apenas vem acrescentar processos que para alem de facilitarem o dia a dia do utilizador, ainda e principalmente permitem que se possa garantir uma constante manutenção da qualidade dos dados.

Como já tinha referido em anteriores posts, estas ferramentas, permitem que mesmo depois de um processo de ETL, a qualidade seja mantida em níveis muito acima do que é normal. Depois de terminado um processo de ETL o normal é que no dia seguinte a serem integrados os dados já tratados, se inicie um processo de contaminação que apenas vai ser "corrigido" num posterior processo de ETL.

Com estas ferramentas isso é evitado uma vez que cada um dos dados que é inserido ou alterado, passa pelos "filtros" que permitem que a qualidade se mantenha, ou até em muitos casos se possa incrementar.

Se no processo de ETL houve dúvidas em alguns registos que não foram alterados por não se ter a certeza da correcção, com estes sistemas de "firewall" permite que quando se fizer uma alteração a um desses registos se possa finalmente corrigir esse registo.

Vamos a um caso prático, se por exemplo numa BD temos dois registos em que as diferenças são mínimas, ou seja há uma dúvida se são ou não duplicados, num posterior processo em que alguém dentro da organização tenha essa pessoa ao telefone, é possível dissipar essa dúvida.

Estes são alguns dos motivos pelos quais estas ferramentas que actuam nos momentos mais fulcrais dentro de qualquer organização são tão importantes e cada vez mais essenciais, uma vez que todos os departamentos dentro das empresas hoje em dia, de uma forma ou de outra dependem dos dados. Se não houver qualidade nos dados, certamente que sempre haverá problemas que possam ocorrer em qualquer um dos processos diários.