Qualidade de Dados / Data Quality

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser. Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter...

Read More

Desta vez trago-vos uma reflexão sobre um tema de que muito se fala na atualidade. O "chavão" é o termo "big data". Podemos atribuir-lhe muitas definições, defini-lo do ponto de vista tecnológico, do ponto de vista conceptual, etc. Não pretendo compilar aqui uma sua definição. No meu entendimento, refiro-me ao "Big Data" como um conceito que tem como foco...

Read More

Qualidade dos dados. Muito se escreveu e continua a escrever sobre o tema. Trabalho como Consultor nesta área já faz 13 anos. Recordo-me que, nessa altura, falar do tema numa reunião com um cliente ou potencial cliente era quase um trabalho de evangelho. Pouco se sabia sobre o tema e, mesmo para os mais sensíveis á problemática, não havia...

Read More

Está documentado que a falta de confiança é um dos maiores problemas associados à fraca qualidade dos dados. Muitas organizações têm reconhecido isso e dado passos significativos para limpar seus dados. Mas mesmo estas organizações ainda enfrentam grandes problemas de qualidade de dados. Num mundo cada vez mais em tempo real e 24x7 já não é aceitável que...

Read More

Encontre a nuvem certa para seus dados mestre de clientes no céu de Qualidade de Dados. Estes pré-requisitos básicos vão ajudar a fazer a escolha certa: 1. Os requisitos reais: Os requisitos reais são o principal critério de selecção para a solução de nuvem correcta. Os custos, desempenho e conforto de operação têm que formar um todo coerente...

Read More

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido. Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja: - 15% de duplicados - 5% de moradas em falta e - 20% de moradas incorrectas. Tendo como...

Read More

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei"). Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção...

Read More

Desta vez vou colocar alguns números provenientes da falta de qualidade dos dados. Para ser mais simples vou dividir em dois grandes grupos, um apenas com os custos directos que podemos associar à falta de qualidade dos dados e um outro em que juntamos campanhas de marketing directo sobre os dados. Para este cenário de custos directos e...

Read More

Muitas vezes é colocada a questão "Como posso medir a qualidade dos dados?" Logo à partida a qualidade de dados não pode ser medida numa só dimensão, porque é multidimensional, existem inúmeras métricas que devem ser contempladas. Se por um lado temos a validade dos dados, por outro temos a completude dos dados ou até mesmo a consistência...

Read More

Quanto à normalização é um processo que requer cuidados específicos, especialmente se estivermos a tratar registos sensíveis. Quando digo sensíveis, refiro-me a registos de clientes e/ou de fornecedores, que não devem ser confundidos com outros, apenas porque têm um nome parecido ou porque moram por vezes na mesma casa, mas são pai e filho. Se tivermos na nossa...

Read More

Para que se possa ter uma boa qualidade de dados é necessário em muitos casos fazer uma limpeza regular a esses dados. Se por um lado existem campos que facilmente conseguimos verificar a sua validade e qualidade, outros há em que é quase impossível tal tarefa. Iniciando pelos nomes temos um bom exemplo da simplicidade e da dificuldade...

Read More

Uma das grandes dificuldades das empresas é a integração de dados por haver diferentes integrações de dados, especificas para cada uma das empresas. Um exemplo simples são os receios que existem aquando da transferência de dados entre sistemas e em eventuais alterações que possa haver nos dados. Essa transferência poderá esmagar alguma alteração que tenha sido efectuada no...

Read More

Nos dias que correm a qualidade dos dados está cada vez mais presente, porque quando as coisas correm bem, não se olha muito para o que corre menos bem, as coisas continuam o seu rumo sem qualquer problema. O pior é quando em fases como a que infelizmente estamos a enfrentar e qualquer pequena dificuldade que até aqui...

Read More

Depois de um interregno demasiado prolongado devido a falta de tempo, vou tentar voltar à cadencia anterior de colocação de posts, começando por desejar a todos um excelente 2012! E para recomeçar, nada melhor que falar no novo acordo ortográfico e do impacto que certamente irá ter na qualidade dos dados. Se até aqui a introdução / alteração...

Read More