Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Desta vez trago-vos uma reflexão sobre um tema de que muito se fala na atualidade. O "chavão" é o termo "big data".

Podemos atribuir-lhe muitas definições, defini-lo do ponto de vista tecnológico, do ponto de vista conceptual, etc. Não pretendo compilar aqui uma sua definição. No meu entendimento, refiro-me ao "Big Data" como um conceito que tem como foco o armazenamento de um grande volume de dados, promovendo, apesar do volume, velocidade na sua utilização.

A primeira dúvida que me ocorre é tentar diferenciar este conceito do chamado "mundo relacional" que conhecemos e no qual estruturamos e mapeamos o nosso negócio. As plataformas relacionais visam o armazenamento e uso de informação estruturada em modelos bem definidos e têm um limite na quantidade de dados que armazenam. Falo em limite não no sentido da quantidade que podem armazenar mas sim no equilíbrio entre volume e performance. Também, as plataformas relacionais não são, definitivamente, ideais para armazenamento e consulta de informação não estruturada e, neste aspeto, todos sabemos que se produzem todos os dias Petabytes (notem que já nem sequer falamos em Gibabytes) de informação não estruturada. Vejamos o caso da chamada "Social Media". Sites  como o Facebook, Twitter e outros são disto o perfeito exemplo. Por curiosidade, já quantificamos a importância de um evento social em TPS (Tweets per second - Nº de tweets por segundo). Em 2011, quando a famosa cantora Beyonce anunciou a sua gravidez durante os MTV Video and Music Awards, produziram-se mundialmente 8.868 TPS! São números impressionantes!

Definitivamente, plataformas como o Hadoop vieram alavancar a importância do "Big Data" com a sua escalabilidade, capacidade de armazenamento de informação não estruturada em grandes volumes e alta disponibilidade na consulta da mesma.

Mas, se estas plataformas são tão boas, como fica o "mundo relacional" ? Não se iludam os que pensam que as plataformas relacionais estão condenadas. Eu acho que não. Vieram para ficar e cá continuarão por muitos anos. Vejo o "Big Data" como um irmão mais novo do "mundo relacional". Quando este irmão mais novo crescer, vão trabalhar os dois em equipa e serão imbatíveis. Seguramente, as empresas que melhor os souberem combinar terão grandes vantagens competitivas.

Diz-se que, nas empresas, se aplica a regra dos 20-80 no que toca ao uso de informação, ou seja:

• Do volume total de dados gerados por todos os sistemas de suporte ao negócio, apenas 20 % destes são, de alguma forma, utilizados em sistemas de BI que visem o suporte á decisão. Os restantes 80% são desprezados, quer porque não trazem valor á tomada de decisão, quer porque não há capacidade de os processar em tempo útil;
• Na empresa, apenas 20 % de toda a "informação" gerada e em circulação se apresenta num formato estruturado. Os restantes 80% apresentam-se sob uma forma não estruturada (Email's, Folhas de cálculo, etc.). Se aqui ainda contarmos com toda a informação gerada pelo normal funcionamento dos sistemas (ficheiros de log, ficheiros de erros, alertas, etc.) tipicamente numa forma semiestruturada ou não estruturada, facilmente compreendemos que, no "mundo relacional" não há capacidade de armazenar e tratar todo este volume. Mesmo que haja tal capacidade, tentem convencer o vosso director de IT a fazer esses investimentos e verão do que falo!

Os mais atentos perguntarão: "Mas porquê guardar esta "tralha" toda?" e a minha resposta é "Porque um dia poderemos precisar dela!!!". Notem que sublinhei a palavra "poderemos", porque, se realmente precisarmos deles, nessa altura essa informação valerá ouro!

Escrevi, em ar de graça, o último parágrafo com o intuito de vos passar uma ideia. A "tralha" que nos é difícil guardar / processar e que duvidamos que nos seja útil pode "valer ouro" algum dia se soubermos quando procurar e "o que" procurar nela, por isso mais vale começarmos a guardá-la e analisá-la. É precisamente aqui que uma plataforma de "Big Data" é útil. Armazenar grande volume de dados não estruturados e permitir-nos a capacidade de "cavar" neles na tentativa de acharmos algo de útil.

Deixemos o "mundo relacional" continuar a alimentar-nos os sistemas de Suporte ao negócio, de suporte á decisão e outros de uso comum e comecemos a guardar e analisar aqueles dados que não usamos.

Suponhamos que a nossa empresa lança uma campanha para o mercado, com o intuito de vender um novo produto ou serviço. Na era da web, não faz sentido não promover o produto / serviço no nosso site, nas nossas páginas do Facebook ou do Twitter. Porém, lanço as seguintes perguntas:

• Temos capacidade de saber o que pensam de nós ? 
• O nosso produto será bom ? tem aceitação ?
• Quantas pessoas dizem bem ? quais são as críticas para melhorarmos ?

Tudo isto lá está, sob a forma de posts, de "like's" de "share's". Apenas não temos forma de tratar tanto volume (ou potencialmente tanto volume) e muito menos a capacidade de os guardar num formato estruturado. Mas não será essa informação vital para quem decide ? Não serão as opiniões dos nossos "amigos" a forma mais eficaz de "tomar o pulso" ao sucesso da campanha? Eu acho que sim. É por este caminho que o mundo empresarial caminhará e estou convicto que a Qualidade dos dados será um "tema quente" nas plataformas de "Big data".

Quanto maior o volume de dados que guardamos e trabalhamos maior será a procura de soluções que garantam a qualidade dos mesmos. Se já nos é difícil endereçar temas de falta de qualidade dos dados no "mundo relacional" entendo que mais difícil será validar dados em massa em formatos não estruturados ou semiestruturados. Acho que, nos próximos anos, haverá grandes progressos neste tipo de ferramentas e estaremos a falar em garantir a qualidade dos dados em áreas inimagináveis até agora.

Este será um tema a acompanhar nos próximos anos. De uma coisa estou certo: Ainda agora estamos a dar os primeiros passos... 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que atua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt