Qualidade de Dados / Data Quality

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos.  Ou seja, há ferramentas  disponíveis  para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma  consciencialização  que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato. 

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Quanto à normalização é um processo que requer cuidados específicos, especialmente se estivermos a tratar registos sensíveis. Quando digo sensíveis, refiro-me a registos de clientes e/ou de fornecedores, que não devem ser confundidos com outros, apenas porque têm um nome parecido ou porque moram por vezes na mesma casa, mas são pai e filho. Se tivermos na nossa BD dois registos com ligeiras diferenças, mas que não sejam diferenciadoras para ficarmos com a certeza se são realmente dois registos distintos, ou que são realmente duplicados, na grande maioria dos casos o melhor é deixar os dois duplicados assinalados, para que o departamento competente possa fazer a respectiva validação.

Mas existem casos em as duvidas na deduplicação são aceites como duplicados, como por exemplo, se tivermos um envio de uma peça publicitária, mas apenas existem peças suficientes para 75% dos clientes, uma das soluções pode ser a remoção do envio precisamente destas registos duvidosos. Os softwares de deduplicação, têm precisamente esta capacidade de ajustar conforme o necessário com aumento/diminuição dos pesos, para que se possa ter a deduplicação pretendida. Existem deduplicações predefinidas, mas cada BD tem as características próprias e são essas características que muitas vezes têm de ser contempladas nos ajustes para que se consiga os melhores resultados. A perfeição nestes casos não existe, quando estamos a tratar milhões de registos, porque se por um lado podemos estar a deixar duplicados não identificados, se alterarmos os ajustes poderemos estar a dar como duplicados registos que não são duplicados, como tal, o que recomendo é ter uma deduplicação que seja "segura", que não esteja a identificar falsos duplicados e deixar a indicação da deduplicação mais apertada, alertando assim para deduplicações mais duvidosas, mas que podem ser resolvidas num posterior contacto com o cliente.

Uma deduplicação sempre importante é a deduplicação por household.

A percepção que existem problemas na qualidade dos dados é em muitos casos uma realidade nas empresas, a maior dificuldade é a percepção da dimensão do problema.

Aqui surgem dois aspectos que normalmente impedem a percepção da dimensão: uma é a forma e a outra é a vontade de conseguir quantificar problema.

É sempre complicado conseguir uma forma de medir a qualidade ou falta de qualidade dos dados porque não existem métricas exactas que possam ser aplicadas directamente, embora como mostrei nos posts relativos ao conceito, definição de qualidade de dados (Data Quality) e na segunda parte do mesmo, há sempre formas de conseguir quantificar, todos conhecem sintomas que surgem quando a qualidade dos dados não está em condições, porque há sempre qualquer coisa que corre mal devido a essa falta de qualidade de dados. Casos em que uma resposta demora mais tempo que o deveria ser suposto porque houve necessidade de "limpeza" dos dados. Um exemplo simples, uma simples contagem por Concelho é adiada porque afinal nem todos os registos tinham Concelho atribuído, ou porque existiam muitos em que os Concelhos atribuídos estavam errados. E para tal, em vez de se esperar 5 minutos por uma contagem, os dados chegam uma semana depois. Em casos urgentes em que sejam necessários esses dados na hora, quando chegam, já é tarde demais. Depois sim é "ordenada" uma vistoria a todos os dados dos Concelhos, para que não volte a ocorrer tal situação.

Mas muitas vezes o mais complicado é mesmo a vontade de conseguir quantificar o problema. Porquê? Porque isso implica o assumir da existência de um problema. Devido aos afazeres do dia-a-dia, estar a "criar" mais um problema é sempre complicado. Quando aparece um problema especifico fazem-se as necessárias correcções. É um exemplo que dou vezes sem conta, mas é uma pergunta que faço invariavelmente e que tem a mesma resposta também invariavelmente. Para se saber o estado da base de dados pergunto o numero de devolvidos que são recebidos e a resposta é sempre um rotundo "não fazemos a mínima ideia".

Volto a referir para que não tirem conclusões precipitadas das minhas palavras. A perfeição em termos de qualidade de dados é impossível de alcançar, mas é possível minimizar os problemas nos dados numa base permanente e constante, evitando grandes alterações nas condições dos dados.

Infelizmente recomeçamos a ouvir falar no falhanço dos projectos de BI por esse mundo fora, tal como no final dos anos 90 até ao inicio do século se foi ouvindo falar do falhanços dos projectos de CRM, nos quais se investiram milhões e se retiraram tostões. Esta frase foi utilizada no primeiro post aqui deste blog já lá vão quase dois anos e mantém-se actual.

Tenho andado a adiar este post, mas ontem depois de mais algumas mensagens relacionadas com o tema, decidi que finalmente era hora de falar deste tema.

Os valores ainda são muito dispares e vão desde os 70 a 80% apontados pela Gartner, penso que poucos podem duvidar da independência dos estudos da Gartner. Quando falamos de previsões, falham como todos, mas em termos de estudos. por norma são a grande referencia internacional.

Outros ainda falam de 50%, mas são sempre valores elevados que estamos a falar e mais elevados ainda se tivermos em consideração os valores monetários.

Do muito que se pode ler relacionado com o tema por esses sites e blogs, um tema é comum. A Qualidade dos Dados está sempre no top dos motivos que levam ao falhanço dos projectos de BI.

Como estou a colocar números, vamos a mais alguns, pena que já tenham alguns anos, mas continuam certamente muito actuais. Num estudo de 2005 da Business Week chegou-se à conclusão que 43% dos utilizadores dizem não ter a certeza que os dados internos estão correctos, que 77% dizem que más decisões foram tomadas devido à falta de informação e 4 em cada 5 não acredita nas estatísticas das apresentações. Um outro estudo do Data Warehousing Institute diz que a falta de qualidade nos dados dos consumidores custaram às empresas Norte Americanas $611 mil milhões de dólares por ano. No entanto quase metade das empresas inquiridas admitiram que não têm planos para incrementar a qualidade dos dados.

O incremento da qualidade dos dados não é a solução final e absoluta para o sucesso dos projectos de BI, mas ajuda significativamente para evitar o falhanço dos projectos de BI. Não querendo de forma nenhuma colocar a foice em seara alheia, diria que o principal factor para o sucesso, será o factor humano, seguido pela qualidade dos dados.

Optimizamos a sua gestão de endereços no mySAP™ Business Suite

A nossa solução global para o seu cliente e marketing orientado para a qualidade no mySAP™ Business Suite é composto por vários componentes para optimizar a qualidade da sua base de dados - como um aplicativo de diálogo ou no processamento em batch. Os componentes podem ser utilizados como uma unidade e também individualmente.

Post para mySAP™ Business Suite
Certificado para SAP NetWeaver™
Este componente garante que, no futuro, apenas um código postal válido, nome do local normalizado, nome da rua normalizado, apartado correcto e - por exemplo, para endereços alemães - um número de casa correcto e verificado, são administrados na sua base de dados.

O Post para mySAP™ Business Suite opera tolerante ao erro com base na análise de processos diversos e permite a verificação automática e, se necessário, correcção de endereços através da actualização das listas de referência completas. Se a ambiguidade não pode ser esclarecida automaticamente, ao utilizador é apresentada uma lista de selecção que pode, assim, por exemplo, resolver o problema através do call center em diálogo directo com o cliente.

Post para mySAP™ Business Suite está disponível em várias versões nacionais para os mais importantes países europeus, assim como para os EUA e o Canadá.

Post para mySAP™ Business Suite fornece na sua versão base toda a informação geográfica atribuindo de forma totalmente automática o Distrito, Concelho e Freguesia ou respectivos códigos, sendo estes valores, logicamente, variáveis conforme o país de referência. Atribuição de coordenadas geográficas ao nível da rua ou o número de porta também é possível se os geocodes adicionais forem subscritos.

Post para mySAP™ Business Suite também garante que qualquer alteração no sistema de endereçamento dos dados armazenados na BD necessários como resultado da reorganização do governo local, alterações de nomes de rua ou de uma mudança na estrutura dos serviços postais, são automaticamente detectados e corrigidos na medida do possível sem a sua intervenção.
Esse trabalho é realizado por meio da chamada "limpeza mensal", que já está incluída numa função básica no Post para mySAP™ Business Suite. Qualquer alteração de dados espaciais também pode ser actualizada na base de dados de endereços através desta função.

Mail para mySAP™ Business Suite
Certificado para SAP NetWeaver™
Com o Mail para mySAP™ Business Suite, pode impedir de forma fiável a criação de duplicados na sua base de dados, pois verificações especiais e operações de busca de semelhantes são iniciadas automaticamente em segundo plano para as novas entradas e alteração de registos de dados. Os casos suspeitos podem ser verificados manualmente e executada a decisão apropriada. Na caixa de diálogo, você encontrará o endereço que procura, mesmo que tenha sido inserido com erros, se a sua consulta é má ou se está procurando com fragmentos de endereço. Técnicas especialmente adaptadas (fonéticas ou fuzzy logic) são usadas para obter um resultado de alta qualidade e selectividade.
A busca pode ser executada com informação parcial com "alta velocidade" e/ou alternativas tolerantes ao erro, com a procura genérica já disponível no mySAP™ Business Suite. Com o Mail para mySAP™ Business Suite, pode escolher livremente as suas entradas, por exemplo, no que diz respeito à sequência. Escusado será dizer, porém, que a pesquisa também pode ser executada com o nome e endereço completos.

Limpeza do sistema em batch - Integração de Dados e limpeza de dados em processamento batch
Com o sistema de limpeza em batch (BCS - Batch Cleansing System), a Uniserv oferece-lhe um tratamento batch, além dos dois componentes de diálogo acima mencionados. Por este meio, pode sequencialmente realizar tarefas típicas para garantir a qualidade dos dados no ambiente de solução SAP®, tais como a integração dos dados de endereço ou de limpeza de dados, com alta eficiência via uma gestão adequada nos servidores back-end.
BCS integra directamente a validação postal e a busca tolerante ao erro no sistema SAP® com o ambiente familiar do utilizador SAP® e disponibiliza as suas funções para correr em batch. Neste sentido, o BCS pode ser usado stand-alone e em combinação com Post para mySAP™ Business Suite e/ou Mail para mySAP™ Business Suite.
Em particular, as vantagens do BCS residem num melhor desempenho com aplicações em batch, reduzindo o trabalho necessário para a integração e depuração de dados, uma maior flexibilidade no trabalho e é executado em ambientes heterogéneos de dados.
O BCS pode ser usado no lado SAP® da SAP® R/3® versão 4.6 C, mySAP™ ERP e CRM mySAP™ versão 4.0 e também está disponível para as soluções específicas da indústria como o IS-F e IS-U.