Qualidade de Dados / Data Quality

PROJECTO: QUALIDADE DOS DADOS

DADOS - INFORMAÇÃO - CONHECIMENTO - DECISÕES
Os dados são a matéria-prima da informação. Os conhecimentos adquiridos a partir de dados fornece a base necessária para que as decisões de negócios sejam mais estratégicas e operacionais.
Roland Pfeiffer / CEO Uniserv GmbH para soluções de Data Quality

Porque é que a qualidade dos dados é tão importante?
A qualidade dos dados é importante para o sucesso empresarial! Os últimos estudos dos principais analistas sublinham o elevado valor de soluções de qualidade de dados. Em apoio desta tese, a Forrester, Gartner, META Group e outros mostram que os resultados da empresa podem ser significativamente melhorados através de medidas de qualidade de dados.
As empresas reconhecem isso e estão cada vez mais sobre a qualidade dos dados como um factor central para o sucesso e competitividade.
Ao mesmo tempo, porém, isso é incompatível com a situação na prática: um inquérito realizado pela Associação Alemã para a Qualidade da Informação (DGIQ) em 2007 revelou que quase dois terços dos inquiridos dizem que as soluções adequadas não são utilizadas nas suas empresas e vêm uma clara necessidade de acção com relação à avaliação da qualidade dos dados e à implementação de soluções para sua melhoria.

O que influencia a qualidade dos dados?
Um sistema de qualidade de dados existe num ambiente complexo de sistemas de TI, processos de negócio e condições específicas da empresa. Novos dados cuja qualidade é duvidosa constantemente entra no sistema. Reciprocamente, o sistema deve fornecer regularmente os dados com a qualidade especificada. Além disso, o ambiente de um sistema de qualidade de dados nunca é estático. As circunstâncias externas mudam - os clientes mudam de casa, e muito mais. Trata-se de desenvolvimentos que devem ser mapeados no sistema. O processo de negócio e as ferramentas para a sua execução e controle também mudam. Isto significa reavaliações e novas exigências de qualidade dos dados.
Em suma, um sistema de qualidade de dados está vivo e deve ser capaz de desenvolver com o seu ambiente.

Estão os dados têm que ser perfeitos?
Não, mas os dados devem estar livres de erros, completos, consistentes, actualizados e relevantes, a fim de satisfazer as necessidades e expectativas dos utilizadores. A este respeito, é basicamente irrelevante se os dados são utilizados a nível operacional ou estratégico e táctico para a tomada de decisões, porque a elevada qualidade dos dados prossegue o objectivo de fornecer informações precisas à disposição de todos os participantes no processo de negócio.

Aptidão ao uso
De acordo com os analistas da Gartner, a qualidade dos dados é muitas vezes entendida como envolvendo unicamente a limpeza de dados. No entanto, este é apenas um aspecto. Uma visão mais abrangente inclui áreas como a análise de dados e perfis de dados, normalização, harmonização e valorização dos dados, bem como a monitorização contínua da qualidade dos dados, afirma o Gartner. Garantir que os dados novos ou alterados atendem o nível de qualidade de dados obtidos a longo prazo, de preferência directamente na entrada de dados, é tão importante como resolver os problemas de qualidade.Uniserv oferece um portefólio de soluções que abrange todos os passos relevantes no processo de qualidade de dados: análise e caracterização do banco de dados, ferramentas de one-off de limpeza de dados, soluções para permanentemente garantir a qualidade dos dados e instrumentos para a sua vigilância constante. Como resultado, você cria os pré-requisitos para a aptidão de dados e, portanto, para o uso efectivo da valiosa base de dados.

Informações úteis

Como é que a verificação da morada do Post para mySAP™ Business Suite difere de uma verificação "normal" look-up?

• Verificação automática e correcção de todos os elementos da morada.
• A verificação tolerante ao erro, de modo que muitos erros são corrigidos automaticamente, ou seja, sem intervenção do utilizador.
• Atribuição do código postal correcto baseado na rua, número da casa ou informações do apartado.
• Exibição das alternativas mais prováveis no caso de ambiguidades.

Como é que a verificação da morada, com o Post para mySAP™ Business Suite difere de outros sistemas de verificação de moradas?

• Versões nacionais do programa estão disponíveis para os mais importantes países europeus, assim como o Canadá e os EUA.
• Sempre que possível, os produtos Uniserv foram certificadas pelas autoridades postais nacionais.
• Uma verificação da rua e número de porta a nível nacional é possível num alto grau em todos os países.
• Uma maior actualização dos dados é fornecida por meio de actualizações regulares.
• Suporte de todas as características particulares postais nacionais.
• Suporta a funcionalidade de entrada rápida nos Países Baixos e Reino Unido.
• Os componentes do endereço digitado nos campos errados são automaticamente colocados nos campos correctos (importante para utilizadores inexperientes e endereços estrangeiros).
• Adição das coordenadas geográficas está disponível mediante subscrição, permitindo a atribuição automática de detalhes de dados até o nível de número da rua ou da porta ao introduzir ou mudar endereços.
• Disponibilização da "limpeza mensal" incluída na função básica. Como resultado, qualquer alteração na base de dados de endereços que se torne necessária devido à reorganização do governo local, mudanças em nomes de rua, a estrutura do código postal ou a classificação geográfica podem ser automaticamente detectadas e corrigidas na medida do possível.

Como é que o sistema de recuperação Mail para mySAP™ Business Suite difere do padrão de pesquisa com "wildcards" disponível no mySAP™ Business Suite?

• Os resultados são gerados muito mais rapidamente. Mesmo com bases de dados contendo vários milhões de endereços, o tempo de resposta é geralmente menos de um segundo.
• Pesquisas realizadas com Mail para mySAP™ Business Suite são tolerantes ao erro, mesmo sem "wildcards". Isto é importante mencionar, porque se fizer a entrada com "wildcards" presume-se que o utilizador suspeita que poderia haver um desvio!
• Resultados de qualidade elevada à saída, mesmo que a busca seja executada com registos incorrectos ou apenas com fragmentos do registo.
• A pesquisa pode ser executada automaticamente, sem a acção do utilizador para novas entradas e mudanças. Como resultado, a criação de duplicados é evitada na medida do possível sem uma busca intensa do utilizador.
• Os resultados são gerados de acordo com o grau de certeza.
• As inscrições podem ser feitas em ordem aleatória.
• Cada tipo de palavra, seja por exemplo o nome ou número de porta, podem ser especialmente ponderados na parametrização.

Quais as vantagens que o redesenho dos dois componentes Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite fornecem para o utilizador?

• Estrutura modular com baixo acoplamento dos componentes para o Business Address Services (BAS).
• Dissociação das funções de GUI para suportar aplicações web.
• Aplicação do princípio-guia ”Customizing instead of programming, user exits instead of modification”.
• Paralelização e optimização do desempenho, principalmente para clientes com bases de dados grandes.
• Capacidade de funcionamento a 100 por cento em unicode em aplicações e dados.
• Melhoria da reciclabilidade e uniformização, manutenção simplificada dos componentes.
• Disponibilização extensiva de extensões individuais e integração.

Como é que a solução completa da Uniserv difere de outros produtos no ambiente de solução SAP®?

• A experiência: Com mais de 3.300 instalações de servidor, as soluções de qualidade de dados da Uniserv são uma das soluções mais utilizadas internacionalmente.
• A Uniserv é um SAP® Software Partner.
• As soluções da Uniserv Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite tem uma integração certificada SAP®.
• A Uniserv não só fornece componentes autónomos, mas também uma solução completa.
• Como resultado da arquitectura de layers, os componentes podem ser integrados no Business Address Services (BAS) e fora do BAS em aplicativos desenvolvidos in-house, AddOns ou aplicações web, como o Webclient IC. Uma conexão web permite o uso móvel das funções independente da localização.
• Verificação da morada e a verificação de duplicados geralmente são combinadas, conseguindo assim uma qualidade melhor de resultados na detecção de duplicados. Ambas as soluções são concebidas como pedidos de diálogo. Elas são complementadas pelo sistema de limpeza em batch (BCS), um batch de alta performance para a integração e depuração de dados em massa.
• As soluções Uniserv não fazem compromissos e foram desenvolvidos exclusivamente para a gestão de endereços e optimização da qualidade de dados on-line ou em processamento em batch.
• Alta escalabilidade, mesmo com muitos "power users", através da distribuição flexível em diferentes servidores físicos e lógicos.
• As soluções disponíveis são de orientação internacional, de aplicação neutra e independente da indústria e da plataforma.
• Elementos que se pagam imediatamente e resultam num ROI positivo, porque apoiam a gestão integrada do cliente do início ao fim e ajudam a desenvolver relacionamentos com os clientes de forma lucrativa.
• A partir de SAP® R/3® versão 4.6 C, os sistemas estão disponíveis como componentes para integração simples e extremamente rápida "plug & play".

Produtos Data Quality Uniserv: opções eficazes para a integração no seu sistema MDM

No que diz respeito à alta qualidade dos dados e à eficiência do sistema MDM associado, é irrelevante qual a arquitectura escolhida. A qualidade dos dados deve ser sempre de alto nível, não importa se a abordagem base a uma listagem variante ou a um master data completamente consolidado ou às fases intermédias de ambas as variantes sejam seleccionadas. Neste sentido, a questão mais interessante é como as medidas de garantia de qualidade podem ser mais efectivamente integradas no fluxo de dados.O uso do Data Quality Explorer na fase de planeamento da gestão de dados é uma boa ideia. O perfil das diferentes fontes de dados acima descritos podem ser realizado de forma rápida e simples por meio do DQ Explorer. Funções de fluxo de trabalho bem desenvolvido numa arquitectura cliente / servidor permite a optimização de longo prazo dos sistemas de dados de origem. Qualquer irregularidade pode ser anexada aos autos dos respectivos dados na forma de notas. Trabalhos em dados problemáticos também podem ser atribuído ao pessoal por e-mail. Optimização contínua e a preparação para a transferência inicial dos dados para o sistema MDM pode assim ser prosseguido durante o prazo do projecto.

O Data Quality Monitor suporta o monitorizar de KPIs. Como resultado, a optimização dos sistemas de origem pode ser verificada por meio de regras de negócio. Também pode ser utilizado nos sistemas de gestão de dados mestre existentes. Trabalhos de monitorização podem ser configurados de forma muito fácil e automaticamente iniciados. Além disso, a notificação automática do status do trabalho de monitorização também é possível.

Quando a consolidação inicial de diferentes sistemas e uma limpeza inicial dos dados estão em causa, o Data Quality Batch Suite da Uniserv fornece uma excelente opção para preparar os dados dos sistemas de várias fontes para entrada no sistema MDM.

Não são apenas validados os endereços e, se necessário, corrigidos no DQ Batch Suite, como os dados dos sistemas de diversas fontes também podem ser organizados em grupos e classificados num processo individual adaptado às regras de negócio.

Depois dos dados serem agrupados, podem ser consolidados. É, assim, garantido que nenhum dado importante seja perdido e as fontes de dados sejam devidamente ligadas. Escusado será dizer que as chaves primárias também podem ser geradas para a correspondência posterior na recuperação dos dados.

Sistemas de gestão de dados são também caracterizados pelo facto dos registos de dados serem constantemente alterados por meio da criação inicial de dados, informações suplementares ou correcções. O rápido retorno de um registo de dados chamado também deve ser garantida pela arquitectura do sistema.

Um conceito para executar essas mudanças e chamadas de dados é a integração de uma Arquitectura Orientada ao Serviço (SOA). As regras de negócio podem ser implementadas usando aplicativos por meio de SOA. Relativamente à qualidade dos dados e o uso do Uniserv Real-Time Services, isto significa que os registos duplicados de dados podem ser evitados. A correcção automática de endereços está garantida.

É hora de subir a bordo: A Auditoria de Qualidade de Dados DQ Audit da Uniserv pode ser usada para fazer declarações sobre o status quo dos dados in-house.
O DQ Audit é o primeiro passo fundamental para a tomada de decisões confiáveis - e marca a sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema MDM».
Durante a auditoria, a qualidade dos endereços é primariamente avaliada com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise dos processos. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

Um dos desafios é a actividade contínua do sistema MDM. Os dados nunca estão disponíveis de forma isolada ou parados. Em vez disso todos os dados são ligados entre si e continuamente em movimento.

No que respeita à qualidade dos dados, a limpeza periódica dos dados do cliente só é possível de forma muito limitada. Cada actualização, não importa se é uma medida para a optimização da qualidade dos dados em todos os dados ou preocupações com a entrada de registos de dados adicionais (por exemplo, após a aquisição dos dados do cliente ou ainda após a fusão das duas empresas), é, inevitavelmente, realizada com o sistema em operação.

Por conseguinte, é tanto mais importante que todos os registos de dados inseridos no sistema de Data Management atendam a um padrão de qualidade antes de serem inseridos.

O CICLO DE VIDA DE QUALIDADE DE DADOS DA UNISERV pode ser assim ilustrado:
1º passo: Os dados relevantes nos diversos sistemas de origem devem ser identificados antes de tudo. Essas fontes de dados podem ser analisadas por meio de ferramentas de profiling, que a Uniserv também dispõe.
Problemas a nível de metadados e nos dados em si podem assim ser identificados e iniciar-se medidas para saná-los.

2º passo: Numa etapa posterior, a limpeza (inicial), ocorre em função do conhecimento adquirido na área da caracterização. Todos os dados de conteúdo são antes de tudo validados aqui para correcção.
No caso dos dados do endereço, isso significa que os endereços são validados, corrigidos e completados, se necessário. Outro componente da limpeza inicial pode ser uma pesquisa de duplicados, ou na formação de grupos de idênticos ou pelo menos similares nas mesmas fontes de dados adicionais ou em grupos.
Consolidação dos registos de dados com informações adicionais (externas) também é possível. Vários parâmetros podem ser utilizados para o registo de grupos de dados ou para ligar diferentes fontes de dados. Mesclando os registos de diferentes fontes de dados (por exemplo, dados de clientes com informações do sistema ERP) também pode ser realizado por meio de chaves inequívocas (identificadores).

3º passo: A qualidade dos registos de dados é validado na interface durante a entrada de dados numa verificação em tempo real (também conhecido como Firewall de Qualidade de Dados). A exatidão e integridade dos dados de endereço é verificado em primeiro lugar. Em mais um passo, também é verificado se o sistema já contém um registo de dados com o mesmo conteúdo. O alto desempenho dessas validações é muito importante para a verificação em tempo real. Se demorar muito tempo, são deixadas de lado. Há um perigo que o MDM seja «contaminado» por dados não-validados.

4º passo: A validação permanente da qualidade dos dados num sistema MDM é recomendada, mesmo com o maior esforço possível. As regras de negócio especificadas nos processos de negócio podem ser mantidas sob vigilância através de monitorização em tempo real. Se os valores limite especificados anteriormente nos Key Performance Indicators (KPIs) são ultrapassados, as medidas podem ser implementadas em tempo útil, a fim de garantir uma qualidade elevada e permanente dos dados.

5º passo: Especialmente quando grandes volumes de dados são repetidamente adicionados aos dados existentes, medidas de limpeza periódica com os seguintes objetivos são recomendadas:
- Para detectar erros que tenham entrado no sistema, apesar da Firewall de qualidade de dados - ou porque nem todas as regras foram mapeadas ou os avisos que essas regras foram violadas por meio de intervenções do utilizador (por exemplo, um suspeito de duplicado, com uma probabilidade baixa).
- Os dados são sujeitos a um processo de envelhecimento, particularmente no caso dos sistemas do cliente MDM. Locais de destino são mesclados nas reorganizações do governo local, os códigos postais mudaram, as ruas são renomeadas ou indivíduos mudam de casa. (Isso geralmente ocorre sem que a pessoa ou a empresa seja informanda.) Como resultado, a taxa de erro de registros incorrectos no seu sistema MDM normalmente aumenta em 1-2 por cento ao mês. Isto pode ser evitado por meio desta etapa.

O MDM deve ser examinado com cuidado, os dados são afectados. Também é importante que os laços existentes entre os registos de dados de diferentes fontes de dados ou tabelas não sejam postos em causa com as medidas de limpeza periódica. Nesta sequência, as etapas individuais do Ciclo de Vida da qualidade dos dados criam uma base sólida como um todo para trazer a qualidade dos dados de uma empresa num nível elevado e mantê-lo no longo prazo. No entanto, os sistemas de gestão de dados são sistemas vivos. O conceito de «ciclo» (isto é recorrente), deve ser sempre considerada, especialmente no contexto de mudanças e alterações de regras de negócios e o aumento ou modificação das exigências feitas sobre os dados.

Quais as principais fontes de erro que podemos ter nas nossas bases dados? O gráfico abaixo, onde se mostra os principais motivos de erro segundo um estudo efectuado em 2006. O tempo passou, mas certamente que tudo o resto se manteve actual.

O que pode um processo de qualidade de dados fazer por nós? Para que serve um processo de qualidade de dados? Aqui ficam alguns dos pontos principais que devem ser destacados.

1. Redução de custos (directa e indirectamente).
Teremos redução de custos com a redução dos tempos de data entry que para além do mais passam a ser mais precisos. As migrações de dados podem ser efectuadas com maior rapidez e de forma mais segura. Redução de devolvidos com todos os custos que isso acarreta. Redução de recursos internos e que estão sempre a fazer o mesmo trabalho, sendo que nunca está concluído. Redução de tempos para data retrieval.

2. Redução de tempos
Redução de tempo de retorno dos projectos. Procura de dados mais rápida (1:N). Pesquisa de dados mais rápida M:N), detecção de dados mais rápida (Server X). Integração e migração de dados externos mais rápida.

3. Aumento da eficiência das actividades corporativas e de marketing.
Construindo segmentos de clientes. Actividades executadas à medida para públicos específicos. Tomadas de decisão com bases sólidas devido à optimização da informação. Visão única dos clientes nos sistemas de CRM.

4. Optimização da fidelização de clientes.
Verificação dos dados durante o data entry. Aumento do rácio de resposta. Identificação dos cliente para com a empresa. Aumento da frequência de vendas.

Por algumas reacções que obtive relativamente ao post Ferramentas de qualidade de dados em Portugal, acho que devo evidenciar as diferenças entre uma normalização, que certamente é parte integrante dos processos de qualidade de dados, mas apenas uma pequena parte e um processo completo de qualidade de dados. Diria mesmo que é a parte mais simples, caso as fases que considero primordiais tenham obtido sucesso.

Para melhor poder mostrar a diferença entre uma normalização e um processo completo de qualidade de dados, vamos dar alguns exemplos. Imaginemos que temos a seguinte BD para tratamento.
Ant Sousa Mendes; R. frenando Diaz, 4 3º Direito; 1000 Lisboa
Man Jose Tavares; Aven. Fern Diaz, 5 6 Es; 1100-000 Lisvoa
Mª Jaão Tavares; Av Fernado Dias, 5 6ª ESQUERDO; 1100-199 LISBOA

Se em cima destes dados for feito um trabalho de normalização e dependendo das regras que forem definidas, o resultado final será qualquer coisa como:
António Sousa Mendes; Rua Frenando Diaz, 4 3º Dto; 1000 Lisboa
Manuel José Tavares; Avenida Fernando Diaz, 5 6º Esq; 1100-000 Lisvoa
Maria João Tavares; Avenida Fernado Dias, 5 6º Esq; 1100-199 Lisboa

Mas como se podem ver existem erros que persistem, com um processo de qualidade de dados mais completo facilmente conseguiríamos os seguintes resultados:
António Sousa Mendes; Avenida Fernando Dias, 4 3º Dto; Lisboa; 1100-199 LISBOA
Manuel José Tavares; Avenida Fernando Dias, 5 6º Esq; Lisboa; 1100-199 LISBOA
Maria João Tavares; Avenida Fernando Dias, 5 6º Esq; Lisboa; 1100-199 LISBOA

Não apenas temos as ruas TOTALMENTE normalizadas e confirmadas, como temos sempre o código postal completo com as 7 posições correctas.

Esta pode ser a diferença entre conseguirmos encontrar ou não alguns dos registos duplicados. E quando falamos em duplicados tanto podem ser duplicados por household, como seria aqui o caso ou mesmo indivíduos duplicados.

Espero que tenha sido um pouco mais esclarecedor, que um processo de normalização, com maior ou menor dificuldade, se consegue fazer sem grandes problemas. Mas por outro lado um processo completo de qualidade de dados já não é assim tão simples de ter bons resultados. Para se conseguirem valores elevados de qualidade de dados, necessitamos não apenas de uma ferramenta poderosa, mas também de um ficheiro de arruamentos que o consiga acompanhar. Como sabemos em Portugal, mesmo em termos cartográficos, não temos o levantamento total do país. E estamos a falar de uma área muito activa, mas neste momento temos um street file que nos permite ter qualidade de dados de 93%, o que é excelente não apenas em Portugal, como em qualquer parte do mundo.

O que é necessário para uma integração de dados?

O primeiro passo para que se possa fazer a integração de dados provenientes de diferentes bases de dados, é a normalização dos mesmos para que se possa fazer o segundo passo com maior segurança. Esse segundo passo será a deduplicação, mas antes de passarmos a essa fase, vamos focar um pouco mais na normalização.

Para que serve essa normalização? Essa normalização serve acima de tudo para dar consistência aos dados. Os dados provenientes de fontes diferentes, muitas vezes mesmo de origens totalmente distintas, têm especificidades próprias. Com esta normalização o que se pretende é criar uma uniformização, sempre importante, mas também para que se consiga ter melhores resultados na deduplicação. Existem softwares que permitem ir um pouco mais alem nesta normalização e permitem ainda fazer a validação e correcção dos dados. Com isto temos a certeza que o nomes estão correctos, quer sejam os nomes das pessoas, como os nomes das ruas. É importante que os dados fiquem normalizados, mas também é importante que não se percam dados/informações neste processo.

De seguida e tal como foi referenciado, passamos à fase da deduplicação. Nesta fase, sempre complicada, pode ter sido um pouco facilitada pelo trabalho feito na fase anterior. Se um registo por exemplo tiver um nome como Nantónio Santos, R Prof Dr Zé Ninguem, 14 3 Esquerdo e num outro registos duplicado tivermos António Santos, Rua Professor Doutor José Ninguem, 14 3 Esq as diferenças são muitas e como tal o resultado percentual em termos de deduplicação pode ser inferior ao valor mínimo que foi definido como mínimo para serem considerados como duplicados. Isto seria evitado com um trabalho anterior de normalização/verificação/correcção.

Depois de encontrados os grupos de duplicados, temos ainda a terceira fase de complementarização. Logicamente que entre cada um destes processos tem de haver um trabalho de verificação de resultados. Neste processo pode obrigar-nos a voltar a um nível anterior devido aos erros/problemas que se possam encontrar.

No processo de complementarização o que é feito é agrupar os dados/informações que possam estar espalhados pelos diferentes duplicados, "criando" assim um registo com toda a informação. Imaginemos que temos um registo em que existem os dados do nome, morada e telefone em outro registo para alem destes dados existem ainda os dados do telemóvel e do email. O que se pretende é que no fim se tenha um registo apenas com todas as informações espalhadas pelos diferentes duplicados que possam existir.

No fim deste processo temos uma BD com qualidade, em que temos uma certeza maior não apenas por exemplo do numero dos clientes, coisa que provavelmente muitas empresas em Portugal não conseguem ter a certeza, mas por outro lado uma base de dados que permite dar uma maior confiança em termos da qualidade dos dados. Consegue-se assim também ter uma melhor visão de cada um dos clientes, uma vez que os seus dados estão agregados e desta forma aquilo que se pensava serem dois clientes médios, é afinal um dos melhores clientes da empresa, tudo isto porque se estavam a dar entrada das encomendas em dois registos diferentes.