Qualidade de Dados / Data Quality

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se  com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Sintomas	Causa	Medidas Correctivas	Como fazer*	Valor acrescentado
Vários registos de clientes e parceiros de negócios aparecem no sistema	Antes de criar um novo registo, nenhuma verificação é feita para ver se o mesmo cliente já existe em outros lugares.	Limpe todos os dados existentes de duplicados. Crie um Golden Record e implemente um processo de pesquisa de duplicados em tempo real.	T: DQ Cleansing, DQ Protection D: Fazer os ajustes para pesquisa de duplicados E: Consolidar conjuntos de dados para um Golden Record.	Itens redundantes em conjuntos de dados são reduzidos a um mínimo. Todos os conjuntos de dados são definitivos e únicos.
O cliente por norma não sabe o seu código postal completo	O sistema não tem qualquer forma de devolver automaticamente o código postal correcto nem corrigir a morada	Implementar funções em tempo real apropriadas. De preferência corrigir todos os dados existentes	T: DQ Cleansing, DQ Protection E: Ter forma de pesquisar o código postal correcto rapidamente e eficazmente	O tempo poupado e os devolvidos evitados pela correção de moradas e códigos postais, trazem inúmeras vantagens para a empresa
Chave saudação pessoal ausente ou incorreta	As entradas nos campos do formulário são opcionais, ou o valor padrão (entrada) não é alterado.	Examine os dados para estabelecer a chave saudação correta. Implementar análise nome em tempo real.	T: DQ Cleansing, DQ Protection - Ou - E: Faça a entrada de uma chave obrigatória saudação correta.	Os endereços podem ser personalizados para campanhas de marketing directo de acordo com saudação de gênero específica apenas com o pressionar de uma tecla.
Taxas de retorno elevadas	Os detalhes da pessoa de contacto estão desatualizados, ou o endereço incompleto ou incorreto.	Corrigir e atualizar todos os endereços e contactos nos dados existentes. Implementar funções em tempo real apropriadas.	T: DQ Cleansing, DQ Protection - Ou - E: Realizar pesquisas para determinar a pessoa de contacto actual (por exemplo, usando Linkedin, ou similar).	Diminuir as taxas de retorno e taxas de resposta aumentará. As campanhas de marketing vão ter aumentos de sucesso tal como o volume de negócios.
Pessoa de contato desactualizada	Os conjuntos de dados de parceiros de negócios existentes não são verificadas para ver se eles estão atualizados ou não são atualizados automaticamente.	Criar medidas anti-envelhecimento, i.e., compare dados da empresa com um bases de dados de negócios atualizadas. Estenda o processo de atualização.	T: DQ Cleansing, DQ Protection - Ou - E: Detalhes de Pesquisa da pessoa de contacto actual (por exemplo, usando Linkedin ou similares)	O contacto pessoal directo é possível. Esforço para atualizar a pesquisa é mínima, e relações comerciais permanecem ativas.
Os funcionários queixam-se processos de trabalho ineficientes	Os processos internos não são definidos, não são conhecidos, ou simplesmente não são utilizados.	Analisar e optimizar processos de negócio. Fornecer treino a funcionários. Estender o processo de optimização.	T: DQ Analyzer D: DQ Audit, oficinas de processos e treino. Dê apoio durante o processo de implantação - Ou - E: análise de processos, treinamento, roll-out.	Processos de trabalho melhoram e a eficiência aumenta. Satisfação dos funcionários melhora.
Os funcionários reclamam do esforço de pesquisa manual que é necessário	Dados não estão atualizados ou os empregados têm pouca confiança na sua precisão. Isso resulta num maior esforço individual necessário para executar tarefas.	Conferir todos os dados procurando erros, integralidade, precisão, actualização das informações. Corrigir quaisquer erros ou inconsistências encontradas com medidas de optimização direcionadas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionadas.	Ao reduzir esforço de pesquisa, a satisfação do funcionário aumenta e as tarefas são tratadas de forma mais eficiente.
Oportunidades de cross-selling são perdidas ou não identificadas em operações de venda	O sistema contém dados redundantes ou informações complementares especificas do cliente que não são atuais, correctas ou estão incompleta.	Definir medidas individuais de optimização de acordo com o tipo de dados e os produtos afectados por oportunidades de cross-selling perdidas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionados.	Aumento de volume de negócios da empresa, como resultado de cross-selling bem sucedido.
Baixas taxas de resposta para campanhas de marketing	Os critérios de seleção estão faltando para campanhas de marketing eficazes. Os grupos de clientes errados estão a ser alvo.	Dependendo do tipo de campanha de marketing envolvida, as bases de dados são enriquecidas com dados de fornecedores externos adequados. Campos apropriados devem ser configurados nos sistemas.	T: DQ Cleansing, DQ Protection - Ou - D: Cuidado manual dos critérios de selecção E: Configurar campos para critérios de seleção na base de dados.	As campanhas de marketing obtêm as taxas de resposta mais elevadas. A empresa aumenta o volume de negócios.
Equipe de atendimento ao cliente reclama dos pobres padrões dos dados mestre de produtos	Informações sobre os produtos já vendidos não é atualizada, ou pelo contrário não representa a situação atual.	Definir um catálogo de medidas para corrigir e actualizar informações. Faça uma verificação duplicados de dados mestre de clientes e crie um Golden Record.	T: DQ Analyzer, DQ Cleansing, DQ protection              D: DQ Audit E: Consolidar conjuntos de dados para um Golden Record.	Melhoria no suporte ao produto e clientes. A satisfação do Cliente e funcionário é incrementada.
Clientes e funcionários queixam-se de dados de endereços incorretos	Erros de ortografia / digitação / audição ocorrem durante a entrada de dados.	Limpe todos os dados existentes. Implementar uma função de verificação de endereço em tempo real para assegurar que apenas os dados de endereços correctos são transferidos para o sistema.	T: DQ Cleansing,, DQ Protection E: Processar manualmente endereços incompletos ou ambíguos.	Taxa de devolução mais baixa significa clientes e funcionários satisfeitos.
Diferentes departamentos têm diferentes pontos de vista sobre o uso dos dados	Os dados são usados ​​de maneiras diferentes por diferentes departamentos; portanto, devem também cumprir exigências diferentes.	Estabelecer a utilização prevista para os dados e fazer uma avaliação qualitativa.	T: DQ Analyzer D: DQ Audit. Workshops para determinar o uso de dados - Ou - E: Esclarecer o uso pretendido de dados.	Alto nível de satisfação dos funcionários. Uso eficiente de dados em todos os diferentes departamentos.
A empresa não pode satisfazer certos requisitos legais	Procedimentos necessários para o cumprimento das exigências legais estão em falta. Possibilidades técnicas de aplicação de directivas (por exemplo, provisões anti-terrorismo) são insuficientes.	Comparar dados mestre com listas de sanções. Implementar correspondência em tempo real. Definir medidas para lidar com todos os dados correspondentes encontrados.	T: DQ Cleansing,, DQ Protection E: Decidir sobre medidas posteriores.	O cumprimento prevalecente de directivas e disposições jurídicas. Os riscos do negócio são minimizados.
Falta de planeamento de Segurança; decisões estratégicas são feitas com grande incerteza	Há pouca ou nenhuma confiança nos dados devido a padrões de dados de baixa qualidade (real ou imaginário).	Determinar medidas de optimização individuais e implementar um scorecard DQ para a monitorização da qualidade dos dados.	T: DQ Analyzer, DQ Cleansing,DQ Protection D: DQ Audit, DQ Scorecard E: Implementar medidas DQ.	A administração pode confiar nos dados da empresa e com confiança tomar decisões estratégicas. Os riscos do negócio são minimizados.
Análise feita internamente dos campos de dados selecionados não fornece quaisquer resultados úteis	Os campos são preenchidos com informações diferentes das previstas.	Análise o conteúdo do campo e sua finalidade. Adaptar os processos e modelos de entrada. Implantação de novos campos e processos.	T: DQ Analyzer. Além disso DQ Cleansing e DQ Protection, se necessário. D: DQ Audit E: Adaptar os sistemas e processos. Fornecer treino aos funcionários	Informação correta é inserida nos campos como previsto. Análises fornecem resultados significativos.

Está documentado que a falta de confiança é um dos maiores problemas associados à fraca qualidade dos dados. Muitas organizações têm reconhecido isso e dado passos significativos para limpar seus dados. Mas mesmo estas organizações ainda enfrentam grandes problemas de qualidade de dados. Num mundo cada vez mais em tempo real e 24x7 já não é aceitável que haja um desfasamento entre a criação dos dados e a sua validação - o que resulta em decisões de negócios importantes com base em nada mais do que conjecturas.

Defendemos que uma abordagem mais gradual e generalizada à qualidade dos dados é necessária - quando é melhor prevenir do que remediar. Trata-se de uma clara estratégia de compromisso, numa mudança de cultura com o "foco na qualidade dos dados", expandindo para além das TI's para incluir mais pessoas que realmente usam os dados do dia-a-dia, e para que os funcionários em todos os níveis dentro da organização estejam conscientes da importância de ter boa qualidade dos dados. Esta maior participação resulta numa maior consciência e uma maior atenção - o efeito final serão dados em que todos possam confiar e uma redução de custos.

Os benefícios da adopção de uma abordagem de qualidade generalizada de dados incluem: - Tomar decisões mais inteligentes com base em dados consistentes, limpos e precisos. - Dados em que pode confiar. - Elimine os dispendiosos erros operacionais e atrasos enquanto diminui a dependência de recursos de TI limitados. - Assegure que os dados permanecem limpos e compatíveis com as regras e processos reutilizáveis. - Atrair e manter clientes com a máxima qualidade de serviço e apoio em todos os pontos de contacto do cliente. - Descobrir rapidamente novos mercados e oferecer novos produtos de forma mais eficiente. - Eliminar falhas de comunicação entre negócios e TI. - Produzir de forma eficiente os dados dos relatórios de cumprimento de que estão correctas e precisas - eliminando o risco de sanções devido a dados incorrectos ou incompletos.

Para que se possa ter uma boa qualidade de dados é necessário em muitos casos fazer uma limpeza regular a esses dados. Se por um lado existem campos que facilmente conseguimos verificar a sua validade e qualidade, outros há em que é quase impossível tal tarefa.

Iniciando pelos nomes temos um bom exemplo da simplicidade e da dificuldade na limpeza dos dados. Em termos gerais tanto o nome, como o campo sexo são facilmente verificáveis, validados e corrigidos se necessário. Existem listas de referência com os nomes e com os respectivos sexos, fazendo o cruzamento entre estas listas de referência e os dados existentes e temos o tratamento executado. Depois temos as excepções. Desde nomes que simplesmente estão escritos de uma forma tão distorcida que impede a sua correcção, as abreviaturas não standartizadas, até nomes totalmente estranhos, não sendo necessário sequer dar como exemplo as famosas filhas de um casal do nosso burgo. Estes casos são os que têm se ser validados manualmente. Felizmente que estes casos são sempre casos residuais e por vezes nem sequer existem.

Depois temos os valores que derivam de regras existentes e que os utilizadores acabam por tornear inserindo outros valores, como nos 3 últimos dígitos do código postal serem em muitos casos "999", porque anteriormente já tinha sido impossibilitada a inserção do "000". Ou então no numero de porta porque é um campo que tem obrigatoriedade de preenchimento e como já se colocou a morada completa no campo do arruamento, voltam a colocar um valor no campo numero de porta. No final temos como resultado registos como:

Morada	Numero Porta	Adicional	Localidade	CodPostal	EndPostal
Rua Poder Local, 16 7 Z	16		Pontinha	1675-99	Pontinha
R Poder Local, 16 7 Z	9999		Pontinha	1675-001	Pontinha
Rua do Poder Local	16	7 Z	Pontinha	1675-157	Pontinha

Embora sejam problemas resolúveis é sempre arriscado simplesmente retirar o 9999, porque pode haver casos em que o 9999 é realmente o numero de porta.

No próximo post passamos à fase de deduplicaçaão.

Uma discussão interessante que vai surgindo é o que é mais importante, se a Qualidade dos Dados (Data Quality) ou se Business Inteligence.

Antes de mais considero que a Qualidade de Dados deve existir mesmo sem BI, mas BI não deve existir sem Qualidade de Dados. Se tivermos uma base com dados de qualidade, normalizados, deduplicados, completos e precisos, certamente que com grande facilidade se retira informações pertinentes desses dados, mesmo sem ferramentas de BI. Ao contrario, se tivermos as melhores ferramentas de BI do mundo, mas a base de dados está sem qualidade porque os dados não estão normalizados, existem duplicados, os dados estão incompletos e são pouco precisos, nunca se conseguirá tirar informações válidas dessa informação.

No final e em conclusão não se deve fazer a discussão qual das ferramentas é mais importante, mas pelo contrário o que se deve é somar uma com a outra para que se possa assim ter melhores resultados. As ferramentas de DQ muito úteis, mas apenas em conjunto com as ferramentas de BI se consegue ter os melhores resultados, tal como o inverso também é válido. As ferramentas de Qualidade de Dados podem não ter resultados apresentações tão bonitas para enviar aos quadros superiores das empresas, podem até passar totalmente despercebidas em alguns casos, mas são fundamentais para se conseguir ter os melhores resultados.

Como ponto de partida temos de dividir os esforços para melhoramento da qualidade de dados entre projectos e soluções.

Nos projectos poderemos ter custos que dificilmente se consegue encontrar benefícios para eles, ou porque os projectos são mal concebidos, complexos e falham o ataque às causas da má qualidade dos dados.

Tradicionalmente as soluções de melhoramento de qualidade de dados têm retorno no investimento e impacto na organização com o aumento nos lucros tanto no aumento da facturação, como na redução de custos e redução de riscos vários.

Quando por exemplo num call center se reduz o numero de teclas necessárias para ter uma morada válida, ou para se encontrar um registo, isso tem um retorno visível e praticamente imediato nos custos. Se no final do dia se conseguir atender mais 10% das pessoas por que as ferramentas de qualidade de dados ajudaram na velocidade de atendimento, isso é facilmente detectável nas métricas do call center.

Por outro lado se nos devolvidos das campanhas, tivermos uma taxa de devolução reduzida relativamente aos dados anteriores, também representa valores mesuráveis e que ajudam a validar a implementação destas soluções.

Muitas vezes perguntam como consegue aferir a qualidade dos dados das empresas. Existem algumas ferramentas que o possibilitam, mas existe uma forma ainda mais simples. Ordenar os diferentes campos que compõem a base de dados e normalmente os erros aparecem de forma "natural". Provavelmente no campo do código postal podem aparecer em alguns casos códigos postais tipo "0000-000". Caso o sistema já esteja preparado para evitar estes casos podem existir muitos "X000-000" ou "X000-999". Os utilizadores encontram sempre forma de "dar a volta" ao sistema.

Por outro lado, ordenando os campos código postal e morada, vão encontrar muitos erros nas moradas, que estão escritas de formas totalmente distintas. Ruas como a Rua Calouste Gulbenkian devem existir versões de todas as formas. E é aqui que existe a distinção entre os projectos e as soluções de melhoria de qualidade de dados. Num projecto no dia seguinte os dados estão correctos, mas uma semana depois já existe "lixo" no sistema. É que se na Rua Calouste Gulbenkian pode não criar muitas duvidas na entrega da correspondência existem outros exemplos em que a escrita pode ser totalmente impeditiva da entrega da mesma.

Não estou com isto a dizer que os projectos de qualidade de dados não devem ser feitos, estou sim a dizer que devem ser complementados com a implementação de soluções de qualidade de dados. Apenas assim conseguimos assegurar a manutenção da qualidade dos dados e mais que isso, a redução dos custos.

Finalmente para finalizar esta temática aqui fica o ultimo post com o link para download do withe paper de compliance.

Lucre com as Soluções de Qualidade de Dados da Uniserv para compliance, incluindo:

• Revisão confiável dos dados (Data Cleansing) através da deduplicação automática dos actuais clientes, fornecedores e dados sócio contra listas de embargo nacionais e internacionais (em processamento em batch ou em tempo real)
• São necessários recursos e custos mínimos para garantir o compliance, como resultado de uma deduplicação de dados automatizada
• A protecção da sua competitividade e protecção contra as consequências legais e vendas perdidas causadas por incumprimento

Tal como prometido aqui fica igualmente o link para o white papper referente a esta matéria.

Soluções de qualidade de dados da Uniserv - o Compliance de confiança com um mínimo de esforço

As soluções de qualidade de dados da Uniserv vão apoiá-lo em garantir o Compliance de forma confiável ​​e transparente, através da máxima qualidade dos dados. Coerência dos dados em formatos normalizados, bem como soluções completas para a correspondência automática dos actuais clientes, fornecedores e parceiros de dados com as listas de embargo proteger você e sua empresa contra as consequências financeiras e jurídicas.

Data Quality Batch Suite para Compliance: A suíte completa de produtos para a verificação em batch totalmente automático para limpeza dos dados do cliente e para a deduplicação automatizada de dados em batch contra listas de embargo (listas de bloqueio).

Data Quality Real-Time Services para Compliance: Para a protecção da qualidade dos seus endereços directamente nos sistemas operativos assim como a deduplicação em tempo real de dados contra listas de bloqueio.

A nossa contribuição para o cumprimento de Compliance: Deduplicação automatizada dos dados do cliente contra as listas de embargo (listas de bloqueio) de forma rápida, com pesquisa tolerante ao erro, com reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, validação de dados e aumentando ou sincronizando com outros sistemas são apenas algumas das as funções do DQ Batch Suite e DQ Real Time Services da Uniserv- a nossa contribuição para a observância de confiança de requisitos de Compliance.

Hoje em dia o Compliance abrange não só a observância de leis ou regulamentos comerciais, mas também a proibição e obrigação de notificar as autoridades das transacções envolvendo pessoas suspeitas e empresas. Multas severas e a ameaça consequências jurídicas, no caso de não cumprimento. A adequação permanente de clientes, fornecedores e parceiros de dados com as listas de embargo nacional e internacional (listas de bloqueio) é, portanto, uma obrigação para cada empresa. O problema: Má qualidade de dados como resultado de dados incorrectos, inconsistentes pode inviabilizar este processo de harmonização.

Desafios

Dados de clientes e fornecedores inconsistentes - A principal fonte de perigo

Cada transacção comercial deve ser comparada com as listas de embargo. Isso já é bastante difícil com uma base pequena de clientes e de fornecedores, é um verdadeiro desafio com dezenas de milhares ou mesmo milhões de transacções. Mas os custos de buscas de correspondentes feitas de forma manual equivale a muito tempo e dinheiro. O resultado mais comum: a harmonização só é realizada parcialmente ou não de todo, o que pode ter consequências fatais tanto financeiramente como em temos responsabilidade. A confiança dos parceiros e clientes também é afectada se ele tiver feito negócios com pessoas suspeitas - deliberadamente ou inadvertidamente. Existe o perigo de perda de vendas aqui, o que pode ameaçar a existência da sua empresa na pior das hipóteses.

Segurança, sem garantias - Mudando listas de embargo

As listas de embargo próprias também podem ser um desafio para os seus processos de harmonização. Listas actualizadas regularmente exigem a comparação permanente contra a base de dados actual, em constante mutação. E as listas de bloqueio próprias também não são seguras contra inconsistências:

• Suspeitos são listados com aliases e outras informações que podem ser pouco claras
• Convenções específicas de cada país levam a uma variedade de grafias que tornam o processo de identificação mais difícil
• Os dados das pessoas suspeitas alteram conforme a proveniência e de lista para lista, como resultado por exemplo de deslocalizações ou de novas informações
• Os dados foram inseridos de forma incorrecta ou ambígua pelo compilador da lista

A percepção que existem problemas na qualidade dos dados é em muitos casos uma realidade nas empresas, a maior dificuldade é a percepção da dimensão do problema.

Aqui surgem dois aspectos que normalmente impedem a percepção da dimensão: uma é a forma e a outra é a vontade de conseguir quantificar problema.

É sempre complicado conseguir uma forma de medir a qualidade ou falta de qualidade dos dados porque não existem métricas exactas que possam ser aplicadas directamente, embora como mostrei nos posts relativos ao conceito, definição de qualidade de dados (Data Quality) e na segunda parte do mesmo, há sempre formas de conseguir quantificar, todos conhecem sintomas que surgem quando a qualidade dos dados não está em condições, porque há sempre qualquer coisa que corre mal devido a essa falta de qualidade de dados. Casos em que uma resposta demora mais tempo que o deveria ser suposto porque houve necessidade de "limpeza" dos dados. Um exemplo simples, uma simples contagem por Concelho é adiada porque afinal nem todos os registos tinham Concelho atribuído, ou porque existiam muitos em que os Concelhos atribuídos estavam errados. E para tal, em vez de se esperar 5 minutos por uma contagem, os dados chegam uma semana depois. Em casos urgentes em que sejam necessários esses dados na hora, quando chegam, já é tarde demais. Depois sim é "ordenada" uma vistoria a todos os dados dos Concelhos, para que não volte a ocorrer tal situação.

Mas muitas vezes o mais complicado é mesmo a vontade de conseguir quantificar o problema. Porquê? Porque isso implica o assumir da existência de um problema. Devido aos afazeres do dia-a-dia, estar a "criar" mais um problema é sempre complicado. Quando aparece um problema especifico fazem-se as necessárias correcções. É um exemplo que dou vezes sem conta, mas é uma pergunta que faço invariavelmente e que tem a mesma resposta também invariavelmente. Para se saber o estado da base de dados pergunto o numero de devolvidos que são recebidos e a resposta é sempre um rotundo "não fazemos a mínima ideia".

Volto a referir para que não tirem conclusões precipitadas das minhas palavras. A perfeição em termos de qualidade de dados é impossível de alcançar, mas é possível minimizar os problemas nos dados numa base permanente e constante, evitando grandes alterações nas condições dos dados.

Depois de uma semana um pouco complicada, aqui estou de volta já praticamente curado e com novidades.

Já está disponível o novo formulário para os testes online, embora ainda não esteja totalmente optimizado, ainda estamos com problemas com a ligação ao Google Maps.

Novidade mesmo é que agora se pode alterar o país de origem da morada que se quer normalizar directamente.

Estão disponíveis todos os países, embora com níveis de normalização totalmente diferentes. Logicamente que o ficheiro de arruamentos de Portugal é muito mais completo que o do Burkina Faso.

Tal como prometido no post anterior aqui ficam algumas soluções para minimizar os problemas de qualidade de dados.

Vamos ver se consigo abranger todos os tópicos colocados, mas tenho desde já de fazer uma ressalva. A limpeza dos dados é tudo menos um processo estético. Não se deve fazer uma limpeza de dados apenas para que fiquem "mais bonitos", até porque a isso não se deve chamar limpeza de dados, muito menos processo de qualidade de dados. Isto vem na sequência de uma mensagem que recebi e como não quero que restem duvidas acerca deste aspecto venho aqui reiterar a importância dos processos de qualidade de dados.

Vou tentar mostrar como os processos de qualidade de dados podem ajudar a melhorar, não apenas os dados em si, mas especialmente conseguir em primeira analise a melhoria imediata dos dados, de forma a rentabilizar os mesmos, podendo dessa forma ter um retorno no investimento rapidamente.

Muitos são os estudos e todos apontam para valores assustadores de custos. Vamos desde os 5% do PIB Norte-Americano, aos 10% das receitas das empresas Australianas e da Nova Zelândia para alem de muitos outros valores todos eles como foi dito... assustadores.

Em Portugal nunca foi feito nenhum estudo concreto dos valores que a falta de qualidade dos dados nas nossas empresas representam. Provavelmente porque é um problema que se vai adiando, porque os custos não são medidos, como tal não existem. Os devolvidos são colocados num armazém e nem sequer são contados e quando são contados por norma não se faz contas ao custo total desses devolvidos. Fiz uma pequena "calculadora" onde se pode calcular o custo aproximado total destes devolvidos, com valores a que tive acesso de uma campanha de um prospect. Não é nada muito elaborado nem tenta ser. É apenas para que se possa ter uma forma simples de ter uma noção dos custos.

Estes processos de qualidade de dados podem ser mais ou menos complexos dependendo muito não apenas dos problemas existentes, mas também da disponibilidade de mudança da empresa. Idealmente estes processos deveriam iniciar-se com um data profiling.

Nesta primeira fase, será feita uma representação das fontes de dados, com os nomes dos campos, a sua descrição, os máximos e mínimos. Ter uma representação dos valores, mostrando os padrões, com as frequências para que rapidamente se possam detectar erros nos dados existentes. Verificar a informação das tabelas ligadas, a existência de registos órfãos, detecção de sobreposições, verificação dos dados dos campos por entradas válidas, detecção de tabelas não normalizadas, entre outras verificações de todos os campos existentes permitindo assim que se tenha uma noção rapida e concreta de todas as dificuldades existentes. Este trabalho pode ser executado manualmente, mas com a execução destes softwares o tempo de execução é reduzido para 15% em norma.

Numa segunda fase temos os processos batch. Para alem da correcção dos problemas nos dados que tenham sido encontrados anteriormente deverão ser igualmente executadas a normalização de moradas e a procura de duplicados, que são uma ajuda fundamental para incrementar a qualidade dos dados, mas apenas servem para melhorar no imediato essa qualidade. Depois são necessários softwares que mantenham essa qualidade. Caso contrario passados uns meses já se perdeu novamente a confiança nos dados.

Essa terceira fase que deve ser colocada em implementação conjuntamente com esta segunda fase, é constituída pela implementação de softwares online que permitem que todas as interacções entre os utilizadores e a base de dados sejam feitas de forma a manter os dados limpos.

Este processo tem 3 vertentes, uma a normalização/correcção das moradas, impedindo que moradas erradas entrem no sistema, outra vertente a deduplicação/desduplicação dos registos, evitando que registos duplicados entrem em BD e por fim uma monitorização de todos os outros campos da BD, impedindo que erros já detectados voltem a ocorrer.

Todos estes processos já foram de alguma forma aqui demonstrados neste blog. Temos por exemplo o profiling, os processos batch, a parte da normalização/correcção de moradas e finalmente a monitorização.

Qualidade de Dados no e-commerce mantém o fluxo de caixa em movimento

As aplicações de negócios em e-commerce ou aplicações Web portal têm uma grande diferença de outras aplicações de negócios: a operação e entrada de dados são realizadas directamente pelo cliente ou potencial cliente e não por pessoal treinado. Erros de entrada - intencionais ou acidentais - são uma ocorrência diária. Esses erros afectam a qualidade dos dados e podem ter um impacto significativo nas transacções rápidas, sem sobressaltos e num fluxo de caixa confiável.

DESAFIOS
Endereços incorrectos ou não entregues - os custos sobem, as vendas caem

Existem muitas razões para a existência de endereços incorrectos ou não entregues. Todos têm uma coisa em comum: custos adicionais desnecessários e perda de vendas para as empresas de catálogos por Internet e os operadores das lojas online com entregas pelos correios.

• Evitar erros de digitação que evitem que a mercadoria chegue ao cliente fazendo com que haja elevados custos de pesquisa adicional. Descontos nos portes postais podem ser reduzidos ou cancelados pelo transportador porque os mails em massa incluem um grande número de endereços incorrectos.
• Erros de entrada de dados causados por máscaras de entrada incertas ou não disponíveis que tornam mais difícil a entrada correcta ou forneçam dados de forma incorrecta - este é um problema particular em aplicações internacionais, com estruturas de endereço diferente. Estes têm de ser limpos manualmente com um alto investimento de tempo e custos operacionais. A satisfação do cliente e retenção de clientes também são afectados.
• Entradas incorrectas deliberadamente (endereços fictícios) iniciando processos de expedição, que custam dinheiro e que tem de ser revertido com grande esforço.
• A mercadoria não pode ser entregue como resultado de endereços antigos que não são actualizados pelo cliente, gerando altos custos para devolução e reenvio.

Duplicados - custos adicionais desnecessários, não utilizando up / cross-selling
Vários registos de dados (duplicados) também são problemáticos:

• Logons aos portais da Web são executados sem querer várias vezes e levam à duplicação de dados.
• Criação intencional de novas contas, por exemplo, para comentários indesejados ou ilegais em fóruns, auto-promoção, SPAM ou pedidos que são regularmente não aceites ou não pagos.

Eles não só causam custos para a limpeza dos dados, mas também falsificam a visão única do cliente. Análises por exemplo, em aplicações de CRM são executadas mais dificilmente, e potenciais upsellings e cross-sellings não podem ser usadas de forma rentável.

SOLUÇÕES
Uniserv Data Quality Soluções para CRM - modular, eficaz, rentável

O Data Quality Solutions modular da Uniserv ajudá-lo-à a transformar o Customer Relationship Management num factor de sucesso para a sua empresa com dados correctos, completos e livres de duplicados em vez de ser um causador de custos.

As soluções da Uniserv aumentam o sucesso do CRM analítico, operacional, de comunicação e colaboração. Soluções especiais B2B e B2C asseguram a aplicação eficaz das suas necessidades específicas. E mesmo se você usar um eXtended Relationship Management System (xRM) em vez de um sistema convencional de CRM, as soluções mensuráveis da Uniserv oferecem-lhe um valor acrescentado para os seus dados e processos.

Data Quality Batch Suite para CRM: A suite completa de produtos para a verificação em batch totalmente automatizadas e limpeza de dados de clientes em sistemas de relacionamento com o cliente.

Data Quality Real-Time Services para CRM: Para obter qualidade de dados dos seus registos directamente na entrada dos dados e na alteração de dados de clientes em sistemas de CRM.

A nossa contribuição para o seu sucesso no CRM: Pesquisa rápida, tolerante ao erro, o reconhecimento automático de duplicados e de agrupamentos de dados por nome e morada, validação de dados e aumento ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ Real-Time Services - a nossa contribuição para o sucesso do uso do seu sistema de CRM .

VANTAGENS
Lucre com todas as Soluções de Qualidade de dados para CRM da Uniserv, incluindo:

• Óptima qualidade dos dados no sistema de CRM através da análise dos dados durante a transferência de fontes de dados existentes e através do acompanhamento permanente de novas entradas e mudanças (Data Quality Firewall)
• Revisão dos dados (limpeza de dados) de acordo com regras definidas e combinando - a contra os dados de referência (por exemplo, endereço, ...) no processamento em batch ou em tempo real
• Ambiente "Anti - envelhecimento" para os dados do seu cliente / prospect através da integração automática de informações sobre as mudanças de endereço ou de empresa renomeando tanto no B2B e B2C
• A geração automática de uma visão da família (Household) no mercado de B2C
• Os clientes satisfeitos e laços mais fortes com o cliente através de serviço de alta qualidade com base em informações de confiança de clientes.
• Optimizando vendas e planeamento de marketing e as decisões empresariais através informações de up- to-date e a elaboração de relatórios precisos.
• Extensas análises do comportamento do consumidor para o uso potencial e eficaz de upselling e cross-selling
• Campanhas de marketing eficientes e eficazes, através de selecção de endereços orientados ao objectivo e correctos, dados completos para campanhas de mailing.

Soluções Data Quality da Uniserv para ERP - elevada qualidade dos dados em todas as áreas da empresa

As soluções de Data Quality da Uniserv vai ajudá-lo a desenhar o seu planeamento empresarial e controlar de modo que seja mais flexível, mais transparente e mais confiável. Corrigir os dados de forma consistente e completa no seu sistema ERP para garantir a eficácia, os processos de negócio operacionais e decisões de negócio mais informadas.

Data Quality Batch Suite da Uniserv para ERP: A suite completa de produtos para a verificação em batch de forma totalmente automática e limpeza dos dados de cliente e de fornecedor, material e os dados do produto e para o acompanhamento regras de negócio no seu sistema ERP.

Data Quality Real Time Service para ERP: Para a protecção imediata da sua qualidade de dados ao criar contas de clientes e fornecedores e para fazer a comparação com listas de embargo da UE.

A nossa contribuição para o sucesso do seu ERP: Rápido, tolerante ao erro na pesquisa, o reconhecimento e agrupamento automático de duplicados por nome e morada, validação de dados e complementarização ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ-Real Time Services da Uniserv - a nossa contribuição para o uso eficiente do seu sistema ERP.

As opções extensas do DQ Batch Suite são especialmente convincentes. A Uniserv oferece aos utilizadores do DQ Batch Suite uma solução de TI com definições de trabalho integrado, que podem ser adaptados às necessidades de negócio existentes como característica standard. Estes incluem tarefas como a validação, correcção, actualização e aprimoramento de endereços e dados. Todos os processos e operações podem ser facilmente manipulados intuitivamente numa interface gráfica de utilizador.

O novo Hostconnector para o DQ Batch Suite significa que este está agora disponível para os utilizadores do sistema mainframe z /OS. Aqui a master data é mantida no host, como de costume, enquanto o Job Control Language cuida das transferências de dados entre o host e o DQ Batch Suite e controla as operações de processamento no DQ Batch Suite.

Isso significa o seguinte para os utilizadores do z/OS:

• Disponibilidade das funções de qualidade de dados do DQ Batch Suite para a master data no mainframe - portanto o uso contínuo de novos produtos, versões de outros países, até mesmo uma melhor qualidade de deduplicação em processos batch
• Nenhum trabalho de apoio in-house por parte do utilizador - Os processos fundamentais permanecem no mainframe
• Grande facilidade de uso - definição das operações de tratamento por meio da interface gráfica do utilizador.
• Alivio do sistema host das operações de processamento de batch de grande intensidade, por exemplo em períodos de pico de carga.
• ganho de flexibilidade para o trabalho de programação e economia no uso de recursos do host
• Uso dos fluxos de processos de alta performance do DQBT em sistemas Windows e Unix

Se tiver alguma dúvida sobre a interface batch DQ Hostconnector da Uniserv, entre em contacto connosco!

O que lhe oferecemos
As nossas soluções para assegurar as qualidade dos dados de forma interactiva e outras aplicações em tempo real têm sido combinadas com o DQ Real-Time Services. Independentemente da aplicação que esteja a ser usada, a informação do cliente incorrecta ou incompleta é suprimida quase na totalidade pelo DQ Real-Time Services - incluindo em ambientes SAP e Oracle.

Erros de compreensão, leitura, escrita ou abreviaturas são automaticamente corrigidos por acessos tolerantes ao erro a tabelas de referencia e como tal são excluídas as fontes de erro. Verificação totalmente automatizada de duplicados (sem intervenção do utilizador) e a possibilidade da criação de clusters com base no nome e morada, por exemplo ao nível do household, são outras importantes opções. Adicionalmente, as moradas podem ser interactivamente qualificadas, personalizadas e avaliadas sob os mais variados aspectos (exemplos: micromarketing ou gestão de risco).

A erosão dos dados obtidos é como tal prevenida!

Visão 360º
A prevenção de duplicados é um pré-requisito para que se consiga ter uma visão consistente e completa dos clientes nas diferentes aplicações. Contudo, no DQ Real-Time Services pode ainda ir mais alem no que diz respeito à integração de visões de clientes ou produtos em diferentes aplicações. Como resultado da arquitectura e design independente da aplicação, o Uniserv DQ Real-Time Services pode ser usado transversalmente em praticamente todas as aplicações, de forma a comprar os diferentes sistemas em tempo real, criando assim uma visão consistente do cliente.

Diferentes países têm diferentes costumes.
O nosso DQ Real Time Services pode ser usado com as mesmas capacidades funcionais em empresas que operam internacionalmente. Fazemos versões de produto e tabelas de referencia especificas para cada país. Adicionalmente, as capacidades Unicode do DQ Real Time Services garantem uma qualidade de dados a nivel mundial e podem manusear diferentes scripts e sets de caracteres nacionais. Como resultado, o DQ Real Time Services atinge os mais altos requisitos para qualidade de dados internacional.

Serviços disponíveis
O DQ Real Time Services é ideal para integração em aplicações existentes ou planeadas em "open systems" e uma solução inteligente cliente/servidor, disponível igualmente nos ambientes SAP e ORACLE entre muitos outros.

• Analise & Formatação de Moradas
• Address Retrieval
• Verificação de duplicados em tempo real, clustering (exemplo: nivel de Household), Data enhancement, Compliance Check
• Verificação de código postal
• Geo & MicroMarketing

Ainda mais performance, segurança e conforto
As opções do produto Server Control e Database Connector não deixam nada a desejar, mesmo em caso de instalações com as mais elevadas necessidades de performance e fiabilidade:

• Todos os servidores podem ser centralmente administrados e monitorizados.
• Sincronização automática dos índices internos especializados de qualidade de dados com os dados da aplicação via triggers de base de dados.
• Paralelização e distribuição de carregamento tal como o exceder dos limites do computador, assim como máxima escalabilidade e segurança extra através de redundância.
• Transparência completa para as aplicações

É bom saber!
O DQ Real Time Services pode ser chamado da generalidade das linguagens de programação e é providenciado uma interface standard API, para que as funções de chamada sejam idênticas no que diz respeito a:

• à plataforma (cliente) que a sua aplicação esteja a correr
• à plataforma (servidor) em que a função DQ respectiva está a correr
• quer o componente esteja permanentemente ligado à aplicação
• quer o componente esteja a correr noutro computador na rede (cliente distribuído/aplicação servidor)

O DQ Real Time Services podem sem problemas ser integrados numa grande variedade de arquitecturas de TI e podem ser invocados por rich clients, servidores aplicacionais ou bases de dados sem qualquer problema. Não é necessário dizer que todos os DQ Real Time Services podem ser acedidos como Web service. A integração certificada para a procura de duplicados e validação de moradas é particularmente interessante para aplicações SAP.

PROJECTO: QUALIDADE DOS DADOS

DADOS - INFORMAÇÃO - CONHECIMENTO - DECISÕES
Os dados são a matéria-prima da informação. Os conhecimentos adquiridos a partir de dados fornece a base necessária para que as decisões de negócios sejam mais estratégicas e operacionais.
Roland Pfeiffer / CEO Uniserv GmbH para soluções de Data Quality

Porque é que a qualidade dos dados é tão importante?
A qualidade dos dados é importante para o sucesso empresarial! Os últimos estudos dos principais analistas sublinham o elevado valor de soluções de qualidade de dados. Em apoio desta tese, a Forrester, Gartner, META Group e outros mostram que os resultados da empresa podem ser significativamente melhorados através de medidas de qualidade de dados.
As empresas reconhecem isso e estão cada vez mais sobre a qualidade dos dados como um factor central para o sucesso e competitividade.
Ao mesmo tempo, porém, isso é incompatível com a situação na prática: um inquérito realizado pela Associação Alemã para a Qualidade da Informação (DGIQ) em 2007 revelou que quase dois terços dos inquiridos dizem que as soluções adequadas não são utilizadas nas suas empresas e vêm uma clara necessidade de acção com relação à avaliação da qualidade dos dados e à implementação de soluções para sua melhoria.

O que influencia a qualidade dos dados?
Um sistema de qualidade de dados existe num ambiente complexo de sistemas de TI, processos de negócio e condições específicas da empresa. Novos dados cuja qualidade é duvidosa constantemente entra no sistema. Reciprocamente, o sistema deve fornecer regularmente os dados com a qualidade especificada. Além disso, o ambiente de um sistema de qualidade de dados nunca é estático. As circunstâncias externas mudam - os clientes mudam de casa, e muito mais. Trata-se de desenvolvimentos que devem ser mapeados no sistema. O processo de negócio e as ferramentas para a sua execução e controle também mudam. Isto significa reavaliações e novas exigências de qualidade dos dados.
Em suma, um sistema de qualidade de dados está vivo e deve ser capaz de desenvolver com o seu ambiente.

Estão os dados têm que ser perfeitos?
Não, mas os dados devem estar livres de erros, completos, consistentes, actualizados e relevantes, a fim de satisfazer as necessidades e expectativas dos utilizadores. A este respeito, é basicamente irrelevante se os dados são utilizados a nível operacional ou estratégico e táctico para a tomada de decisões, porque a elevada qualidade dos dados prossegue o objectivo de fornecer informações precisas à disposição de todos os participantes no processo de negócio.

Aptidão ao uso
De acordo com os analistas da Gartner, a qualidade dos dados é muitas vezes entendida como envolvendo unicamente a limpeza de dados. No entanto, este é apenas um aspecto. Uma visão mais abrangente inclui áreas como a análise de dados e perfis de dados, normalização, harmonização e valorização dos dados, bem como a monitorização contínua da qualidade dos dados, afirma o Gartner. Garantir que os dados novos ou alterados atendem o nível de qualidade de dados obtidos a longo prazo, de preferência directamente na entrada de dados, é tão importante como resolver os problemas de qualidade.Uniserv oferece um portefólio de soluções que abrange todos os passos relevantes no processo de qualidade de dados: análise e caracterização do banco de dados, ferramentas de one-off de limpeza de dados, soluções para permanentemente garantir a qualidade dos dados e instrumentos para a sua vigilância constante. Como resultado, você cria os pré-requisitos para a aptidão de dados e, portanto, para o uso efectivo da valiosa base de dados.

Integração mySAP™ Business Suite

Implementação de normas SAP®
Como software partner SAP®, damos uma atenção particular à integração nas soluções SAP® e para as preocupações com o endereço e com a gestão da qualidade dos dados durante a fase de desenvolvimento. É fornecida uma impressão óptica uniforme com o Look & Feel usual, como resultado da implementação em conformidade com as normas da SAP® assim como na saída dos resultados nos elementos de diálogo no mySAP™ Business Suite.
O utilizador, move-se em redor da interface com os elementos de controle que lhe são familiares. Todos os processos de validação e correcção são executados automaticamente em segundo plano.

Soluções Uniserv de integração certificadas com o SAP®
SAP® confirmou a conformidade com as normas SAP® e o cumprimento de todas as exigências da SAP® para a validação de Moradas, Verificação de duplicados e Pesquisa com tolerância ao erro através da concessão dos respectivos certificados, pela primeira vez em 2002.
A recertificação com base num redesenho futuro e orientada pela experiência dos componentes foi concluída com êxito no final de 2006, em conformidade com as normas e requisitos SAP®, foi confirmada através da atribuição dos certificados pela SAP®.
A integração certificada está disponível a partir do SAP® R/3® Versão 4.6 C, mySAP™ ERP, mySAP™ CRM versão 4.0 e SAP NetWeaver™ Application Server versão 6.10 e também já foram implementadas várias soluções especificas para a indústria, tais como IS-M e IS-U.

Integração suave e flexível
O pacote de soluções Uniserv para garantir a qualidade dos dados de endereço no ambiente SAP® tem sido sistematicamente implementado em tecnologias cliente / servidor e integra "plug & play" no ambiente de negócios mySAP™ Suite.
Ambas as soluções são compatíveis com todas as plataformas em que mySAP™ Business Suite está disponível. Os serviços dos produtos Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite podem ser instalados no computador em que a plataforma mySAP™ Business Suite está instalada ou em qualquer outro computador dedicado. Aqui também é livre na escolha da plataforma, quer seja um derivado do Unix ou Windows.

Arquitectura de Layers
O pacote total é baseado numa arquitectura de layers inovadora. A estrutura modular associada aos produtos, bem como a interface, que está permanentemente definida para execução, e da dissociação das funções de GUI permite que ambos o Post para mySAP™ Business Suite e o Mail para mySAP™ Business Suite sejam usados de forma aberta e flexível através do ponto central de partida, o Business Address Services (BAS). Como resultado, pode aplicar-se em outras possíveis aplicações no ambiente SAP® quando se afigure adequado e necessário, por exemplo, aplicativos desenvolvidos inhouse, addons ou como parte de aplicações web, como o Webclient IC.

Integração em Business Address Services (BAS)
A forma mais rápida e simples de integrar os produtos Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite é através do SAP® Business Address Services (BAS). Aqui é possível a integração sem desenvolvimento de aplicações e exige apenas a personalização apropriada. O Business Address Services (BAS) é parte da solução SAP® e oferece-lhe uma série de funções que são necessárias para abordar de forma altamente eficiente a gestão da qualidade de dados. Business Address Services (BAS) é usado em quase todas as aplicações SAP® (por exemplo, mySAP™ CRM, SAP Financials, SD, MM).
Quanto a isto, o BAS tem um conjunto de funcionalidades que oferecem suporte a programadores e administradores na implementação de tarefas de controle do address management e para garantir a qualidade dos dados. Com a versão 4.6 C, o BAS também suporta o uso de soluções de software de terceiros através de interfaces abertas, os chamados Business Add-Ins (Badis). Estas soluções proporcionam melhor gestão do endereço e de segurança da qualidade dos dados sem que as soluções SAP® tenham que ser modificadas.
A validação postal de endereços é integrada através da interface BC-BAS-PV, e a deduplicação, a selecção e busca de tolerante ao erro através da interface BC-BAS-DES.

Integração fora do Business Address Services (BAS)
Uniserv oferece APIs em vários níveis para a integração das funções fora do BAS, por exemplo em aplicativos desenvolvidos inhouse, addons ou aplicações web. Para integração na Web, a aplicação simples no Webclient IC, Web GUI ou interface do utilizador do PC é possível, permitindo assim a utilização móvel das funções independente da localização. Como resultado da sua arquitectura de layers aberta e flexível, as funções também podem ser integradas em áreas que ainda não são servidas pelo SAP®. Em particular, a futura segurança do investimento em soluções de qualidade dos dados da Uniserv fica, assim, garantida.

A actualidade dos dados é simplesmente uma obrigação!
O uso de software para garantir a qualidade do endereço na área de Business-to-Business pode ser adequada a um volume de apenas 10-50 mil endereços, soluções adequadas na área de Business-to-Consumer, onde várias centenas de milhares ou até mesmo milhões de endereços normalmente têm de ser geridos, são indispensáveis em ambos os casos.

Porque o profissionalismo é tão importante
É um facto da vida que os erros ocorrem quando os endereços são registados ou alterados manualmente. Tais erros apenas podem ser evitados com grande dificuldade.
Eles incluem:

• os erros durante a transmissão fonética acústica (mesmo som com diferentes combinações de letras)
• Mistura de letras ou números que ao "olhar" são muito semelhantes entre si, em fichas manuscritas, independentemente se os endereços são lidos pela máquina ou por pessoal
• Digitação incorrecta durante a entrada de dados
• Utilização de diferentes siglas
• Troca de nome e sobrenome, adição ou omissão de componentes do nome, etc.

Sem uma base de endereços de referencia profissional e sem uma gestão da qualidade de dados, todos estes pontos, inevitavelmente, com a ortografia divergente dos endereços ao entrar na base de dados, fazem com que sejam criados endereços incorrectos ou duplicados ou não afectos à área geográfica correcta.

Vantagem: Soluções feitas pela Uniserv
Oferecemos sistemas especializados e certificados que automaticamente asseguram que a sua base de dados contém apenas endereços correctos, actualizados e endereços completos, agora e no futuro - mesmo que tenha uma clientela internacional.
Além disto, pode garantir, através de métodos de pesquisa tolerantes ao erro que os duplicados não surgem na base de dados ao fazer registo de novos endereços ou alterações (sem uma consulta explícita do utilizador). O mais importante é que vai encontrar o endereço que está a ser introduzido na sua base de dados, mesmo que tenha sido introduzido com um ou mais dos erros acima descritos, ou seja executada uma consulta incorrecta ou fragmentada.

Uma característica do sistema MDM é que o fluxo de dados flui em duas direções: os dados são transferidos para o sistema (por exemplo, a criação inicial de um registo do cliente) e os dados são recuperados a partir do sistema pelo utilizador. Desnecessário será dizer que esses dados também têm de ser correctamente ligados a todos os outros dados no âmbito respectivo. Deve, portanto, ser garantido que, quando os dados do cliente Osvaldo Godinho são recuperados, o sistema não só fornece seus dados de contacto, mas também, por exemplo os produtos que ele adquiriu por um determinado preço num determinado ponto no tempo, todas as queixas que ele fez e que material publicitário recebeu (visão única do cliente).

Dois pontos em particular, devem ser considerados para garantir alta eficiência no manuseio dos dados:
- Em primeiro lugar, toleracia ao erro na procura de registos de dados. Quando um novo registo de dados é criada uma busca para o mesmo ou semelhantes.
A busca pode ser iniciada activamente com o pressionar de um botão. No entanto, a pesquisa também funciona em segundo plano, sem que seja activamente iniciada. Se o sistema encontrar registos idênticos ou potenciais duplicados, os registos de dados semelhantes são exibidos para o utilizador final na forma de uma lista de selecção, para que ele possa decidir se o cliente actual é na verdade um novo cliente ou um cliente existente.

- Outro factor importante é a velocidade e a tolerância ao erro desta pesquisa. O utilizador final é dependente do tempo de resposta rápida do sistema. Se ele tem que esperar muito tempo para que os resultados de um teste, este teste é contornado e a qualidade dos dados mestre irá deteriorar-se.

No entanto, a tolerância ao erro na procura de registos não é apenas um critério importante na criação dos dados iniciais. A pesquisa também deve ocorrer rapidamente e fornecer resultados confiáveis, quando, por exemplo registos de dados são pesquisados num centro de serviço.