Qualidade de Dados / Data Quality

Uma das grandes dificuldades das empresas é a integração de dados por haver diferentes integrações de dados, especificas para cada uma das empresas.

Um exemplo simples são os receios que existem aquando da transferência de dados entre sistemas e em eventuais alterações que possa haver nos dados. Essa transferência poderá esmagar alguma alteração que tenha sido efectuada no sistema de destino. Com o software de deduplicação isso pode ser facilmente evitado, criando inclusive níveis de alerta, conforme as diferenças entre os sistemas.

Conforme esses níveis de alerta são criados diferentes tratamentos para os dados. Esta abordagem permite facilitar e acima de tudo assegurar que os processos automatizados de transferência de dados entres sistemas são fiáveis e confiáveis, permitindo igualmente a automatização de praticamente todos os processos.

Por outro lado, caso existam chaves que tenham de ser criadas antes do processo de integração é assim igualmente possível a criação automática dessas chaves permitindo a sua criação previamente ao processo de integração, impedindo assim que haja problemas. Existe ainda a possibilidade de complementarização de registos, caso seja necessária dentro desse processo de integração de dados, que mais uma vez estas aplicações ajudam a simplificar.

A criação de trabalhos pré-definidos com horários de arranque e com encadeamento de acções, permite automatizar totalmente a integração de dados.

Parece que agora que os dados são mais requeridos a falta de qualidade e de ferramentas de controle de qualidade dos mesmos está a vir ao de cima. Aqui fica mais um exemplo da falta de qualidade, neste caso num banco.

Provavelmente, o que aconteceu foi que o Steve Smith se inscreveu numa campanha e como não estava para dar o nome coloca a expressão "F*** Off". O nome não aparece do nada, não é o "sistema" que coloca um nome. Caso tivesse havido trocas de nomes, não seria apenas ele a queixar-se mas provavelmente vinham as cartas todas devolvidas. Os nomes não iriam corresponder com as moradas.

Mas o que isto mostra é que a qualidade dos dados não foi assegurada e só assim se compreende que tal aconteça. Se por um lado ter qualidade nos dados tem custos, os custos directos e indirectos de não se ter qualidade nos dados é sempre muito superior como se pode ver neste caso.

Como custos directos há um futuro cliente que deixou de o ser, não se sabe se com ele vai arrastar mais clientes seus amigos e qual o "custo" que isto vai trazer para a empresa, é impossível saber. Mas para alem desses custos, há os custos de imagem, que esses são ainda mais difíceis de estimar.

Neste caso, para alem do impacto nos relacionamentos directos e indirectos da pessoa lesada, teve impacto em todos os que leram o jornal e eventualmente em muitos dos relacionamentos destes.

Como se pode evitar que isto aconteça? Simplesmente com normais procedimentos de qualidade de dados, que permitem identificar palavrões nos nomes e moradas. Esta é uma das funcionalidades que um projecto de qualidade de dados deve contemplar.

Juntando este post com o anterior podemos ver que a qualidade de dados engloba muitas vertentes, a verificação, a correcção, a deduplicação

Ao ler uma noticia lembrei-me do post inicial onde falava num problema de qualidade de dados na Dinamarca.

O assunto continua em cima da mesa porque muitas pessoas não sabem o que fazer, nem fazem ideia qual é o seu problema. Sabem que existe, sabem que têm de o resolver, mas como... não se faz a mínima ideia.

Neste caso da noticia a informação certamente que existe, os dados estão é espalhados por diferentes sistemas/ plataforma/ ficheiros e ninguém sabe o que fazer para resolver o problema. É supostamente uma operação herculana e com custos enormes para resolver. Nada mais errado.

Em primeiro lugar os dados não devem ser assim tantos quanto isso, estão é duplicados, triplicados... Segundo, depois de reunidos os dados todos (essa sim deve ser a operação mais complicada), em menos de uma semana certamente que os dados estão tratados e um problema que agora tem um custo que nem se consegue quantificar fica resolvido, por uma ínfima parte desse custo.

Quantos sistemas têm registos duplicados com custos enormes para as empresas e que continuam no dia-a-dia a alimentar as bases de dados com mais e mais duplicados? Há bases de dados em Portugal que devem ter mais registos que a população Portuguesa. É suposto? Dificilmente se consegue justificar que tal aconteça, mas há sempre quem consiga.

É sempre fácil dizer que não se faz porque os custos... mas em muitos casos logo após a implementação dos processos de qualidade de dados o investimento já está pago.

Relativamente à noticia em questão, pelo que mostra podem haver pessoas a usufruir de duas ou mais casas e ter até uma delas sub-arrendada e todos nós a pagar. Pode haver um sem numero de casos que apenas depois de se conseguir "arrumar a casa" é que se consegue ter uma noção mais concreta. Mas tal como disse anteriormente este é um dos casos que assim que o processo de qualidade de dados estiver em funcionamento já haverá retorno.

Segundo um estudo Holandês numa Base de Dados com mais de um milhão de registos, descobriram a existência de um local (Gravenhage), escrito de mais de 50 formas diferentes e que esta inconsistência afectou mais de 50% de todos os registos. Com a colocação de um software de validação no ponto de entrada dos dados consegue-se um ROI imediato, com o aumento da velocidade de inserção dos dados, (muitas vezes evitando a criação de duplicados), reduzindo assim os custos com o pessoal. Qualquer organização que tenha por base dados inconsistentes é provável que subestimem o número e o valor dos seus clientes numa certa área. Todas as decisões que forem tomadas com essa base certamente que irão falhar e com custos para a organização.

A colocação de ferramentas para a validação de endereços no ponto de colecta dos dados tem um efeito imediato sobre a qualidade dos dados recolhidos. Os dados são recolhidos de forma mais rápida - os operadores não necessitam de tantos keystrokes para encontrar a informação pretendida. Desta forma se pode reduzir os tempos de espera e de atendimento de clientes, aumentado a satisfação, diminuindo custos com o pessoal. Com o aumento da satisfação dos clientes aumenta o valor da organização em todo o mercado com a partilha de experiências entre os clientes e os seus amigos/contactos.

A limpeza a jusante é sempre menos eficaz que a limpeza na fonte, não se pode identificar com tanta facilidade problemas de qualidade e não tem a oportunidade de dialogar com o cliente como se tem durante a colecta dos dados. A Sirius Decisions criou a regra 1-10-100: "É necessário $1 para verificar um registo na inserção dos dados, $10 para o limpar e deduplicar e $100 se nada for feito, com as ramificações dos erros a serem sentidas repetidamente" (“The Impact of Bad Data on Demand Creation”, Sirius Decisions, January 2009)

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Tal como prometido no post anterior aqui ficam algumas soluções para minimizar os problemas de qualidade de dados.

Vamos ver se consigo abranger todos os tópicos colocados, mas tenho desde já de fazer uma ressalva. A limpeza dos dados é tudo menos um processo estético. Não se deve fazer uma limpeza de dados apenas para que fiquem "mais bonitos", até porque a isso não se deve chamar limpeza de dados, muito menos processo de qualidade de dados. Isto vem na sequência de uma mensagem que recebi e como não quero que restem duvidas acerca deste aspecto venho aqui reiterar a importância dos processos de qualidade de dados.

Vou tentar mostrar como os processos de qualidade de dados podem ajudar a melhorar, não apenas os dados em si, mas especialmente conseguir em primeira analise a melhoria imediata dos dados, de forma a rentabilizar os mesmos, podendo dessa forma ter um retorno no investimento rapidamente.

Muitos são os estudos e todos apontam para valores assustadores de custos. Vamos desde os 5% do PIB Norte-Americano, aos 10% das receitas das empresas Australianas e da Nova Zelândia para alem de muitos outros valores todos eles como foi dito... assustadores.

Em Portugal nunca foi feito nenhum estudo concreto dos valores que a falta de qualidade dos dados nas nossas empresas representam. Provavelmente porque é um problema que se vai adiando, porque os custos não são medidos, como tal não existem. Os devolvidos são colocados num armazém e nem sequer são contados e quando são contados por norma não se faz contas ao custo total desses devolvidos. Fiz uma pequena "calculadora" onde se pode calcular o custo aproximado total destes devolvidos, com valores a que tive acesso de uma campanha de um prospect. Não é nada muito elaborado nem tenta ser. É apenas para que se possa ter uma forma simples de ter uma noção dos custos.

Estes processos de qualidade de dados podem ser mais ou menos complexos dependendo muito não apenas dos problemas existentes, mas também da disponibilidade de mudança da empresa. Idealmente estes processos deveriam iniciar-se com um data profiling.

Nesta primeira fase, será feita uma representação das fontes de dados, com os nomes dos campos, a sua descrição, os máximos e mínimos. Ter uma representação dos valores, mostrando os padrões, com as frequências para que rapidamente se possam detectar erros nos dados existentes. Verificar a informação das tabelas ligadas, a existência de registos órfãos, detecção de sobreposições, verificação dos dados dos campos por entradas válidas, detecção de tabelas não normalizadas, entre outras verificações de todos os campos existentes permitindo assim que se tenha uma noção rapida e concreta de todas as dificuldades existentes. Este trabalho pode ser executado manualmente, mas com a execução destes softwares o tempo de execução é reduzido para 15% em norma.

Numa segunda fase temos os processos batch. Para alem da correcção dos problemas nos dados que tenham sido encontrados anteriormente deverão ser igualmente executadas a normalização de moradas e a procura de duplicados, que são uma ajuda fundamental para incrementar a qualidade dos dados, mas apenas servem para melhorar no imediato essa qualidade. Depois são necessários softwares que mantenham essa qualidade. Caso contrario passados uns meses já se perdeu novamente a confiança nos dados.

Essa terceira fase que deve ser colocada em implementação conjuntamente com esta segunda fase, é constituída pela implementação de softwares online que permitem que todas as interacções entre os utilizadores e a base de dados sejam feitas de forma a manter os dados limpos.

Este processo tem 3 vertentes, uma a normalização/correcção das moradas, impedindo que moradas erradas entrem no sistema, outra vertente a deduplicação/desduplicação dos registos, evitando que registos duplicados entrem em BD e por fim uma monitorização de todos os outros campos da BD, impedindo que erros já detectados voltem a ocorrer.

Todos estes processos já foram de alguma forma aqui demonstrados neste blog. Temos por exemplo o profiling, os processos batch, a parte da normalização/correcção de moradas e finalmente a monitorização.

Máxima qualidade dos dados para transacções suaves

As Soluções de Qualidade de Dados da Uniserv ajudam a operar as suas aplicações de comércio electrónico e compras online com sucesso. Dados correctos, actualizados e consistentes a partir de uma entrada de dados confiável que garanta as entregas de mercadorias, rápido fluxo de caixa, receitas planeáveis e clientes satisfeitos.

Data Quality Batch Suite para CRM: A suite completa de produtos para a verificação em batch totalmente automatizadas e limpeza de dados de clientes em aplicações de comércio electrónico.

Data Quality Real-Time Services para CRM: Para protecção imediata da Qualidade dos seus Dados na entrada de dados nos sistemas on-line pelos seus clientes.

A nossa contribuição para aplicações bem sucedidas de e-Commerce e portais Web: Pesquisa rápida, tolerante ao erro, o reconhecimento automático de duplicados e de agrupamentos de dados por nome e morada, validação de dados e aumento ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ Real-Time Services - a nossa contribuição para o sucesso do uso das suas aplicações de e-commerce.

Circulante aos processos de qualidade de dados
Alta qualidade de dados é critica para o sucesso da sua empresa, independentemente de pertencer ao sector industrial ou comercial e das suas aplicações.
É importante ainda que se diga que não se deve esperar por uma actualização anual porque necessitamos todos os dias de ter os dados actualizados e não apenas uma vez por ano. Uma gestão de qualidade consistentemente tem como objectivo permanente submeter a verificação da qualidade dos dados num ciclo em que há uma verificação automática, matching, enhancing e possível consolidação dos dados logo no input.

Construa uma firewall de qualidade de dados
O modo mais eficaz e eficiente de eliminar problemas de qualidade de dados é a prevenção antes que os problemas surjam. Contaminação "rastejante" dos dados pode ser evitada com a implementação de verificações de qualidade directamente nos pontos de entrada no sistema. O utilizador recebe feedback directo dos problemas e pode directamente intervir nos casos em que uma intervenção automática não seja possível.

Para alem de verificar se os dados estão completos e de uma validação contra listas de referencia, a manutenção permanente deve ser providenciada verificando todos os inputs contra os dados existentes na base de dados de forma a prevenir o aparecimento de duplicados. Dependendo do modelo de negocio, complementar com dados internos ou e externos é igualmente recomendado.

Encontrar em vez de procurar
No dia a dia do negocio, pedidos de informações de clientes, o serviço ao cliente ou a aceitação de pedidos via telefone, frequentemente geram situações, em que as informações do cliente e do fornecedor, dados de conta ou de contrato tem de ser acedida rapidamente e com segurança sem que existam referencias disponíveis. No que diz respeito a isto o desafio é encontrar dados específicos numa base de dados, ainda que em grande parte dos casos apenas informação parcial está disponível ou que a soletração seja pouco clara.

O DQ Real-Time Services da Uniserv fornece-lhe a informação necessária no pressionar de um botão, mesmo que as palavras de procura estejam incompletas, imprecisas ou incorrectamente soletradas. No fim de tudo, o seu staff deve ser especialistas nos seus processos de negocio e não na procura em bases de dados.

Qualidade de dados e e-Business
O input de dados incorrectos e incompletos é uma questão recorrente em e-Business. Atenção especial deve ser prestada a este aspecto da qualidade de dados num ambiente no qual os clientes colocam eles próprios os seus dados. Frequentemente apenas dados abreviados, desestruturados ou dados totalmente incorrectos são introduzidos, ou ainda com erros não intencionais de digitação.

Funções adequadas para garantir a consistência da qualidade dos dados não foi ainda integrada nas aplicações web de muitas empresas. Isto é indispensável, contudo, porque o sucesso do negócio online anda de mãos dadas com a qualidade dos dados.

Limpeza de dados de clientes e empresas

O DQ Batch Suite contem as fundações para todos os processos e aplicações de negocio - no que diz respeito aos nomes e moradas ou dados financeiros, produto ou dados de pedidos.

As seguintes soluções fazem parte do portefólio de inovação e funcionalidades avançadas que estão disponíveis no DQ Batch Suite:

• Analise e formatação de Moradas
• Correspondência de duplicados e clustering (por exemplo a nível do household), verificação de compliance e Data Enhancement
• Verificação Postal
• Geo e Micromarketing
• Consolidação de dados
• Modulo de Scripting para funções especificas suplementares
• Reporting e processamento gráfico de valores característico para qualidade de dados

O DQ Batch Suite permite que sistematicamente possa usar as funções de qualidade que necessita, para que possa criar valor acrescentado com a qualidade de dados.

Com o DQ Batch Suite, colocamos ao dispor um sistema moderno que irá ajudar a mover-se fácil e rapidamente nos processos de limpeza de dados como resultado da aproximação inovadora que permite. O sistema combina o melhor de anos de experiência da Uniserv e dos seus utilizadores e garante segurança no investimento e um rápido ROI. Adicionalmente quase que não será necessário referir que o DQ Batch Suite é:

• Fácil de aprender devido ao seu design consistente e operacionalidade intuitiva
• Aberto e flexível porque pode ser livremente configurado e por sem complementado por funções especificas do utilizador.
• Facilmente integrado em sequências existentes e pode ser automatizado
• User-friendly como resultado de extenso suporte ao utilizador e uma parametrização ultra fácil
• Alta performance através de processos e algoritmos paralelizáveis e avançados e confiáveis
• Escalável através de uma arquitectura cliente/servidor "state of the art" - disponível em quatro versões diferentes:

Desde a versão workstation para implementação de pequenos projectos de limpeza com quantidades limitadas de dados executadas na workstation, até ao Enterperise Server para grandes companhias em projectos de limpeza transversais envolvendo vários funcionários ou grandes quantidades de dados têm de ser tratados com as mais altas demandas de performance, paralelização e integração e automatização.

O que oferece o DQ Batch Suite?
Com o DQ Batch Suite, pode trabalhar de acordo com um principio: one-stop shopping!
Isto significa que controla o processo de limpeza passo a passo ao longo de todos os passos de processamento e programas. Pode ainda comunicar com o servidor DQ Batch Suite num dialogo via um interface gráfico user-friendly standard.

Com o seu enquadramento especial, o DQ Batch Suite orquestra todas as funções necessárias para o processos de limpeza:

• Todos os módulos para verificação da qualidade dos dados e a sua limpeza automática
• Blocos de funções para definir as regras de verificação individuais para dados "não de clientes" e executar limpezas automatizadas em massa, por exemplo de dados financeiros, de produto ou de pedidos.
• Produto com capacidades e recursos especiais para compreensão da organização, simplificação, automatização e aceleração dos processos e sequências para optimização e assegurar a qualidade dos dados.

Descrição dos processos que foram criados usando o interface gráfico do DQ Batch Suite que pode ser manualmente executado (ad-hoc) ou a qualquer altura desejada com a função integrada de scheduling, e também automatizada, por exemplo uma vez por mês. A execução das descrições dos processos podem ser integradas em sistemas IT que tenham sido desenvolvidos, sem problemas via a opção de automatização.

Qualidade de dados a nível internacional
O DQ Batch Suite pode também ser usada com as mesmas capacidades funcionais por empresas que operam a nível internacional. Com a capacidade Unicode o sistema providencia as bases para uma qualidade de dados internacional e pode igualmente manipular diferentes scripts e caracteres nacionais. Adicionalmente a isto, providenciamos versões especificas por país de blocos de funções e das bases de conhecimento. Como resultado, o sistema satisfaz as mais altas demandas de qualidade de dados internacionalmente.

Com o DQ Batch Suite, pode verificar os dados e na maior parte dos casos fazer a limpeza dos mesmos de forma totalmente automática.

Efeitos de uma pobre qualidade de dados
A limpeza dos dados é apenas um passo no processo de qualidade de dados, mas é um passo essencial. No que diz respeito a isto, não faz diferença se consideramos a limpeza dos dados no antigo sistema, nos projectos de migração de dados, nos dados master, gestão de risco ou compliance ou na implementação de dados orientados ao cliente, com o uso primariamente operacional dos dados dependendo da área, quer seja, na retenção de clientes, comunicação ou dialogo personalizado e direct maketing. A limpeza dos dados cria uma optimização da qualidade dos dados no que diz respeito à sua actualização, fiabilidade e grau de detalhe e como tal assenta fundações nos bons resultados de analise e processos de negocio - e finalmente para que se consigam melhores conteúdos de informação.

DQ Batch Suite: Funções "all-in-one"
O DQ Batch Suite integra todas as sequências de funções importantes e típicas para a limpeza de dados agrupados. O sistema leva-nos interactivamente através de todos os passos de processamento com uma interface gráfica. Com o assistente do software para que possamos controlar o processo batch, o DQ BatchSuite é o agregador de todos os projectos de limpeza. Podemos usa-lo para verificar a qualidade dos dados de cliente e limpa-los de forma totalmente automática, na grande parte dos casos e fazer igualmente limpezas em massa de outros dados, isto é podemos corrigir os erros que tenham sido automaticamente detectados pelo DQ Explorer ou automaticamente reportados pela solução da Uniserv, DQ Monitor.

O DQ Batch Suite permite criar consistência de dados necessária para os seus processos e aplicações!

Analise, acção, performance

O DQ Explorer permite que encontre a qualidade dos seus dados e os seus comportamentos rapidamente e de forma precisa como parte de uma analise de dados automatizada. O software pode ser usado como em projectos individuais ou como parte de iniciativas estratégicas mais abrangentes e como tal suporta um numero elevado de tarefas, como por exemplo:

Investimento extensivo no sistema

• Quando novos sistemas são instalados, os problemas com os dados frequentemente geram problemas consideráveis de budget e de tempo nos projectos de TI. Uma analise antecipada e detalhada dos dados pode reduzir significativamente estes riscos.

Auditorias de dados

• Avaliação da qualidade dos dados para suporte das aplicações e processos críticos para o negocio na melhor forma possível. Identificação de áreas chave, nas quais uma qualidade de dados melhorada providencia artificioso tangíveis.

Migração de dados

• Analise detalhada dos dados antes da migração significa que ciclos de migração recorrentes e extenso trabalho subsequente são reduzidos consideravelmente.

Regras de qualidade

• Quando o DQ Explorer é usado em combinação com o DQ Monitor, regras precisas podem ser geradas para monitorização da qualidade dos dados numa base permanente.

Analise dos dados e profiling de dados em 3 etapas
O assistente de profile no DQ Explorer faz da analise de dados uma brincadeira de crianças. Links, dependências e analise de chaves podem também ser executadas intuitivamente.

As Vantagens

• O tempo necessário para a analise é reduzido em 90%
• Os riscos dos projectos TI são reduzidos por uma analise eficiente e eficaz antecipadamente
• Uma plataforma integrada de gestão simplifica os processos de analise e de optimização
• Pode finalmente confiar na qualidade dos seus dados
• Escalável - disponível em três versões diferentes, da versão workstation para as analises de projecto de um homem com pequenas quantidades de dados até ao Advance Server para grandes projectos cooperativos de analise com um grande numero de colaboradores e grandes volumes de dados.

Analise de dados eficiente e efectiva
O DQ Explorer da Uniserv é uma ferramenta interactiva de data profiling e um sistema de caracterização comprovado que lhe oferece uma visão precisa e detalhada sobre o estado dos seus dados. Fornece automaticamente extensas informações acerca da Base de Dados, fornecendo uma visão compreensiva dos seus dados. Como resultado, pode reduzir tempo e esforço necessários para a fase de analise dos projectos de qualidade de dados em 70% comparativamente com as abordagens convencionais.

Gestão eficiente dos problemas identificados
Uma vez que tenham sido identificados, os problemas de qualidade de dados ainda têm que ser solucionados. O processo respectivo deve ser gerido, não importa se a limpeza é efectuada usando uma ferramenta de limpeza apropriada, Scripts de SQL no administrador da BD ou por procura e correcção no contexto da aplicação.

O DQ Explorer encaminha este problema através da integração de funções para analise dos dados, a gestão dos problemas identificados, o tracking do projecto assim como gera relatórios de status apontados a um ponto único. Como regra, os outputs da analise dos dados (resultados, avaliações, tarefas de acompanhamento) são ainda por norma guardadas via folhas de calculo, e-mails ou bases de dados ad-hoc. Isto causa uma sobrecarga significante na manipulação dos dados e aumenta o risco que informação chave seja perdida nas "falhas" entre estas ferramentas.

Se usa o DQ Explorer, a sua analise de projecto deixa de necessitar de correr entre um largo numero de conjuntos de ferramentas. O DQ Explorer permite identificar problemas num ponto único, atribuindo os problemas para a pessoa responsável pela solução e monitorizar o progresso conseguido.

Além disso, a opção ímpar de envio de e-mails permite que informe os membros da equipe automaticamente acerca das atribuições ou o status das alterações das tarefas.

Relatórios fáceis de gerar acerca do progresso conseguido nos mais variados níveis, tais como o projecto no geral, sistemas individuais ou outros critérios livremente seleccionáveis, de forma a que possa ter uma capacidade funcional e garantindo que os intervenientes tenham uma visão consistente e actualizada do projecto.

Resultados rápidos
O DQ Explorer da Uniserv é fácil de usar e gera resultados mais rapidamente e mais eficientemente que com as técnicas de analise manual convencionais. Estes dados estão disponíveis para analise assim que forem carregados da base de dados. O interface intuitivo e o escopo da informação fornecida faz do DQ Explorer uma valiosa ferramenta nas mãos de variados grupos tais como analistas de sistemas, administradores de bases de dados e no desenvolvimento de software.

Com o DQ Explorer, pode criar alta transparência dos dados e bases fortes para a tomada de decisões correctas.

MOTIVAÇÃO
A idéia de que melhor informação é um factor competitivo central está cada vez mais a ganhar aceitação nas empresas. O desafio é garantir que a informação correcta está a ser usada, e isso tem muitas aspectos, por exemplo os dados do cliente, gestão de risco, as iniciativas de BI e a consideração aos requisitos de conformidade. No entanto, a abundância dos dados está constantemente a crescer e isto afecta a qualidade dos dados em muitas áreas. O uso "tradicional"dos sistemas de TI só por si não dá uma resposta efectiva a este fenómeno, mas é precisamente a qualidade dos dados que melhor estabelece um papel central na implementação das tarefas acima indicadas. É simplesmente o pré-requisito para alcançar os melhores resultados, maximizando os lucros, reduzindo custos e desenvolvimento de vendas e lucros potenciais.

A consistência de dados significa análise de dados de valor e uso
Estabelecer uma alta qualidade de dados no longo prazo requer a analise e medição dos dados como um primeiro passo. Utilizadores frequentemente fazem avaliações diferentes do estado dos seus dados. Isso pode levar a pressupostos incorrectos, conflito de requisitos ou atrasos inesperados.

O profiling dos dados é mais ou menos um "inventário" dos dados disponíveis, que fornece informação sobre o seu estado. Em suma, com o profiling de dados, faz uma declaração definitiva sobre a consistência e qualidade dos dados da sua empresa. Está assim, em condições para estabelecer fundações para programas direccionados ao objectivo de aumentar a qualidade dos seus dados. Profiling dos dados fornece valiosos serviços para o desenvolvimento de um plano de projecto realista e a prevenção de problemas subsequentes e re-execução dos projectos, especialmente na preparação dos projectos de migração de dados, integração de dados ou master data management.

Conhecimento em vez de presunções
A solução de Data profiling da Uniserv, o DQ Explorer automaticamente fornece informações para cada atributo, tais como os valores e padrões bem como a sua frequência, a proporção de valores ZERO, proporções de valores inequívocos, mínimo e máximo, tipo de dados derivados, outliers suspeitos, entre outros.

Como resultado, identifica valores conspícuos ou problemáticos num relance e imediatamente mostra os registos em causa com um clique do rato - por drill-down.

Verifica unicidade ou dependência de vários atributos, estendendo para lá da automática oferta da informação ao nível de cada atributo individual, pode ser rápida e facilmenteefectuada, tal como a verificação de junções entre tabelas, também a partir de diferentes fontes de dados.

A qualidade dos dados é o nosso mote
Criar qualidade dos dados com confiança
Nós vemos a qualidade dos dados como algo que lhe permite alcançar os objectivos operacionais e estratégicos da sua organização de forma confiável e dentro do cronograma. Com o Data Quality Solutions da Uniserv, nós fornecê-mo-lo com um portefólio de produtos, por meio dos quais pode optimizar passo a passo a qualidade dos dados e fixá-la no longo prazo.

Dados harmonizados e optimizados fazem uma contribuição significativa para o valor acrescentado dos processos operacionais e são a base para as melhores decisões corporativas. A análise dos dados, padronização de dados e limpeza de dados, verificada pró-activamente e monitorização contínua são os pré-requisitos para evitar erros de dados de forma permanente na medida do possível.

Com o Data Quality Explorer, use um instrumento para a realização de análises de dados de perfis e investigação de dados. O Explorer é utilizado para por exemplo, a análise de dados de produtos, financeiros, operações, estatísticos ou encomendas.

Com o DQ Batch Suite, você trabalha de acordo com o princípio: one-stop shopping! Isso significa que controla o processo de limpeza passo a passo todas as etapas de processamento e programas. O Data Quality Batch Suite é tipicamente o centro de qualquer projecto de limpeza. Pode usá-lo para verificar a qualidade dos dados dos seus clientes, para purificá-los de forma totalmente automática na maioria dos casos e também para realizar a limpeza em massa de "dados de não-clientes", por exemplo, corrigir erros que foram detectados pelo DQ Explorer ou comunicadas pelo DQ Monitor.

Com o Data Quality Real-Time Services da Uniserv, assegura a qualidade dos dados do cliente logo no input. Os erros são identificados "on the fly" e, automaticamente corrigidos ou relatados para o utilizador como erros. As áreas de aplicação são em online "convencional" e aplicações web. Ao utilizar o Real-Time Services como um "firewall", impede um efeito negativo sobre o nível de sua qualidade de dados na medida do possível.

O Data Quality Monitor monitoriza a qualidade dos dados dentro dos seus processos e aplicações de acordo com as regras especificadas. Se os limites definidos são excedidos, ele entra em acção. O DQ Monitor é utilizado para por exemplo, monitorização da qualidade do produto, financeira, operação, estatística ou dados de encomendas.

Software para a melhor gestão de dados
Nós oferecemos mais
A confiabilidade dos dados é uma preocupação para nós - independentemente das aplicações ou fontes de dados. Como resultado, nós fornecemos as funções opcionais especiais nas nossas soluções Data Quality Batch Suite e Data Quality Real-Time Services, contribuem para colocar de forma confiável informações de qualidade de dados em vigor, individualmente ou em grupo.

Opções com áreas de foco cuidadosamente seleccionadas

• Análise de endereços e formatação de endereço
• Correspondência de duplicados e de clustering (por exemplo, a nível household), verificação de Compliance, o Data enhancement
• Verificação/correcção de endereços mais a selecção de duplicados em tempo real e clustering
• Verificar o endereço postal
• Geo & micromarketing
• Mudança endereços
• Consolidação de dados dentro de grupos duplicados
• Módulo de script para complementar as funções específicas
• Apresentação de relatórios e processamento gráfico dos valores característicos de qualidade de dados

Inovadores padrões de software
Por meio dos mais recentes métodos e procedimentos de processamento de dados, prosseguimos sistematicamente o objectivo de lhe oferecer software inovador padronizado que lhe fornece o máximo de flexibilidade de uso e qualidade da solução. A este respeito, independência de plataformas de sistema, alta escalabilidade, capacidade de web e versões internacionais são objectivos de projecto importantes que protegem seus investimentos em software, a longo prazo.

Integração facilitada
Várias interfaces que podem ser utilizadas no âmbito da arquitectura cliente / servidor estão disponíveis para a integração optimizada das soluções Uniserv e opções no seu ambiente e processos de TI . Como resultado, pode selecionar a solução que melhor atenda às suas necessidades específicas, sem ter que sacrificar as características de desempenho e qualidade no processo.

E mais uma coisa que deve saber!
Gerindo os dados do cliente no ambiente SAP®
A fim de aumentar a sua competitividade, as organizações estão investindo cada vez mais nas suas infraestruturas de TI. Neste contexto, muitas empresas decidiram-se por SAP® para optimizar seus processos de negócio e deter informações transparentes e actualizadas disponíveis em toda a empresa. Assim as empresas são capazes de usar os seus investimentos em toda a sua extensão, a SAP® apoia a integração de soluções de fornecedores de terceiros. Isso permite que os dados armazenados no sistema possam ser mantidos e actualizados, de forma a estarem livres de duplicados e com moradas corretas.

Como parceiro de software SAP®, as soluções Uniserv para validação dos serviços postais, duplicação a busca tolerante ao erro, cumprem com as exigências feitas pela SAP®. Foi também uma das primeiras empresas no mundo a ser certificada SAP®.

A qualidade dos dados: um aumento de desempenho para sua empresa
Os dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.

Pode contar com seus dados e com as suas fontes?
Processos de negócios bem sucedidos são baseados em dados de alta qualidade!
Pergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta "frequente" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.

Ciclo de controle de qualidade de dados ou ...
... como é que a qualidade dos dados é permanentemente garantida a longo prazo?
Modelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação.
Para efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:
- Balanço e análise da situação actual da base de dados
- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados
- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo
- Medidas para a optimização da qualidade
- Contínuo acompanhamento e controlo da qualidade dos dados

Como resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.

Informações úteis

Como é que a verificação da morada do Post para mySAP™ Business Suite difere de uma verificação "normal" look-up?

• Verificação automática e correcção de todos os elementos da morada.
• A verificação tolerante ao erro, de modo que muitos erros são corrigidos automaticamente, ou seja, sem intervenção do utilizador.
• Atribuição do código postal correcto baseado na rua, número da casa ou informações do apartado.
• Exibição das alternativas mais prováveis no caso de ambiguidades.

Como é que a verificação da morada, com o Post para mySAP™ Business Suite difere de outros sistemas de verificação de moradas?

• Versões nacionais do programa estão disponíveis para os mais importantes países europeus, assim como o Canadá e os EUA.
• Sempre que possível, os produtos Uniserv foram certificadas pelas autoridades postais nacionais.
• Uma verificação da rua e número de porta a nível nacional é possível num alto grau em todos os países.
• Uma maior actualização dos dados é fornecida por meio de actualizações regulares.
• Suporte de todas as características particulares postais nacionais.
• Suporta a funcionalidade de entrada rápida nos Países Baixos e Reino Unido.
• Os componentes do endereço digitado nos campos errados são automaticamente colocados nos campos correctos (importante para utilizadores inexperientes e endereços estrangeiros).
• Adição das coordenadas geográficas está disponível mediante subscrição, permitindo a atribuição automática de detalhes de dados até o nível de número da rua ou da porta ao introduzir ou mudar endereços.
• Disponibilização da "limpeza mensal" incluída na função básica. Como resultado, qualquer alteração na base de dados de endereços que se torne necessária devido à reorganização do governo local, mudanças em nomes de rua, a estrutura do código postal ou a classificação geográfica podem ser automaticamente detectadas e corrigidas na medida do possível.

Como é que o sistema de recuperação Mail para mySAP™ Business Suite difere do padrão de pesquisa com "wildcards" disponível no mySAP™ Business Suite?

• Os resultados são gerados muito mais rapidamente. Mesmo com bases de dados contendo vários milhões de endereços, o tempo de resposta é geralmente menos de um segundo.
• Pesquisas realizadas com Mail para mySAP™ Business Suite são tolerantes ao erro, mesmo sem "wildcards". Isto é importante mencionar, porque se fizer a entrada com "wildcards" presume-se que o utilizador suspeita que poderia haver um desvio!
• Resultados de qualidade elevada à saída, mesmo que a busca seja executada com registos incorrectos ou apenas com fragmentos do registo.
• A pesquisa pode ser executada automaticamente, sem a acção do utilizador para novas entradas e mudanças. Como resultado, a criação de duplicados é evitada na medida do possível sem uma busca intensa do utilizador.
• Os resultados são gerados de acordo com o grau de certeza.
• As inscrições podem ser feitas em ordem aleatória.
• Cada tipo de palavra, seja por exemplo o nome ou número de porta, podem ser especialmente ponderados na parametrização.

Quais as vantagens que o redesenho dos dois componentes Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite fornecem para o utilizador?

• Estrutura modular com baixo acoplamento dos componentes para o Business Address Services (BAS).
• Dissociação das funções de GUI para suportar aplicações web.
• Aplicação do princípio-guia ”Customizing instead of programming, user exits instead of modification”.
• Paralelização e optimização do desempenho, principalmente para clientes com bases de dados grandes.
• Capacidade de funcionamento a 100 por cento em unicode em aplicações e dados.
• Melhoria da reciclabilidade e uniformização, manutenção simplificada dos componentes.
• Disponibilização extensiva de extensões individuais e integração.

Como é que a solução completa da Uniserv difere de outros produtos no ambiente de solução SAP®?

• A experiência: Com mais de 3.300 instalações de servidor, as soluções de qualidade de dados da Uniserv são uma das soluções mais utilizadas internacionalmente.
• A Uniserv é um SAP® Software Partner.
• As soluções da Uniserv Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite tem uma integração certificada SAP®.
• A Uniserv não só fornece componentes autónomos, mas também uma solução completa.
• Como resultado da arquitectura de layers, os componentes podem ser integrados no Business Address Services (BAS) e fora do BAS em aplicativos desenvolvidos in-house, AddOns ou aplicações web, como o Webclient IC. Uma conexão web permite o uso móvel das funções independente da localização.
• Verificação da morada e a verificação de duplicados geralmente são combinadas, conseguindo assim uma qualidade melhor de resultados na detecção de duplicados. Ambas as soluções são concebidas como pedidos de diálogo. Elas são complementadas pelo sistema de limpeza em batch (BCS), um batch de alta performance para a integração e depuração de dados em massa.
• As soluções Uniserv não fazem compromissos e foram desenvolvidos exclusivamente para a gestão de endereços e optimização da qualidade de dados on-line ou em processamento em batch.
• Alta escalabilidade, mesmo com muitos "power users", através da distribuição flexível em diferentes servidores físicos e lógicos.
• As soluções disponíveis são de orientação internacional, de aplicação neutra e independente da indústria e da plataforma.
• Elementos que se pagam imediatamente e resultam num ROI positivo, porque apoiam a gestão integrada do cliente do início ao fim e ajudam a desenvolver relacionamentos com os clientes de forma lucrativa.
• A partir de SAP® R/3® versão 4.6 C, os sistemas estão disponíveis como componentes para integração simples e extremamente rápida "plug & play".

Produtos Data Quality Uniserv: opções eficazes para a integração no seu sistema MDM

No que diz respeito à alta qualidade dos dados e à eficiência do sistema MDM associado, é irrelevante qual a arquitectura escolhida. A qualidade dos dados deve ser sempre de alto nível, não importa se a abordagem base a uma listagem variante ou a um master data completamente consolidado ou às fases intermédias de ambas as variantes sejam seleccionadas. Neste sentido, a questão mais interessante é como as medidas de garantia de qualidade podem ser mais efectivamente integradas no fluxo de dados.O uso do Data Quality Explorer na fase de planeamento da gestão de dados é uma boa ideia. O perfil das diferentes fontes de dados acima descritos podem ser realizado de forma rápida e simples por meio do DQ Explorer. Funções de fluxo de trabalho bem desenvolvido numa arquitectura cliente / servidor permite a optimização de longo prazo dos sistemas de dados de origem. Qualquer irregularidade pode ser anexada aos autos dos respectivos dados na forma de notas. Trabalhos em dados problemáticos também podem ser atribuído ao pessoal por e-mail. Optimização contínua e a preparação para a transferência inicial dos dados para o sistema MDM pode assim ser prosseguido durante o prazo do projecto.

O Data Quality Monitor suporta o monitorizar de KPIs. Como resultado, a optimização dos sistemas de origem pode ser verificada por meio de regras de negócio. Também pode ser utilizado nos sistemas de gestão de dados mestre existentes. Trabalhos de monitorização podem ser configurados de forma muito fácil e automaticamente iniciados. Além disso, a notificação automática do status do trabalho de monitorização também é possível.

Quando a consolidação inicial de diferentes sistemas e uma limpeza inicial dos dados estão em causa, o Data Quality Batch Suite da Uniserv fornece uma excelente opção para preparar os dados dos sistemas de várias fontes para entrada no sistema MDM.

Não são apenas validados os endereços e, se necessário, corrigidos no DQ Batch Suite, como os dados dos sistemas de diversas fontes também podem ser organizados em grupos e classificados num processo individual adaptado às regras de negócio.

Depois dos dados serem agrupados, podem ser consolidados. É, assim, garantido que nenhum dado importante seja perdido e as fontes de dados sejam devidamente ligadas. Escusado será dizer que as chaves primárias também podem ser geradas para a correspondência posterior na recuperação dos dados.

Sistemas de gestão de dados são também caracterizados pelo facto dos registos de dados serem constantemente alterados por meio da criação inicial de dados, informações suplementares ou correcções. O rápido retorno de um registo de dados chamado também deve ser garantida pela arquitectura do sistema.

Um conceito para executar essas mudanças e chamadas de dados é a integração de uma Arquitectura Orientada ao Serviço (SOA). As regras de negócio podem ser implementadas usando aplicativos por meio de SOA. Relativamente à qualidade dos dados e o uso do Uniserv Real-Time Services, isto significa que os registos duplicados de dados podem ser evitados. A correcção automática de endereços está garantida.

É hora de subir a bordo: A Auditoria de Qualidade de Dados DQ Audit da Uniserv pode ser usada para fazer declarações sobre o status quo dos dados in-house.
O DQ Audit é o primeiro passo fundamental para a tomada de decisões confiáveis - e marca a sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema MDM».
Durante a auditoria, a qualidade dos endereços é primariamente avaliada com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise dos processos. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"