Qualidade de Dados / Data Quality

Infelizmente recomeçamos a ouvir falar no falhanço dos projectos de BI por esse mundo fora, tal como no final dos anos 90 até ao inicio do século se foi ouvindo falar do falhanços dos projectos de CRM, nos quais se investiram milhões e se retiraram tostões. Esta frase foi utilizada no primeiro post aqui deste blog já lá vão quase dois anos e mantém-se actual.

Tenho andado a adiar este post, mas ontem depois de mais algumas mensagens relacionadas com o tema, decidi que finalmente era hora de falar deste tema.

Os valores ainda são muito dispares e vão desde os 70 a 80% apontados pela Gartner, penso que poucos podem duvidar da independência dos estudos da Gartner. Quando falamos de previsões, falham como todos, mas em termos de estudos. por norma são a grande referencia internacional.

Outros ainda falam de 50%, mas são sempre valores elevados que estamos a falar e mais elevados ainda se tivermos em consideração os valores monetários.

Do muito que se pode ler relacionado com o tema por esses sites e blogs, um tema é comum. A Qualidade dos Dados está sempre no top dos motivos que levam ao falhanço dos projectos de BI.

Como estou a colocar números, vamos a mais alguns, pena que já tenham alguns anos, mas continuam certamente muito actuais. Num estudo de 2005 da Business Week chegou-se à conclusão que 43% dos utilizadores dizem não ter a certeza que os dados internos estão correctos, que 77% dizem que más decisões foram tomadas devido à falta de informação e 4 em cada 5 não acredita nas estatísticas das apresentações. Um outro estudo do Data Warehousing Institute diz que a falta de qualidade nos dados dos consumidores custaram às empresas Norte Americanas $611 mil milhões de dólares por ano. No entanto quase metade das empresas inquiridas admitiram que não têm planos para incrementar a qualidade dos dados.

O incremento da qualidade dos dados não é a solução final e absoluta para o sucesso dos projectos de BI, mas ajuda significativamente para evitar o falhanço dos projectos de BI. Não querendo de forma nenhuma colocar a foice em seara alheia, diria que o principal factor para o sucesso, será o factor humano, seguido pela qualidade dos dados.

Nestes últimos dias tenho recebido de algumas de empresas, das quais sou cliente pedidos de actualização de morada e cartas com moradas que me fazem aumentar algumas preocupações.

Dos exemplos que tenho comigo, são 2 cartas, que só não foram devolvidas por "carolice" do carteiro, e uma outra empresa que me pede para reenviar os dados da morada, sinal que ou os perderam, que acho estranho com os processos de backup existentes e que as grandes empresas por norma têm, ou depois de um processo de qualidade de dados, com um normalização /tratamento /higienização de moradas, como lhe queiram chamar, foram adulterados de tal forma que já não é possível que as cartas cheguem ao destino.

Isto preocupa-me duplamente porque se por um lado existem empresas que estão a tratar os meus dados desta forma, a outra preocupação é a imagem que estes falsos processos de normalização /tratamento /higienização vão deixar nas empresas que os fizeram. Isto porque alguns destes até são executados por empresas bem cotadas na nossa "praça".

Como fiz a adaptação de um software para Portugal, sei quais são as principais dificuldades com que nos fomos deparando ao longo desse processo e que vou tentar aqui resumir um pouco para que se possa ter noção do porquê da existência destes problemas. Já lá vão mais de 10 anos mas até aqui pouco mudou. O que existia eram bases de dados de moradas com o histórico de erros. No que consiste esta técnica? Cada vez que se encontra uma rua escrita de forma diferente, essa forma é anexada ao histórico e na próxima vez que surja é corrigida automaticamente. Logicamente que isto é um processo muito complicado e muito falível, como tal não seria uma solução para o problema, mas um remendo. Existia a hipótese de desenvolver internamente uma ferramenta, mas se a roda já foi inventada... Como solução existia a colocação de ferramentas internacionais, mas aí chegados outros problemas surgiram:
- A primeira dificuldade encontrada aquando da busca de um software no mercado internacional foi a disponibilidade de adaptação à realidade Portuguesa. Se por um lado temos especificidades que não se encontram em mais nenhum país da Europa e algumas mesmo do mundo, por outro temos uma dimensão de Portugal que nem sempre permite às grandes multinacionais investir uma vez que podem não ter grandes possibilidades de retorno.
- A falta de informação existente em Portugal relativa a esta matéria. Não existe um organismo ou instituição responsável pelas moradas em Portugal. Assistimos a "crimes" como a numeração que foi colocada na zona da Expo, que não se compreende como é possível num país europeu se permite que tal exista na sua capital. Somos talvez o unico país na Europa que tem na mesma localidade a Rua, Travessa e o Largo da Liberdade entre muitos outros.

Por tudo isto e muito mais, o que recomendo é que antes de investirem em processos de normalização/ tratamento / higienização de moradas, é que peçam um teste a um numero razoável de dados, numero que apenas possa tratado de forma automatizada.

Desta forma, consegue-se separar o trigo do joio, uma vez que já existem algumas empresas a apregoar a normalização /tratamento /higienização de moradas, mas que tem por base pseudo-ferramentas desenvolvida em cima do joelho e que são testadas com os dados dos clientes, com todos os problemas que isso acarreta.

Para finalizar tenho ainda que esclarecer a diferença entre vários conceitos que andam misturados neste tema.

Normalização de dados: A normalização de dados é uma definição um pouco subjectiva. Se por um lado poderemos considerar a Normalização de dados como todo o processo qualidade de dados, existe ainda quem pense que a normalização de dados é colocar todas as Ruas como R., todas as Avenidas como Av. etc.
A normalização /tratamento /higienização de moradas é mais que isso, este processo até acaba por ser o processo mais simples. O mais complicado é a parte da comparação/correcção da morada com o ficheiro de arruamentos de referencia. Aqui sim existem inúmeros problemas que podem surgir. Como exemplo, ruas Alfredo da Costa em Sintra existem 3 ruas diferentes, se não existir um software preparado para estas situações, o mais certo é haver problemas no final.

Como tal, volto a alertar para o teste dos softwares antes de colocarem os dados dos Vossos clientes em risco. São poucas as empresas que têm confiança no seu software, de forma a colocarem no site um demo do mesmo.

Lucre com todas Soluções de Qualidade de Dados da Uniserv para e-commerce e portais da Internet, incluindo:

• Óptima qualidade dos dados através do acompanhamento permanente na criação inicial de dados e alterações (Data Quality Firewall)
• Revisão confiável dos dados (Data Cleansing) de acordo com as regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone) no processamento em batch ou em tempo real.
• Entregas rápidas e confiáveis de bens com os clientes satisfeitos, criando laços fortes.
• Baixa os custos de postagem para correspondência em massa por meio de dados de alta qualidade endereço
• Extensas análises do comportamento do consumidor para o uso eficiente dos potenciais upselling e cross-selling numa base up-to-date, corrigida e livre de clientes duplicados e de dados de transacções fiável.
• Fluxo de caixa com receitas de confiança, planeável e uma minimização dos riscos de atrasos nos pagamentos ou não pagamentos por meio de dados precisos de pedido e de clientes

A qualidade dos dados faz o seu Customer Relationship Management (CRM) mais eficaz

Fortalecer o relacionamento com os clientes existentes e angariação de novos clientes de forma rentável, é o alfa e o omega para garantir uma fatia maior do bolo das vendas. A base para isso é um Customer Relationship Management (CRM) forte com os dados do cliente correctos e completos, que possam ser usados no marketing, vendas, call centers e serviço pós-venda, mas a qualidade dos dados é precisamente onde a porca torce o rabo em muitas empresas.

Endereços incorrectos - vendas menores, custos maiores
Endereços de correio não entregues fazem com que campanhas de mailing descarrilem e causam custos desnecessários com portes e pesquisas. As facturas não podem ser entregues, o que resulta no não-pagamento, para não mencionar a perda de oportunidades de vendas, porque a sua mensagem promocional não atingem os potenciais compradores.

Duplicados - clientes insatisfeitos, planeamento incerto, up / cross-selling não são utilizados
Vários registos de dados (duplicados) são, possivelmente, ainda mais problemáticos:

• Os importantes dados dos clientes estão incorrectos durante uma chamada de serviço ao cliente. O cliente fica desapontado e pode ir para a concorrência. Perda nas vendas são o resultado inevitável aqui.
• O planeamento de vendas e marketing sofre, porque duplicados evitam uma classificação automática e correcta de clientes e exigem uma correcção manual cara.
• As previsões são distorcidas, o que pode levar a decisões de negócios atrasado ou incorretas que atingiu a sua empresa rígido.
• A selecção de endereços para as campanhas de marketing torna-se extremamente complicada, que é por isso que só consegue colocar suas ofertas depois da concorrência.

Falta de confiança - o sinal de partida para ter cada vez uma qualidade dos dados mais pobre
A prática tem demonstrado que, se os utilizadores não podem aceder às informações necessárias no sistema de CRM de forma rápida e com alta qualidade, a quantidade de cuidados tomados durante a entrada de dados e manutenção é normalmente reduzida. O resultado é uma espiral descendente de uma diminuição constante da qualidade dos dados, que só pode ser interrompida por um completo - e caro - relançamento do sistema de CRM, num caso extremo. Não deixe as coisas chegarem a esse ponto e começar a fazer o processo de melhorias necessárias antes que seja tarde demais.

Validação de endereços e verificação duplicados estão disponíveis para os utilizadores do Salesforce através do AppExchange Salesforce como uma solução certificada para qualidade de dados da empresa líder de mercado Uniserv.

Utilizadores do sistema de CRM Salesforce agora podem melhorar significativamente a qualidade de seus clientes e prospecção de dados com uma nova solução da Uniserv GmbH de Pforzheim. A Uniserv é a primeira empresa a oferecer a validação de endereços e a verificação de duplicados plenamente integrado no salesforce.com de uma única fonte. A correcção de endereços podem ser verificados e corrigidos automaticamente quando os dados são inseridos, uma selecção de duplicados é possível, ao mesmo tempo. A solução foi certificada pela salesforce.com e está projectada para uso internacional: todos os países importantes, linguagens e scripts estão cobertos.

A solução está disponível para uso imediato na AppExchange Salesforce. Como no caso de todos os aplicativos de terceiros certificados pela salesforce.com, a instalação só requer alguns cliques e está activo em cinco minutos. O sistema também pode ser testado gratuitamente. Além disso, os utilizadores do Salesforce podem usar a nova oferta da Uniserv Software como Serviço (SaaS) para a optimização completa de bases de dados. Dados arquivados podem ser periodicamente trazidos à "superficie" em www.data-quality-on-demand.com. Grandes arquivos e bases de dados completas também são processados e optimizadas por Data Quality on Demand. Validação de Endereços e harmonização duplicados também estão disponíveis para bases de dados. Funções para analisar dados e correspondentes deslocalizações, lutos ou pessoas que não desejem receber publicidade. Além de tudo isso, o reforço de dados também está disponível.

"A nova solução para os utilizadores do Salesforce é mais um passo consistente, por meio do qual a Uniserv sistematicamente vai executando a sua estratégia de entrega de soluções de qualidade de dados a partir da nuvem. Este é o segundo passo após o lançamento do novo portal de SaaS www.data-quality-on-demand.com - outros se seguirão", disse o CEO da Uniserv, Roland Pfeiffer.

Qualidade dos dados através da "metodologia de acertar à primeira"
Segundo os últimos estudos, o actual estado de coisas na qualidade de dados de clientes em empresas alemãs também não é melhor: Dependendo do sector, uma média de entre 5,7 e 16,1 por cento dos endereços foi assinalado para ser devolvido e entre 0,3 e 8,9 por cento de duplicados existiam num ensaio representativo. Veja aqui um pequeno exercício dos custos que isto pode trazer para as empresas. Se os utilizadores descobrem que a qualidade dos dados em seu sistema de CRM não é perfeito, normalmente tomam menos cuidado ao entrar e a manter os dados. O resultado é uma espiral descendente e uma diminuição constante da qualidade dos dados, que finalmente coloca a utilidade do sistema completo de CRM em risco. Com este cenário, os utilizadores do salesforce.com têm agora a oportunidade, pela primeira vez de aumentar consideravelmente a qualidade de seus clientes e prospecção de dados através da solução Uniserv para validação de endereços e evitar o duplicar de correspondência: ele garante que apenas os dados correctos entram no sistema de CRM logo de início, em vez de dados não verificados, que têm de ser posteriormente levado a um nível aceitável ao elaborar operações de limpeza.

Acesso confortável, se necessário
Depois de alguns passos de personalização em AppExchange, a validação de endereços e deduplicação de registos são executadas automaticamente no Salesforce CRM para a criação inicial de dados ou alterações às ligações, contactos ou contas. Os serviços integrados são baseados em serviços da Web da Uniserv que os vem fornecendo aos seus clientes com sucesso desde à muitos anos.

Existem ainda os conectores disponibilizados pela Uniserv para outros importantes sistemas de CRM, como SAP, Microsoft Dynamics, Siebel, PeopleSoft e Update.

Circulante aos processos de qualidade de dados
Alta qualidade de dados é critica para o sucesso da sua empresa, independentemente de pertencer ao sector industrial ou comercial e das suas aplicações.
É importante ainda que se diga que não se deve esperar por uma actualização anual porque necessitamos todos os dias de ter os dados actualizados e não apenas uma vez por ano. Uma gestão de qualidade consistentemente tem como objectivo permanente submeter a verificação da qualidade dos dados num ciclo em que há uma verificação automática, matching, enhancing e possível consolidação dos dados logo no input.

Construa uma firewall de qualidade de dados
O modo mais eficaz e eficiente de eliminar problemas de qualidade de dados é a prevenção antes que os problemas surjam. Contaminação "rastejante" dos dados pode ser evitada com a implementação de verificações de qualidade directamente nos pontos de entrada no sistema. O utilizador recebe feedback directo dos problemas e pode directamente intervir nos casos em que uma intervenção automática não seja possível.

Para alem de verificar se os dados estão completos e de uma validação contra listas de referencia, a manutenção permanente deve ser providenciada verificando todos os inputs contra os dados existentes na base de dados de forma a prevenir o aparecimento de duplicados. Dependendo do modelo de negocio, complementar com dados internos ou e externos é igualmente recomendado.

Encontrar em vez de procurar
No dia a dia do negocio, pedidos de informações de clientes, o serviço ao cliente ou a aceitação de pedidos via telefone, frequentemente geram situações, em que as informações do cliente e do fornecedor, dados de conta ou de contrato tem de ser acedida rapidamente e com segurança sem que existam referencias disponíveis. No que diz respeito a isto o desafio é encontrar dados específicos numa base de dados, ainda que em grande parte dos casos apenas informação parcial está disponível ou que a soletração seja pouco clara.

O DQ Real-Time Services da Uniserv fornece-lhe a informação necessária no pressionar de um botão, mesmo que as palavras de procura estejam incompletas, imprecisas ou incorrectamente soletradas. No fim de tudo, o seu staff deve ser especialistas nos seus processos de negocio e não na procura em bases de dados.

Qualidade de dados e e-Business
O input de dados incorrectos e incompletos é uma questão recorrente em e-Business. Atenção especial deve ser prestada a este aspecto da qualidade de dados num ambiente no qual os clientes colocam eles próprios os seus dados. Frequentemente apenas dados abreviados, desestruturados ou dados totalmente incorrectos são introduzidos, ou ainda com erros não intencionais de digitação.

Funções adequadas para garantir a consistência da qualidade dos dados não foi ainda integrada nas aplicações web de muitas empresas. Isto é indispensável, contudo, porque o sucesso do negócio online anda de mãos dadas com a qualidade dos dados.

A qualidade dos dados: um aumento de desempenho para sua empresa
Os dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.

Pode contar com seus dados e com as suas fontes?
Processos de negócios bem sucedidos são baseados em dados de alta qualidade!
Pergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta "frequente" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.

Ciclo de controle de qualidade de dados ou ...
... como é que a qualidade dos dados é permanentemente garantida a longo prazo?
Modelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação.
Para efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:
- Balanço e análise da situação actual da base de dados
- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados
- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo
- Medidas para a optimização da qualidade
- Contínuo acompanhamento e controlo da qualidade dos dados

Como resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.

Integração mySAP™ Business Suite

Implementação de normas SAP®
Como software partner SAP®, damos uma atenção particular à integração nas soluções SAP® e para as preocupações com o endereço e com a gestão da qualidade dos dados durante a fase de desenvolvimento. É fornecida uma impressão óptica uniforme com o Look & Feel usual, como resultado da implementação em conformidade com as normas da SAP® assim como na saída dos resultados nos elementos de diálogo no mySAP™ Business Suite.
O utilizador, move-se em redor da interface com os elementos de controle que lhe são familiares. Todos os processos de validação e correcção são executados automaticamente em segundo plano.

Soluções Uniserv de integração certificadas com o SAP®
SAP® confirmou a conformidade com as normas SAP® e o cumprimento de todas as exigências da SAP® para a validação de Moradas, Verificação de duplicados e Pesquisa com tolerância ao erro através da concessão dos respectivos certificados, pela primeira vez em 2002.
A recertificação com base num redesenho futuro e orientada pela experiência dos componentes foi concluída com êxito no final de 2006, em conformidade com as normas e requisitos SAP®, foi confirmada através da atribuição dos certificados pela SAP®.
A integração certificada está disponível a partir do SAP® R/3® Versão 4.6 C, mySAP™ ERP, mySAP™ CRM versão 4.0 e SAP NetWeaver™ Application Server versão 6.10 e também já foram implementadas várias soluções especificas para a indústria, tais como IS-M e IS-U.

Integração suave e flexível
O pacote de soluções Uniserv para garantir a qualidade dos dados de endereço no ambiente SAP® tem sido sistematicamente implementado em tecnologias cliente / servidor e integra "plug & play" no ambiente de negócios mySAP™ Suite.
Ambas as soluções são compatíveis com todas as plataformas em que mySAP™ Business Suite está disponível. Os serviços dos produtos Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite podem ser instalados no computador em que a plataforma mySAP™ Business Suite está instalada ou em qualquer outro computador dedicado. Aqui também é livre na escolha da plataforma, quer seja um derivado do Unix ou Windows.

Arquitectura de Layers
O pacote total é baseado numa arquitectura de layers inovadora. A estrutura modular associada aos produtos, bem como a interface, que está permanentemente definida para execução, e da dissociação das funções de GUI permite que ambos o Post para mySAP™ Business Suite e o Mail para mySAP™ Business Suite sejam usados de forma aberta e flexível através do ponto central de partida, o Business Address Services (BAS). Como resultado, pode aplicar-se em outras possíveis aplicações no ambiente SAP® quando se afigure adequado e necessário, por exemplo, aplicativos desenvolvidos inhouse, addons ou como parte de aplicações web, como o Webclient IC.

Integração em Business Address Services (BAS)
A forma mais rápida e simples de integrar os produtos Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite é através do SAP® Business Address Services (BAS). Aqui é possível a integração sem desenvolvimento de aplicações e exige apenas a personalização apropriada. O Business Address Services (BAS) é parte da solução SAP® e oferece-lhe uma série de funções que são necessárias para abordar de forma altamente eficiente a gestão da qualidade de dados. Business Address Services (BAS) é usado em quase todas as aplicações SAP® (por exemplo, mySAP™ CRM, SAP Financials, SD, MM).
Quanto a isto, o BAS tem um conjunto de funcionalidades que oferecem suporte a programadores e administradores na implementação de tarefas de controle do address management e para garantir a qualidade dos dados. Com a versão 4.6 C, o BAS também suporta o uso de soluções de software de terceiros através de interfaces abertas, os chamados Business Add-Ins (Badis). Estas soluções proporcionam melhor gestão do endereço e de segurança da qualidade dos dados sem que as soluções SAP® tenham que ser modificadas.
A validação postal de endereços é integrada através da interface BC-BAS-PV, e a deduplicação, a selecção e busca de tolerante ao erro através da interface BC-BAS-DES.

Integração fora do Business Address Services (BAS)
Uniserv oferece APIs em vários níveis para a integração das funções fora do BAS, por exemplo em aplicativos desenvolvidos inhouse, addons ou aplicações web. Para integração na Web, a aplicação simples no Webclient IC, Web GUI ou interface do utilizador do PC é possível, permitindo assim a utilização móvel das funções independente da localização. Como resultado da sua arquitectura de layers aberta e flexível, as funções também podem ser integradas em áreas que ainda não são servidas pelo SAP®. Em particular, a futura segurança do investimento em soluções de qualidade dos dados da Uniserv fica, assim, garantida.

Optimizamos a sua gestão de endereços no mySAP™ Business Suite

A nossa solução global para o seu cliente e marketing orientado para a qualidade no mySAP™ Business Suite é composto por vários componentes para optimizar a qualidade da sua base de dados - como um aplicativo de diálogo ou no processamento em batch. Os componentes podem ser utilizados como uma unidade e também individualmente.

Post para mySAP™ Business Suite
Certificado para SAP NetWeaver™
Este componente garante que, no futuro, apenas um código postal válido, nome do local normalizado, nome da rua normalizado, apartado correcto e - por exemplo, para endereços alemães - um número de casa correcto e verificado, são administrados na sua base de dados.

O Post para mySAP™ Business Suite opera tolerante ao erro com base na análise de processos diversos e permite a verificação automática e, se necessário, correcção de endereços através da actualização das listas de referência completas. Se a ambiguidade não pode ser esclarecida automaticamente, ao utilizador é apresentada uma lista de selecção que pode, assim, por exemplo, resolver o problema através do call center em diálogo directo com o cliente.

Post para mySAP™ Business Suite está disponível em várias versões nacionais para os mais importantes países europeus, assim como para os EUA e o Canadá.

Post para mySAP™ Business Suite fornece na sua versão base toda a informação geográfica atribuindo de forma totalmente automática o Distrito, Concelho e Freguesia ou respectivos códigos, sendo estes valores, logicamente, variáveis conforme o país de referência. Atribuição de coordenadas geográficas ao nível da rua ou o número de porta também é possível se os geocodes adicionais forem subscritos.

Post para mySAP™ Business Suite também garante que qualquer alteração no sistema de endereçamento dos dados armazenados na BD necessários como resultado da reorganização do governo local, alterações de nomes de rua ou de uma mudança na estrutura dos serviços postais, são automaticamente detectados e corrigidos na medida do possível sem a sua intervenção.
Esse trabalho é realizado por meio da chamada "limpeza mensal", que já está incluída numa função básica no Post para mySAP™ Business Suite. Qualquer alteração de dados espaciais também pode ser actualizada na base de dados de endereços através desta função.

Mail para mySAP™ Business Suite
Certificado para SAP NetWeaver™
Com o Mail para mySAP™ Business Suite, pode impedir de forma fiável a criação de duplicados na sua base de dados, pois verificações especiais e operações de busca de semelhantes são iniciadas automaticamente em segundo plano para as novas entradas e alteração de registos de dados. Os casos suspeitos podem ser verificados manualmente e executada a decisão apropriada. Na caixa de diálogo, você encontrará o endereço que procura, mesmo que tenha sido inserido com erros, se a sua consulta é má ou se está procurando com fragmentos de endereço. Técnicas especialmente adaptadas (fonéticas ou fuzzy logic) são usadas para obter um resultado de alta qualidade e selectividade.
A busca pode ser executada com informação parcial com "alta velocidade" e/ou alternativas tolerantes ao erro, com a procura genérica já disponível no mySAP™ Business Suite. Com o Mail para mySAP™ Business Suite, pode escolher livremente as suas entradas, por exemplo, no que diz respeito à sequência. Escusado será dizer, porém, que a pesquisa também pode ser executada com o nome e endereço completos.

Limpeza do sistema em batch - Integração de Dados e limpeza de dados em processamento batch
Com o sistema de limpeza em batch (BCS - Batch Cleansing System), a Uniserv oferece-lhe um tratamento batch, além dos dois componentes de diálogo acima mencionados. Por este meio, pode sequencialmente realizar tarefas típicas para garantir a qualidade dos dados no ambiente de solução SAP®, tais como a integração dos dados de endereço ou de limpeza de dados, com alta eficiência via uma gestão adequada nos servidores back-end.
BCS integra directamente a validação postal e a busca tolerante ao erro no sistema SAP® com o ambiente familiar do utilizador SAP® e disponibiliza as suas funções para correr em batch. Neste sentido, o BCS pode ser usado stand-alone e em combinação com Post para mySAP™ Business Suite e/ou Mail para mySAP™ Business Suite.
Em particular, as vantagens do BCS residem num melhor desempenho com aplicações em batch, reduzindo o trabalho necessário para a integração e depuração de dados, uma maior flexibilidade no trabalho e é executado em ambientes heterogéneos de dados.
O BCS pode ser usado no lado SAP® da SAP® R/3® versão 4.6 C, mySAP™ ERP e CRM mySAP™ versão 4.0 e também está disponível para as soluções específicas da indústria como o IS-F e IS-U.

A actualidade dos dados é simplesmente uma obrigação!
O uso de software para garantir a qualidade do endereço na área de Business-to-Business pode ser adequada a um volume de apenas 10-50 mil endereços, soluções adequadas na área de Business-to-Consumer, onde várias centenas de milhares ou até mesmo milhões de endereços normalmente têm de ser geridos, são indispensáveis em ambos os casos.

Porque o profissionalismo é tão importante
É um facto da vida que os erros ocorrem quando os endereços são registados ou alterados manualmente. Tais erros apenas podem ser evitados com grande dificuldade.
Eles incluem:

• os erros durante a transmissão fonética acústica (mesmo som com diferentes combinações de letras)
• Mistura de letras ou números que ao "olhar" são muito semelhantes entre si, em fichas manuscritas, independentemente se os endereços são lidos pela máquina ou por pessoal
• Digitação incorrecta durante a entrada de dados
• Utilização de diferentes siglas
• Troca de nome e sobrenome, adição ou omissão de componentes do nome, etc.

Sem uma base de endereços de referencia profissional e sem uma gestão da qualidade de dados, todos estes pontos, inevitavelmente, com a ortografia divergente dos endereços ao entrar na base de dados, fazem com que sejam criados endereços incorrectos ou duplicados ou não afectos à área geográfica correcta.

Vantagem: Soluções feitas pela Uniserv
Oferecemos sistemas especializados e certificados que automaticamente asseguram que a sua base de dados contém apenas endereços correctos, actualizados e endereços completos, agora e no futuro - mesmo que tenha uma clientela internacional.
Além disto, pode garantir, através de métodos de pesquisa tolerantes ao erro que os duplicados não surgem na base de dados ao fazer registo de novos endereços ou alterações (sem uma consulta explícita do utilizador). O mais importante é que vai encontrar o endereço que está a ser introduzido na sua base de dados, mesmo que tenha sido introduzido com um ou mais dos erros acima descritos, ou seja executada uma consulta incorrecta ou fragmentada.

Uma característica do sistema MDM é que o fluxo de dados flui em duas direções: os dados são transferidos para o sistema (por exemplo, a criação inicial de um registo do cliente) e os dados são recuperados a partir do sistema pelo utilizador. Desnecessário será dizer que esses dados também têm de ser correctamente ligados a todos os outros dados no âmbito respectivo. Deve, portanto, ser garantido que, quando os dados do cliente Osvaldo Godinho são recuperados, o sistema não só fornece seus dados de contacto, mas também, por exemplo os produtos que ele adquiriu por um determinado preço num determinado ponto no tempo, todas as queixas que ele fez e que material publicitário recebeu (visão única do cliente).

Dois pontos em particular, devem ser considerados para garantir alta eficiência no manuseio dos dados:
- Em primeiro lugar, toleracia ao erro na procura de registos de dados. Quando um novo registo de dados é criada uma busca para o mesmo ou semelhantes.
A busca pode ser iniciada activamente com o pressionar de um botão. No entanto, a pesquisa também funciona em segundo plano, sem que seja activamente iniciada. Se o sistema encontrar registos idênticos ou potenciais duplicados, os registos de dados semelhantes são exibidos para o utilizador final na forma de uma lista de selecção, para que ele possa decidir se o cliente actual é na verdade um novo cliente ou um cliente existente.

- Outro factor importante é a velocidade e a tolerância ao erro desta pesquisa. O utilizador final é dependente do tempo de resposta rápida do sistema. Se ele tem que esperar muito tempo para que os resultados de um teste, este teste é contornado e a qualidade dos dados mestre irá deteriorar-se.

No entanto, a tolerância ao erro na procura de registos não é apenas um critério importante na criação dos dados iniciais. A pesquisa também deve ocorrer rapidamente e fornecer resultados confiáveis, quando, por exemplo registos de dados são pesquisados num centro de serviço.

Um dos desafios é a actividade contínua do sistema MDM. Os dados nunca estão disponíveis de forma isolada ou parados. Em vez disso todos os dados são ligados entre si e continuamente em movimento.

No que respeita à qualidade dos dados, a limpeza periódica dos dados do cliente só é possível de forma muito limitada. Cada actualização, não importa se é uma medida para a optimização da qualidade dos dados em todos os dados ou preocupações com a entrada de registos de dados adicionais (por exemplo, após a aquisição dos dados do cliente ou ainda após a fusão das duas empresas), é, inevitavelmente, realizada com o sistema em operação.

Por conseguinte, é tanto mais importante que todos os registos de dados inseridos no sistema de Data Management atendam a um padrão de qualidade antes de serem inseridos.

O CICLO DE VIDA DE QUALIDADE DE DADOS DA UNISERV pode ser assim ilustrado:
1º passo: Os dados relevantes nos diversos sistemas de origem devem ser identificados antes de tudo. Essas fontes de dados podem ser analisadas por meio de ferramentas de profiling, que a Uniserv também dispõe.
Problemas a nível de metadados e nos dados em si podem assim ser identificados e iniciar-se medidas para saná-los.

2º passo: Numa etapa posterior, a limpeza (inicial), ocorre em função do conhecimento adquirido na área da caracterização. Todos os dados de conteúdo são antes de tudo validados aqui para correcção.
No caso dos dados do endereço, isso significa que os endereços são validados, corrigidos e completados, se necessário. Outro componente da limpeza inicial pode ser uma pesquisa de duplicados, ou na formação de grupos de idênticos ou pelo menos similares nas mesmas fontes de dados adicionais ou em grupos.
Consolidação dos registos de dados com informações adicionais (externas) também é possível. Vários parâmetros podem ser utilizados para o registo de grupos de dados ou para ligar diferentes fontes de dados. Mesclando os registos de diferentes fontes de dados (por exemplo, dados de clientes com informações do sistema ERP) também pode ser realizado por meio de chaves inequívocas (identificadores).

3º passo: A qualidade dos registos de dados é validado na interface durante a entrada de dados numa verificação em tempo real (também conhecido como Firewall de Qualidade de Dados). A exatidão e integridade dos dados de endereço é verificado em primeiro lugar. Em mais um passo, também é verificado se o sistema já contém um registo de dados com o mesmo conteúdo. O alto desempenho dessas validações é muito importante para a verificação em tempo real. Se demorar muito tempo, são deixadas de lado. Há um perigo que o MDM seja «contaminado» por dados não-validados.

4º passo: A validação permanente da qualidade dos dados num sistema MDM é recomendada, mesmo com o maior esforço possível. As regras de negócio especificadas nos processos de negócio podem ser mantidas sob vigilância através de monitorização em tempo real. Se os valores limite especificados anteriormente nos Key Performance Indicators (KPIs) são ultrapassados, as medidas podem ser implementadas em tempo útil, a fim de garantir uma qualidade elevada e permanente dos dados.

5º passo: Especialmente quando grandes volumes de dados são repetidamente adicionados aos dados existentes, medidas de limpeza periódica com os seguintes objetivos são recomendadas:
- Para detectar erros que tenham entrado no sistema, apesar da Firewall de qualidade de dados - ou porque nem todas as regras foram mapeadas ou os avisos que essas regras foram violadas por meio de intervenções do utilizador (por exemplo, um suspeito de duplicado, com uma probabilidade baixa).
- Os dados são sujeitos a um processo de envelhecimento, particularmente no caso dos sistemas do cliente MDM. Locais de destino são mesclados nas reorganizações do governo local, os códigos postais mudaram, as ruas são renomeadas ou indivíduos mudam de casa. (Isso geralmente ocorre sem que a pessoa ou a empresa seja informanda.) Como resultado, a taxa de erro de registros incorrectos no seu sistema MDM normalmente aumenta em 1-2 por cento ao mês. Isto pode ser evitado por meio desta etapa.

O MDM deve ser examinado com cuidado, os dados são afectados. Também é importante que os laços existentes entre os registos de dados de diferentes fontes de dados ou tabelas não sejam postos em causa com as medidas de limpeza periódica. Nesta sequência, as etapas individuais do Ciclo de Vida da qualidade dos dados criam uma base sólida como um todo para trazer a qualidade dos dados de uma empresa num nível elevado e mantê-lo no longo prazo. No entanto, os sistemas de gestão de dados são sistemas vivos. O conceito de «ciclo» (isto é recorrente), deve ser sempre considerada, especialmente no contexto de mudanças e alterações de regras de negócios e o aumento ou modificação das exigências feitas sobre os dados.

A qualidade dos dados de conteúdo é tão importante quanto a qualidade e a univocidade dos metadados numa Meta Master Data Model. Mesmo se o formato do conteúdo dos dados encontrados e os campos obrigatórios tenham sido preenchidos, isso não diz nada sobre a qualidade dos dados. O exemplo seguinte explica este aspecto:

O exemplo mostra que, mesmo se os metadados são inequívocos, a qualidade dos dados de conteúdo pode deixar muito a desejar. Contrariamente às expectativas, o ID como chave primária é ambíguo. Embora a linha da rua esteja sempre preenchida, as ruas estão incorrectamente digitadas ou não existem. O mesmo vale para os códigos postais e os nomes de cidade. Mesmo o último campo da tabela que deve conter um número de fax, encontra-se um endereço de e-mail. O endereço de e-mail não foi, obviamente, considerado parte dos metadados. Nenhum campo foi previsto e essa validação sintáctica de informação não ocorreu quando os dados foram criados.

O exemplo acima pode parecer trivial, mas já estão disponíveis possibilidades para a limpeza automática, particularmente na área de endereços, tanto em processamento batch como no modo online. Este endereço de limpeza automática pode ser usado por exemplo na validação do endereço correcto.Há também a possibilidade de arranjar um registo de dados semelhantes ou duplicados em grupos, juntando informações para o registo de outros dados ou eliminar duplicados claro, se for necessário, ou pelo menos para marcá-los como tal.

Como mencionado anteriormente, os metadados são dados que são usados para descrever os atributos dos dados de conteúdo (dados do utilizador). Isso inclui os nomes de campo, bem como faixas de valores ou formatos de dados especificados. Num sentido mais amplo, esta categoria também inclui informações que fazem declarações sobre os modelos de dados, por exemplo, a vinculação de tabelas numa base de dados. Os exemplos seguintes fornecem um panorama dos possíveis problemas na área de metadados.
- Se um grande número de diferentes fontes de dados estão envolvidas, muitas vezes é perceptível que os campos têm os mesmos nomes, mas que contêm dados ou informações diferentes. No caso oposto, fontes de dados diferentes têm o mesmo conteúdo de dados e informações, mas o nome do campo varia. A figura ilustra isso.

Os nomes de campo diferentes das duas fontes de dados referem-se aos mesmos dados. Os metadados da morada na fonte de dados 2 é ambígua e permite uma grande margem de interpretações. O mesmo se aplica aos dados de telefone na primeira fonte de dados.
- A complexidade dos metadados e o significado do conteúdo do campo é ilustrado através do exemplo do campo "status do cliente"
Significado no sistema 1:Os clientes são aqueles que receberam o material publicitário.
Significado no sistema 2:Os clientes são aqueles que se inscreveram no site da empresa.
Significado no sistema 3:Os clientes são aqueles que pagaram uma factura.

- É importante que exista acordo sobre os formatos de dados .
Datas podem ser exibidos numa variedade de formatos:
Sistema 1: 2010/06/11
Sistema 2: 10-06-11
Sistema 3: 11 de junho de 2010
Sistema 4: 2010/11/06
Há duas possibilidades de interpretação, no caso do formato do sistema 2: 10 de junho 2011 ou 11 de junho, 2010.

A execução de um Data profiling é recomendado, a fim de obter uma visão global dos dados, especialmente dos metadados dos sistemas de origem. Os metadados são identificados num processo de engenharia inversa com base no conteúdo dos dados. O software de profiling fornece uma visão geral dos metadados num tempo muito curto e usa um "drill-down", função que fornece uma visão geral dos dados em si. O número de campos, o seu nome, tipo de conteúdo, faixa de valor, a potencial chave primária e muito mais podem ser facilmente visualizados e analisados. Idealmente, mais dependências entre as tabelas da fonte de dados também podem ser identificados por meio de associação e análise de dependência. Finalmente, os problemas dos dados recorrentes ou o preenchimento dos campos de dados nos sistemas de origem pode ser investigado no profiling. Os problemas aqui identificados, muitas vezes não pode ser sanada com a limpeza automática com o premir de um botão, mas exigem customização dos processos no seu lugar. Depois que a estrutura de todas as fontes de dados, que devem preencher o sistema de gestão da masterdata tenha sido determinado, um Master Meta Data Model deve ser escolhido. Este modelo descreve os dados no sistema MDM. Um acordo sobre o significado dos nomes de campo e o conteúdo do campo já foi atingido em toda a empresa. A criação de uma Master Meta Data Model é importante para a qualidade dos dados, pois especifica quais campos das fontes de dados preenchem os campos no sistema MDM e que informação contêm os campos.

Uma questão que atravessa todas as fases do Master Data Management é a qualidade dos dados. Trata-se de aspectos muito básicos da gestão dos dados, ou seja, soluções específicas para a base de dados principal, formatos de dados padronizados, chaves de referência padronizadas, bases de dados que estão livres de duplicados na medida do possível, endereços de clientes e fornecedores correctos e muito mais.

Ela também diz respeito às medidas de dados de qualidade adequado para cada fase do projecto MDM e do sistema produtivo subsequente.Não importa qual seja o aspecto dum sistema MDM que é considerado, uma alta qualidade dos dados é fundamental para o seu sucesso e, portanto, também para o seu uso eficiente na empresa.O que significa a alta qualidade dos dados aqui precisamente? Em primeiro lugar, é certamente importante que o conteúdo dos dados seja correcto, a fim de passar as informações correctas para o utilizador final no negócio operacional ou analítico. No entanto, algumas qualidades básicas como unicidade, integridade, actualidade e capacidade de edição (além de outros) também desempenham um grande papel.
Por um lado, muitos dos atributos aqui mencionados podem ser obtidos por meio de uma arquitectura de sistemas adequada que permita que as regras de negócio relevantes sejam mapeadas. Por outro lado, as características dos dados em si, tais como precisão ou objectividade, garante que eles têm uma alta qualidade.Dois tipos diferentes de dados podem ser distinguidos no MDM:
- Os meta dados. Estes são dados que são usados para definir os atributos dos dados de conteúdo ou dados reais do utilizador. Isto também inclui a correcta ligação dos campos de diferentes fontes de dados, descrição das chaves de referência, etc
- Os dados de conteúdo. A qualidade do conteúdo e a qualidade sintáctica são a preocupação aqui. O endereço correcto de um contacto é um exemplo disso, assim como um formato de data padrão ou a base de dados livre de duplicados.

Ambos os tipos de dados aqui mencionados são igualmente fundamentais e essenciais para a qualidade dos dados. O alto (ou baixo) nível de um tipo de dados afecta directamente o nível dos outros.
Independentemente de um sistema MDM já esteja implementado ou um projecto de MDM está planeado para o futuro, existem várias possibilidades para influenciar a qualidade dos dados nos diferentes níveis. A qualidade dos meta dados e a qualidade do conteúdo dos dados será considerada separadamente para fornecer uma visão mais clara.

A qualidade dos dados: Um factor chave para o sucesso do Master Data Management

Os sistemas Master Data Management, também chamados de sistemas MDM, permitem uma «única versão da verdade» para ser representado por uma vasta gama de dados da empresa.

Isto significa que todos os sistemas de dados relevantes de uma empresa e seus conteúdos são consolidados, de modo que a busca de informações em diferentes redes isoladas torna-se desnecessário. Independentemente de qual arquitectura do sistema MDM escolhida, tanto a alta qualidade dos dados de conteúdo como os meta dados são factores chave para o sucesso do projecto. Isto aplica-se à fase de execução e ás previsões de aumento da eficiência de utilização dos dados da empresa.

Nos próximos posts vamos descrever a importância da elevada qualidade dos dados no ambiente de MDM. Todas as fases de um sistema que está sendo planeado ou a ser implementado são consideradas.
Além disso, sugestões adequadas para (a) a optimização da qualidade dos dados e (b) mantendo-a num nível elevado durante a operação do dia-a-dia também são fornecidos para os sistemas MDM.
Master Data Management: o que exactamente significa isso?
Um dos grandes desafios no ambiente corporativo, hoje, é conseguir um Master Data Management (MDM) eficaz. O significado preciso deste termo pode ser explicado melhor de tudo pela seguinte definição de David Loshin (2009):

O objectivo é obter a chamada «versão única da verdade», isto é, que somente um sistema tem de ser consultado para mostrar todos os dados relevantes de toda a empresa. Não é necessário procurar informações em diferentes sistemas. Trabalhar com os dados é mais eficiente.

A partir desta consideração, pode-se reconhecer que o MDM não é apenas uma solução de software, mas o mais importante de uma questão de organização interna e definição de dados da empresa. Numa etapa final, esses dados são sincronizados em diversas formas e colocados à disposição do usuário final. Dependendo da complexidade dos sistemas e dados existentes numa empresa, o sucesso da implementação de um sistema MDM pode demorar vários meses ou mesmo anos.
A implementação é normalmente dividida em fases distintas:
- Em primeiro lugar, a master data real deve ser identificada e uma lista elaborada com os sistemas em que ele está a ser armazenado.
- O próximo passo é chegar a acordo sobre um Data Master Object Model e garantir que a meta data é consistente.

Uma vez que estes aspectos fundamentais estejam esclarecidos, várias exigências para os dados são decididas. Em primeiro lugar, os requisitos dos utilizadores da informação na área operacional devem ser considerados.
No entanto, essas demandas específicas também devem ser consideradas na implementação MDM, se é para ser base de um Data Warehouse ou base para análises de Business Intelligence.
Outras questões importantes são questões como a protecção de dados ou conformidade com os regulamentos anti-terrorismo.Em suma, todos os requisitos legais, operacionais e de análise para os dados devem ser considerados.
Além disso, os dados devem estar disponíveis com a qualidade adequada, de modo que os requisitos de conteúdo para os dados possam ser satisfeitos.

Configurando um sistema Master Data Management sempre significa implementar um projecto de toda a empresa.
Projectos desse tamanho, exige uma quantidade de trabalho intelectual de todos os interessados, especialmente se envolvem a criação da Master Data Object Model ou a padronização dos meta dados. A tendência actual é para chamar consultores externos, que podem fazer a ligação entre as diversas partes interessadas, os serviços e o pessoal responsável pelas várias fontes de dados com um grau de distanciamento dessas fases.

O estado da qualidade dos dados da empresa foi determinado e discussões iniciais sobre as medidas para o seu aperfeiçoamento foram realizadas. Qual é o próximo passo?
Independentemente das áreas da empresa em que as optimizações devem ser implementadas e as medidas que têm sido consideradas, você vai encontrar o parceiro de contacto certo, DataLab TI, Lda, representante em Portugal da Uniserv GmbH.

Como fornecedor de soluções orientadas para cobrir todos os aspectos da qualidade dos dados, a Uniserv oferece suporte na implementação e optimização de aplicações de negócio operacional e analítico. A Uniserv é também um parceiro especializado nas áreas de marketing directo, listas cumprimento/ bloqueio e migrações de dados.
Conceitos de soluções individuais que visam melhorar a qualidade dos dados e informações, a longo prazo são desenvolvidas em conjunto com os clientes.
Como resultado, o negócio no dia-a-dia pode ser realizado de forma mais eficiente, o número de negócios são confiáveis tal como as estratégias para o sucesso futuro.

Deve ser alcançado um acordo sobre quais critérios de qualidade de dados devem ser comparados, a fim de realizar uma avaliação adequada da qualidade dos dados da empresa. Muitos dos requisitos podem ser verificados por meio de ferramentas de análise adequadas. Os consumidores de dados devem ser questionados sobre as suas necessidades. Finalmente, o processo de criação do produto da "informação" também deve ser cuidadosamente considerado. Deve haver clareza sobre quem exige dados e para que finalidade.

Uniserv GmbH oferece uma abrangente Auditoria de Qualidade de Dados, a fim de ser capaz de responder a estas perguntas e objectivamente avaliar o status quo da qualidade dos dados. O Data Quality Audit tem uma estrutura modular, os módulos são baseados uns nos outros.

Cada módulo possui sua principal área de foco num dos pontos mencionados:
- Requisitos para os dados e sua conformidade para que possa ser verificada por meio de software de análise. As dimensões da qualidade de dados, tais como integridade ou a ausencia de erros são uma grande preocupação aqui.
- Requisitos para os dados e seu cumprimento, sobre os quais os consumidores de dados podem fornecer informações. Dimensões da qualidade de dados, tais como compreensão e clareza são aqui verificadas. Os consumidores de dados também podem apresentar as suas avaliações da credibilidade e da reputação dos dados. Os consumidores de dados podem fornecer informações valiosas sobre a edição ou da acessibilidade dos dados.
- Análise dos dados / processos de criação de informação, de modo a ser capaz de identificar eventuais pontos fracos. Uma melhor compreensão da história da criação é importante, desde a criação o processamento dos dados passa frequentemente por muitas etapas individuais, tais como aplicações de software e processos individuais, que por sua vez, preocupam diferentes áreas de negócio.

O conhecimento dos processos desempenha um papel importante, se medidas de longo prazo para a optimização da qualidade dos dados forem especificadas.

O UNISERV AUDITORIA qualidade dos dados é, assim, dividido em três módulos:

MÓDULO 1: CONTROLO DA QUALIDADE DE DADOS
A Verificação de qualidade fornece uma visão inicial da master data de clientes de uma empresa. Nesta fase, uma extracção representativa dos dados é analisada com a ferramenta de Qualidade de Dados DQ Batch Suite. Neste contexto, é atribuída particular importância à integridade e à presença dos elementos nome. A correcção postal dos elementos do endereço é verificada e uma verificação de duplicados é realizada.
Os seguintes requisitos para os dados são considerados na Verificação de qualidade:
- Todos os campos obrigatórios de cada registo de dados estão preenchidos
- Os elementos do endereço correspondem a um endereço válido e, portanto, correcto
- A "Single View of Customer" aplica-se, ou seja, os dados do extracto são livres de duplicados, ou o chamado "registo mestre" de duplicados está assinalado

Os resultados da qualidade dos dados de verificação são posteriormente apresentados e postos à disposição do cliente.

DADOS DE CONTROLO DA QUALIDADE - Características Técnicas
É necessário o seguinte:
- Um arquivo de dados, de preferência no formato delimitador
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição do valor dos ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Todos os endereços têm de ser de um país
- Máximo de 100 mil endereços

MÓDULO 2: ANÁLISE DE QUALIDADE DOS DADOS
Os dados de Verificação da Qualidade no Módulo 1 primariamente validam um extracto a partir da master data de clientes num processo relativamente simples. É atribuída especial importância para os elementos do nome e os elementos do endereço.

O Data Quality Analysis vai um grande passo em frente.

A totalidade dos dados da empresa podem ser aqui considerados. Dados muito específicos, tais como números de telefone, as vendas ao cliente, dados em anexo relativo a outras operações, etc., podem ser conferidos aqui, conforme necessário. Conformidade com o negócio e regras específicas de plausibilidade também podem ser verificadas. Se necessário, a master data do cliente ainda pode ser comparada com listas de sanção neste ponto.

(A verificação dos dados do cliente contra listas de sanções é geralmente recomendado, a fim de evitar o desrespeito das regras pertinentes anti-terrorismo. Detalhes podem ser encontrados em posts anteriores relativos a anti-terrorismo.)

Os requisitos específicos para os dados a serem validados são identificados num workshop de abertura com os chefes dos departamentos especializados em causa.

A comparação das análises técnicas e avaliações do workshop vai indicar em que medida os requisitos definidos pelos departamentos especializados correspondem entre o real e o nível de qualidade "percebida".

Quando as análises e avaliações foram concluídas, os resultados são apresentados num workshop de encerramento. Recomenda-se que os chefes de todos os departamentos especializados em causa sejam convidados, a fim de ter em conta as "Diferentes Vista de Dados".

Se todas as medidas para a optimização da qualidade dos dados venham a ser adoptadas, é indispensável que os consumidores dos dados sejam incluídos no processo de tomada de decisão. Só desta forma será a implementação dessas medidas amplamente aceite.

Escusado será dizer que os resultados da Data Quality Analysis também são fornecidas por escrito.

ANÁLISE DOS DADOS DE QUALIDADE - TÉCNICA E DETALHES ORGANIZACIONAIS
É necessário o seguinte:
- Vários arquivos ou bases de dados
- Descrição dos meta dados:
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição dos valores de ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Informações sobre a empresa e / ou regras de plausibilidade a verificar
- Contactos das pessoas dos vários departamentos

MÓDULO 3: ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE
Após o status quo da qualidade dos dados que foi determinado nos dois módulos anteriores, o Módulo 3 trata da criação dos dados da empresa e sua eficiência real de utilização para os consumidores de dados. As perguntas seguintes são aqui focadas:
- Como são os processos para a criação, alteração e exclusão dos dados descritos?
- São esses processos actualizados e são postos em prática?
- Será que os dados e informações gerados pelos processos permitem aos consumidores trabalhar o mais eficientemente possível?Os processos são analisados no que diz respeito aos requisitos previamente preparados para os dados.

Quaisquer pontos fracos no que respeita à qualidade dos dados são identificados. Os consumidores de dados são igualmente convidados para a avaliação da qualidade dos dados. A ênfase nessas entrevistas é sobre se o conteúdo e a forma dos dados são apresentados de tal forma que o trabalho diário possa ser realizado com um alto grau de eficiência.
Estas exigências aplicam-se tanto para os negócios operativos como às áreas de negócios analíticos.

Dimensões da qualidade dos dados que só podem ser avaliadas com muita dificuldade por meio de software de análise são examinadas nas entrevistas com os consumidores de dados. Estas dizem respeito por exemplo, as dimensões, credibilidade, capacidade de edição de acessibilidade e objectividade. Como cada um dos grupos de consumidores em causa devem ser incluído nas entrevistas, as diversas opiniões e requisitos para os dados pode ser considerado mais uma vez.

ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE - detalhes técnicos e organizacionais
É necessário o seguinte:
- Os processos e as descrições de fluxo de trabalho
- Pessoas de contacto (pelo menos 3 consumidores de dados) dos serviços em causa

TODOS OS RESULTADOS DE ANÁLISES são colocados num contexto no final da auditoria de qualidade dos dados:
- As avaliações feitas na Data Quality Analysis
- As necessidades dos departamentos especializados para os dados
- Avaliação da qualidade dos dados e necessidades individuais dos consumidores de dados
- O status quo dos processos de geração de informações no que diz respeito aos requisitos definidos para os dados

Os conhecimentos adquiridos, são assim apresentados aos serviços especializados e consumidores de dados em causa, numa reunião. As discussões sobre as possíveis causas da qualidade dos dados inadequadas são incentivadas.

Medidas de optimização e personalização dos processos para melhorar a qualidade dos dados também podem ser discutidos.
Os resultados do módulo 3 e as conclusões das discussões realizadas no workshop ficam disponíveis por escrito.

Há muitas indicações de possíveis problemas de qualidade de dados, especialmente no caso da master data de clientes.

A título de exemplo:
- Existe uma elevada proporção de devolvidos em campanhas de mailing devido a endereços incorrectos.
- Os clientes reclamam porque recebem material publicitário várias vezes
- As facturas não são pagas, porque nunca chegaram ao destino devido a um endereço incorrecto
- Vendas e análises predictivas não são fiáveis, uma vez que as perspectivas de êxito foram atribuídas a duplicados de diferentes potenciais clientes
- Os clientes afirmam que estão insatisfeitos com o apoio, porque os funcionários levam muito tempo para encontrar todos os dados pertinentes no sistema

No entanto, o cenário descrito acima só diz respeito aos sintomas iniciais ou mais óbvios de dados de baixa qualidade de dados. Vários requisitos fundamentais para a master data de clientes pode ser derivada a partir daqui. O endereço postal deve estar correcto e cada cliente só deve ser representado na master data de clientes uma vez (pontos 1-4).

Além disso, todos os dados pertinentes devem estar disponíveis para o pessoal (ponto 5). A lista de requisitos para a master data de clientes provavelmente poderia ser estendida indefinidamente, mas no final, seria descoberto que os requisitos para os dados são diferentes para cada departamento.

Por exemplo, o departamento de marketing atribui grande importância a um endereço correcto para campanhas de marketing, enquanto o pessoal de apoio ao cliente depende da actualidade e integridade dos respectivos produtos dos clientes, que são exibidos de uma maneira bem organizada. A qualidade dos dados só pode ser avaliado como boa ou má, comparando-a com as exigências dos consumidores dos respectivos dados.

Muitos dos requisitos para os dados podem ser automaticamente testados usando software de análise adequado. Algumas das deficiências podem ser corrigidas no curto prazo com operações de limpeza pontual. No entanto, mesmo se os sintomas acima indicados são controlados com operações de limpeza, a razão pela qual a qualidade dos dados é má não foi encontrada nem excluída. Não foi garantido que as operações de limpeza atendem aos requisitos de todos os consumidores de dados.

A Auditoria de Qualidade de dados de deve ser realizada, a fim de ser capaz de fazer uma afirmação sobre a actual situação da qualidade dos dados da empresa. Os dados não só são analisados por meio de software na auditoria, mas, mais importante ainda, as exigências dos consumidores de dados são consideradas. Só depois dos resultados da auditoria serem conhecidos, é que se pode fazer uma declaração sobre que dados da empresa atendem aos requisitos dos utilizadores de dados e os que não. A "percepção" do estado da qualidade dos dados pode ser verificada (ou refutada) com números objectivos. Além disso, actividades apropriadas para uma melhoria a longo prazo na qualidade dos dados pode ser considerada.

Será que a qualidade dos dados da empresa cumpre as exigências dos consumidores de dados?

A fim de implementar medidas adequadas para melhorar a qualidade dos dados, deve ser assegurado que as acções (a) cumpram as exigências dos consumidores de dados e (b) aumentem a eficiência da empresa. A Auditoria de Qualidade de Dados é usada para determinar o status quo da qualidade dos dados.

Não é apenas nos dados em si que está o foco, mas, mais importante, nas exigências dos utilizadores em relação aos dados que são considerados. O processo de criação dos dados e da informação é examinado.

O Data Quality Audit tem uma estrutura modular, e cada módulo tem sua própria área de foco. Conceitos possíveis para a optimização da qualidade dos dados podem ser preparados em conjunto com os departamentos especializados.

De seguida vou apresentar o primeiro de 5 posts relacionados.

- A qualidade dos dados - o que está por detrás?
- "Single View of Customer" versus "Single View of Data"
- A qualidade da master data da empresa
- O status quo da qualidade dos dados da empresa: O Uniserv Data Quality Audit pode ajudar
- Olhando para o futuro

A qualidade dos dados - o que está por detrás?

Terra, trabalho e capital são os chamados de factores de produção convencional numa economia clássica. No entanto, o "conhecimento" ou "informação" é cada vez mais referido como um dos factores de produção importantes. (Bauer Wikipedia, e Günzel 2009). Neste contexto, a grande importância da informação proveniente dos dados se torna aparente.

Outra linha de pensamento diz respeito à produção de informações directamente para o fabrico de qualquer produto desejado (Ballou et al. 1998). Estas considerações foram precedidas pelo conceito de Total Quality Management (TQM). Este concentra-se na máxima satisfação dos requisitos para um produto e refere-se a todos os processos e departamentos envolvidos na produção e, portanto, a empresa inteira (Wikipedia).

A correlação entre a qualidade dos dados e os produtos pode ser expressa de forma muito simples: se a "informação" é considerada como um produto, determinados requisitos dos utilizadores deste produto também podem ser definidos e com especificações dos processos de produção.

No entanto, como devem os requisitos de informação e conhecimento serem definidos? Como pode ser verificado que as normas especificadas no processo de produção são cumpridas?

Se a produção de um carro é visualizada, presume-se que o produto final tem quatro rodas e as portas e janelas abertas, na realidade. O motor encaixa-se no corpo e as normas de segurança cumprem os requisitos. Todas estas e mais especificações foram repetidamente verificadas durante o processo de produção real e, portanto, correspondem aos requisitos previamente especificados do condutor posterior do carro. Se ocorrerem defeitos durante a produção, ela é imediatamente interrompida e processos de detecção de falhas e correcção são iniciados.

A produção de informação não deve ser diferente.

O exemplo a seguir ajuda a proporcionar um melhor entendimento dos TERMOS DE DADOS DE QUALIDADE DA INFORMAÇÃO E CONHECIMENTO:
- 0100010 01001101 01010111 => DADOS
- Char (66) char (77) char (87) => INFORMAÇÕES?
- BMW -> Três letras! => INFORMAÇÕES?
- BMW -> Binary Moving Window => INFORMAÇÕES?
- BMW -> Beer with Water => INFORMAÇÕES?
- BMW -> Motorenwerke Bayrische => INFORMAÇÕES?
- Bayerische Motorenwerke => Conhecimento!

Torna-se claro que os dados estão no início da cadeia. A informação é gerada a partir dos dados. Mas a informação de fundo é obrigada a fornecer o significado destas informações e que essas informações possam ser colocadas no contexto certo. No final, as conclusões correctas só podem ser estabelecidas e novos conhecimentos gerados, se os dados e informações no início desta cadeia estiverem correctos.

Para começar, o termo "qualidade" está em causa. Derivado da norma standard EN ISO 9000:2005, o grau de qualidade em que um produto (bem ou serviço) está em conformidade com os requisitos já existentes (Wikipedia). Isto significa que a qualidade pode ser boa ou má se atende aos requisitos do utilizador ou não.

Nos seus estudos, Wang e Strong (1996) pediu aos consumidores de dados para definir as propriedades de dados de boa qualidade. A Associação Alemã para a Informação e Qualidade dos Dados (DGIQ) retomou essa ideia e descritas as categorias e as dimensões da qualidade dos dados numa maneira fácil de entender (Rohweder et al. 2008).

Segundo este estudo, a qualidade dos dados pode ser dividida em quatro categorias e 15 dimensões.

Visão geral das categorias e dimensões da qualidade dos dados (após Rohweder et al. 2008)

Se cada uma das dimensões aqui referidas é considerada "boa", a qualidade dos dados pode ser considerada como ideal. Muitas das medidas citadas não podem ser avaliadas pelo sistema como indicadores de desempenho simples, uma vez que os consumidores dos respectivos dados sempre têm que decidir se a qualidade dos dados é boa.

Larry English (1999), outras abordagens de base, mas faz uma distinção fundamental entre a qualidade do conteúdo dos dados (correção dos dados) e a qualidade pragmática dos dados (apresentação dos dados).

É inerente a ambas as abordagens básicas que o foco de atenção é sobre o consumidor de dados que recebe os dados, de modo que ele possa exercer as suas funções de forma satisfatória. Ou, para expressá-lo nas palavras de Wang e Strong (1996), a qualidade dos dados é definida como "dados que estão aptos para o uso pelos consumidores de dados".