Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

Limpeza de dados de clientes e empresas

O DQ Batch Suite contem as fundações para todos os processos e aplicações de negocio - no que diz respeito aos nomes e moradas ou dados financeiros, produto ou dados de pedidos.

As seguintes soluções fazem parte do portefólio de inovação e funcionalidades avançadas que estão disponíveis no DQ Batch Suite:

• Analise e formatação de Moradas
• Correspondência de duplicados e clustering (por exemplo a nível do household), verificação de compliance e Data Enhancement
• Verificação Postal
• Geo e Micromarketing
• Consolidação de dados
• Modulo de Scripting para funções especificas suplementares
• Reporting e processamento gráfico de valores característico para qualidade de dados

O DQ Batch Suite permite que sistematicamente possa usar as funções de qualidade que necessita, para que possa criar valor acrescentado com a qualidade de dados.

Com o DQ Batch Suite, colocamos ao dispor um sistema moderno que irá ajudar a mover-se fácil e rapidamente nos processos de limpeza de dados como resultado da aproximação inovadora que permite. O sistema combina o melhor de anos de experiência da Uniserv e dos seus utilizadores e garante segurança no investimento e um rápido ROI. Adicionalmente quase que não será necessário referir que o DQ Batch Suite é:

• Fácil de aprender devido ao seu design consistente e operacionalidade intuitiva
• Aberto e flexível porque pode ser livremente configurado e por sem complementado por funções especificas do utilizador.
• Facilmente integrado em sequências existentes e pode ser automatizado
• User-friendly como resultado de extenso suporte ao utilizador e uma parametrização ultra fácil
• Alta performance através de processos e algoritmos paralelizáveis e avançados e confiáveis
• Escalável através de uma arquitectura cliente/servidor "state of the art" - disponível em quatro versões diferentes:

Desde a versão workstation para implementação de pequenos projectos de limpeza com quantidades limitadas de dados executadas na workstation, até ao Enterperise Server para grandes companhias em projectos de limpeza transversais envolvendo vários funcionários ou grandes quantidades de dados têm de ser tratados com as mais altas demandas de performance, paralelização e integração e automatização.

O que oferece o DQ Batch Suite?
Com o DQ Batch Suite, pode trabalhar de acordo com um principio: one-stop shopping!
Isto significa que controla o processo de limpeza passo a passo ao longo de todos os passos de processamento e programas. Pode ainda comunicar com o servidor DQ Batch Suite num dialogo via um interface gráfico user-friendly standard.

Com o seu enquadramento especial, o DQ Batch Suite orquestra todas as funções necessárias para o processos de limpeza:

• Todos os módulos para verificação da qualidade dos dados e a sua limpeza automática
• Blocos de funções para definir as regras de verificação individuais para dados "não de clientes" e executar limpezas automatizadas em massa, por exemplo de dados financeiros, de produto ou de pedidos.
• Produto com capacidades e recursos especiais para compreensão da organização, simplificação, automatização e aceleração dos processos e sequências para optimização e assegurar a qualidade dos dados.

Descrição dos processos que foram criados usando o interface gráfico do DQ Batch Suite que pode ser manualmente executado (ad-hoc) ou a qualquer altura desejada com a função integrada de scheduling, e também automatizada, por exemplo uma vez por mês. A execução das descrições dos processos podem ser integradas em sistemas IT que tenham sido desenvolvidos, sem problemas via a opção de automatização.

Qualidade de dados a nível internacional
O DQ Batch Suite pode também ser usada com as mesmas capacidades funcionais por empresas que operam a nível internacional. Com a capacidade Unicode o sistema providencia as bases para uma qualidade de dados internacional e pode igualmente manipular diferentes scripts e caracteres nacionais. Adicionalmente a isto, providenciamos versões especificas por país de blocos de funções e das bases de conhecimento. Como resultado, o sistema satisfaz as mais altas demandas de qualidade de dados internacionalmente.

Com o DQ Batch Suite, pode verificar os dados e na maior parte dos casos fazer a limpeza dos mesmos de forma totalmente automática.

Efeitos de uma pobre qualidade de dados
A limpeza dos dados é apenas um passo no processo de qualidade de dados, mas é um passo essencial. No que diz respeito a isto, não faz diferença se consideramos a limpeza dos dados no antigo sistema, nos projectos de migração de dados, nos dados master, gestão de risco ou compliance ou na implementação de dados orientados ao cliente, com o uso primariamente operacional dos dados dependendo da área, quer seja, na retenção de clientes, comunicação ou dialogo personalizado e direct maketing. A limpeza dos dados cria uma optimização da qualidade dos dados no que diz respeito à sua actualização, fiabilidade e grau de detalhe e como tal assenta fundações nos bons resultados de analise e processos de negocio - e finalmente para que se consigam melhores conteúdos de informação.

DQ Batch Suite: Funções "all-in-one"
O DQ Batch Suite integra todas as sequências de funções importantes e típicas para a limpeza de dados agrupados. O sistema leva-nos interactivamente através de todos os passos de processamento com uma interface gráfica. Com o assistente do software para que possamos controlar o processo batch, o DQ BatchSuite é o agregador de todos os projectos de limpeza. Podemos usa-lo para verificar a qualidade dos dados de cliente e limpa-los de forma totalmente automática, na grande parte dos casos e fazer igualmente limpezas em massa de outros dados, isto é podemos corrigir os erros que tenham sido automaticamente detectados pelo DQ Explorer ou automaticamente reportados pela solução da Uniserv, DQ Monitor.

O DQ Batch Suite permite criar consistência de dados necessária para os seus processos e aplicações!

Analise, acção, performance

O DQ Explorer permite que encontre a qualidade dos seus dados e os seus comportamentos rapidamente e de forma precisa como parte de uma analise de dados automatizada. O software pode ser usado como em projectos individuais ou como parte de iniciativas estratégicas mais abrangentes e como tal suporta um numero elevado de tarefas, como por exemplo:

Investimento extensivo no sistema

• Quando novos sistemas são instalados, os problemas com os dados frequentemente geram problemas consideráveis de budget e de tempo nos projectos de TI. Uma analise antecipada e detalhada dos dados pode reduzir significativamente estes riscos.

Auditorias de dados

• Avaliação da qualidade dos dados para suporte das aplicações e processos críticos para o negocio na melhor forma possível. Identificação de áreas chave, nas quais uma qualidade de dados melhorada providencia artificioso tangíveis.

Migração de dados

• Analise detalhada dos dados antes da migração significa que ciclos de migração recorrentes e extenso trabalho subsequente são reduzidos consideravelmente.

Regras de qualidade

• Quando o DQ Explorer é usado em combinação com o DQ Monitor, regras precisas podem ser geradas para monitorização da qualidade dos dados numa base permanente.

Analise dos dados e profiling de dados em 3 etapas
O assistente de profile no DQ Explorer faz da analise de dados uma brincadeira de crianças. Links, dependências e analise de chaves podem também ser executadas intuitivamente.

As Vantagens

• O tempo necessário para a analise é reduzido em 90%
• Os riscos dos projectos TI são reduzidos por uma analise eficiente e eficaz antecipadamente
• Uma plataforma integrada de gestão simplifica os processos de analise e de optimização
• Pode finalmente confiar na qualidade dos seus dados
• Escalável - disponível em três versões diferentes, da versão workstation para as analises de projecto de um homem com pequenas quantidades de dados até ao Advance Server para grandes projectos cooperativos de analise com um grande numero de colaboradores e grandes volumes de dados.

Analise de dados eficiente e efectiva
O DQ Explorer da Uniserv é uma ferramenta interactiva de data profiling e um sistema de caracterização comprovado que lhe oferece uma visão precisa e detalhada sobre o estado dos seus dados. Fornece automaticamente extensas informações acerca da Base de Dados, fornecendo uma visão compreensiva dos seus dados. Como resultado, pode reduzir tempo e esforço necessários para a fase de analise dos projectos de qualidade de dados em 70% comparativamente com as abordagens convencionais.

Gestão eficiente dos problemas identificados
Uma vez que tenham sido identificados, os problemas de qualidade de dados ainda têm que ser solucionados. O processo respectivo deve ser gerido, não importa se a limpeza é efectuada usando uma ferramenta de limpeza apropriada, Scripts de SQL no administrador da BD ou por procura e correcção no contexto da aplicação.

O DQ Explorer encaminha este problema através da integração de funções para analise dos dados, a gestão dos problemas identificados, o tracking do projecto assim como gera relatórios de status apontados a um ponto único. Como regra, os outputs da analise dos dados (resultados, avaliações, tarefas de acompanhamento) são ainda por norma guardadas via folhas de calculo, e-mails ou bases de dados ad-hoc. Isto causa uma sobrecarga significante na manipulação dos dados e aumenta o risco que informação chave seja perdida nas "falhas" entre estas ferramentas.

Se usa o DQ Explorer, a sua analise de projecto deixa de necessitar de correr entre um largo numero de conjuntos de ferramentas. O DQ Explorer permite identificar problemas num ponto único, atribuindo os problemas para a pessoa responsável pela solução e monitorizar o progresso conseguido.

Além disso, a opção ímpar de envio de e-mails permite que informe os membros da equipe automaticamente acerca das atribuições ou o status das alterações das tarefas.

Relatórios fáceis de gerar acerca do progresso conseguido nos mais variados níveis, tais como o projecto no geral, sistemas individuais ou outros critérios livremente seleccionáveis, de forma a que possa ter uma capacidade funcional e garantindo que os intervenientes tenham uma visão consistente e actualizada do projecto.

Resultados rápidos
O DQ Explorer da Uniserv é fácil de usar e gera resultados mais rapidamente e mais eficientemente que com as técnicas de analise manual convencionais. Estes dados estão disponíveis para analise assim que forem carregados da base de dados. O interface intuitivo e o escopo da informação fornecida faz do DQ Explorer uma valiosa ferramenta nas mãos de variados grupos tais como analistas de sistemas, administradores de bases de dados e no desenvolvimento de software.

Com o DQ Explorer, pode criar alta transparência dos dados e bases fortes para a tomada de decisões correctas.

Produtos Data Quality Uniserv: opções eficazes para a integração no seu sistema MDM

No que diz respeito à alta qualidade dos dados e à eficiência do sistema MDM associado, é irrelevante qual a arquitectura escolhida. A qualidade dos dados deve ser sempre de alto nível, não importa se a abordagem base a uma listagem variante ou a um master data completamente consolidado ou às fases intermédias de ambas as variantes sejam seleccionadas. Neste sentido, a questão mais interessante é como as medidas de garantia de qualidade podem ser mais efectivamente integradas no fluxo de dados.O uso do Data Quality Explorer na fase de planeamento da gestão de dados é uma boa ideia. O perfil das diferentes fontes de dados acima descritos podem ser realizado de forma rápida e simples por meio do DQ Explorer. Funções de fluxo de trabalho bem desenvolvido numa arquitectura cliente / servidor permite a optimização de longo prazo dos sistemas de dados de origem. Qualquer irregularidade pode ser anexada aos autos dos respectivos dados na forma de notas. Trabalhos em dados problemáticos também podem ser atribuído ao pessoal por e-mail. Optimização contínua e a preparação para a transferência inicial dos dados para o sistema MDM pode assim ser prosseguido durante o prazo do projecto.

O Data Quality Monitor suporta o monitorizar de KPIs. Como resultado, a optimização dos sistemas de origem pode ser verificada por meio de regras de negócio. Também pode ser utilizado nos sistemas de gestão de dados mestre existentes. Trabalhos de monitorização podem ser configurados de forma muito fácil e automaticamente iniciados. Além disso, a notificação automática do status do trabalho de monitorização também é possível.

Quando a consolidação inicial de diferentes sistemas e uma limpeza inicial dos dados estão em causa, o Data Quality Batch Suite da Uniserv fornece uma excelente opção para preparar os dados dos sistemas de várias fontes para entrada no sistema MDM.

Não são apenas validados os endereços e, se necessário, corrigidos no DQ Batch Suite, como os dados dos sistemas de diversas fontes também podem ser organizados em grupos e classificados num processo individual adaptado às regras de negócio.

Depois dos dados serem agrupados, podem ser consolidados. É, assim, garantido que nenhum dado importante seja perdido e as fontes de dados sejam devidamente ligadas. Escusado será dizer que as chaves primárias também podem ser geradas para a correspondência posterior na recuperação dos dados.

Sistemas de gestão de dados são também caracterizados pelo facto dos registos de dados serem constantemente alterados por meio da criação inicial de dados, informações suplementares ou correcções. O rápido retorno de um registo de dados chamado também deve ser garantida pela arquitectura do sistema.

Um conceito para executar essas mudanças e chamadas de dados é a integração de uma Arquitectura Orientada ao Serviço (SOA). As regras de negócio podem ser implementadas usando aplicativos por meio de SOA. Relativamente à qualidade dos dados e o uso do Uniserv Real-Time Services, isto significa que os registos duplicados de dados podem ser evitados. A correcção automática de endereços está garantida.

É hora de subir a bordo: A Auditoria de Qualidade de Dados DQ Audit da Uniserv pode ser usada para fazer declarações sobre o status quo dos dados in-house.
O DQ Audit é o primeiro passo fundamental para a tomada de decisões confiáveis - e marca a sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema MDM».
Durante a auditoria, a qualidade dos endereços é primariamente avaliada com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise dos processos. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

Um dos desafios é a actividade contínua do sistema MDM. Os dados nunca estão disponíveis de forma isolada ou parados. Em vez disso todos os dados são ligados entre si e continuamente em movimento.

No que respeita à qualidade dos dados, a limpeza periódica dos dados do cliente só é possível de forma muito limitada. Cada actualização, não importa se é uma medida para a optimização da qualidade dos dados em todos os dados ou preocupações com a entrada de registos de dados adicionais (por exemplo, após a aquisição dos dados do cliente ou ainda após a fusão das duas empresas), é, inevitavelmente, realizada com o sistema em operação.

Por conseguinte, é tanto mais importante que todos os registos de dados inseridos no sistema de Data Management atendam a um padrão de qualidade antes de serem inseridos.

O CICLO DE VIDA DE QUALIDADE DE DADOS DA UNISERV pode ser assim ilustrado:
1º passo: Os dados relevantes nos diversos sistemas de origem devem ser identificados antes de tudo. Essas fontes de dados podem ser analisadas por meio de ferramentas de profiling, que a Uniserv também dispõe.
Problemas a nível de metadados e nos dados em si podem assim ser identificados e iniciar-se medidas para saná-los.

2º passo: Numa etapa posterior, a limpeza (inicial), ocorre em função do conhecimento adquirido na área da caracterização. Todos os dados de conteúdo são antes de tudo validados aqui para correcção.
No caso dos dados do endereço, isso significa que os endereços são validados, corrigidos e completados, se necessário. Outro componente da limpeza inicial pode ser uma pesquisa de duplicados, ou na formação de grupos de idênticos ou pelo menos similares nas mesmas fontes de dados adicionais ou em grupos.
Consolidação dos registos de dados com informações adicionais (externas) também é possível. Vários parâmetros podem ser utilizados para o registo de grupos de dados ou para ligar diferentes fontes de dados. Mesclando os registos de diferentes fontes de dados (por exemplo, dados de clientes com informações do sistema ERP) também pode ser realizado por meio de chaves inequívocas (identificadores).

3º passo: A qualidade dos registos de dados é validado na interface durante a entrada de dados numa verificação em tempo real (também conhecido como Firewall de Qualidade de Dados). A exatidão e integridade dos dados de endereço é verificado em primeiro lugar. Em mais um passo, também é verificado se o sistema já contém um registo de dados com o mesmo conteúdo. O alto desempenho dessas validações é muito importante para a verificação em tempo real. Se demorar muito tempo, são deixadas de lado. Há um perigo que o MDM seja «contaminado» por dados não-validados.

4º passo: A validação permanente da qualidade dos dados num sistema MDM é recomendada, mesmo com o maior esforço possível. As regras de negócio especificadas nos processos de negócio podem ser mantidas sob vigilância através de monitorização em tempo real. Se os valores limite especificados anteriormente nos Key Performance Indicators (KPIs) são ultrapassados, as medidas podem ser implementadas em tempo útil, a fim de garantir uma qualidade elevada e permanente dos dados.

5º passo: Especialmente quando grandes volumes de dados são repetidamente adicionados aos dados existentes, medidas de limpeza periódica com os seguintes objetivos são recomendadas:
- Para detectar erros que tenham entrado no sistema, apesar da Firewall de qualidade de dados - ou porque nem todas as regras foram mapeadas ou os avisos que essas regras foram violadas por meio de intervenções do utilizador (por exemplo, um suspeito de duplicado, com uma probabilidade baixa).
- Os dados são sujeitos a um processo de envelhecimento, particularmente no caso dos sistemas do cliente MDM. Locais de destino são mesclados nas reorganizações do governo local, os códigos postais mudaram, as ruas são renomeadas ou indivíduos mudam de casa. (Isso geralmente ocorre sem que a pessoa ou a empresa seja informanda.) Como resultado, a taxa de erro de registros incorrectos no seu sistema MDM normalmente aumenta em 1-2 por cento ao mês. Isto pode ser evitado por meio desta etapa.

O MDM deve ser examinado com cuidado, os dados são afectados. Também é importante que os laços existentes entre os registos de dados de diferentes fontes de dados ou tabelas não sejam postos em causa com as medidas de limpeza periódica. Nesta sequência, as etapas individuais do Ciclo de Vida da qualidade dos dados criam uma base sólida como um todo para trazer a qualidade dos dados de uma empresa num nível elevado e mantê-lo no longo prazo. No entanto, os sistemas de gestão de dados são sistemas vivos. O conceito de «ciclo» (isto é recorrente), deve ser sempre considerada, especialmente no contexto de mudanças e alterações de regras de negócios e o aumento ou modificação das exigências feitas sobre os dados.

A qualidade dos dados de conteúdo é tão importante quanto a qualidade e a univocidade dos metadados numa Meta Master Data Model. Mesmo se o formato do conteúdo dos dados encontrados e os campos obrigatórios tenham sido preenchidos, isso não diz nada sobre a qualidade dos dados. O exemplo seguinte explica este aspecto:

O exemplo mostra que, mesmo se os metadados são inequívocos, a qualidade dos dados de conteúdo pode deixar muito a desejar. Contrariamente às expectativas, o ID como chave primária é ambíguo. Embora a linha da rua esteja sempre preenchida, as ruas estão incorrectamente digitadas ou não existem. O mesmo vale para os códigos postais e os nomes de cidade. Mesmo o último campo da tabela que deve conter um número de fax, encontra-se um endereço de e-mail. O endereço de e-mail não foi, obviamente, considerado parte dos metadados. Nenhum campo foi previsto e essa validação sintáctica de informação não ocorreu quando os dados foram criados.

O exemplo acima pode parecer trivial, mas já estão disponíveis possibilidades para a limpeza automática, particularmente na área de endereços, tanto em processamento batch como no modo online. Este endereço de limpeza automática pode ser usado por exemplo na validação do endereço correcto.Há também a possibilidade de arranjar um registo de dados semelhantes ou duplicados em grupos, juntando informações para o registo de outros dados ou eliminar duplicados claro, se for necessário, ou pelo menos para marcá-los como tal.

Como mencionado anteriormente, os metadados são dados que são usados para descrever os atributos dos dados de conteúdo (dados do utilizador). Isso inclui os nomes de campo, bem como faixas de valores ou formatos de dados especificados. Num sentido mais amplo, esta categoria também inclui informações que fazem declarações sobre os modelos de dados, por exemplo, a vinculação de tabelas numa base de dados. Os exemplos seguintes fornecem um panorama dos possíveis problemas na área de metadados.
- Se um grande número de diferentes fontes de dados estão envolvidas, muitas vezes é perceptível que os campos têm os mesmos nomes, mas que contêm dados ou informações diferentes. No caso oposto, fontes de dados diferentes têm o mesmo conteúdo de dados e informações, mas o nome do campo varia. A figura ilustra isso.

Os nomes de campo diferentes das duas fontes de dados referem-se aos mesmos dados. Os metadados da morada na fonte de dados 2 é ambígua e permite uma grande margem de interpretações. O mesmo se aplica aos dados de telefone na primeira fonte de dados.
- A complexidade dos metadados e o significado do conteúdo do campo é ilustrado através do exemplo do campo "status do cliente"
Significado no sistema 1:Os clientes são aqueles que receberam o material publicitário.
Significado no sistema 2:Os clientes são aqueles que se inscreveram no site da empresa.
Significado no sistema 3:Os clientes são aqueles que pagaram uma factura.

- É importante que exista acordo sobre os formatos de dados .
Datas podem ser exibidos numa variedade de formatos:
Sistema 1: 2010/06/11
Sistema 2: 10-06-11
Sistema 3: 11 de junho de 2010
Sistema 4: 2010/11/06
Há duas possibilidades de interpretação, no caso do formato do sistema 2: 10 de junho 2011 ou 11 de junho, 2010.

A execução de um Data profiling é recomendado, a fim de obter uma visão global dos dados, especialmente dos metadados dos sistemas de origem. Os metadados são identificados num processo de engenharia inversa com base no conteúdo dos dados. O software de profiling fornece uma visão geral dos metadados num tempo muito curto e usa um "drill-down", função que fornece uma visão geral dos dados em si. O número de campos, o seu nome, tipo de conteúdo, faixa de valor, a potencial chave primária e muito mais podem ser facilmente visualizados e analisados. Idealmente, mais dependências entre as tabelas da fonte de dados também podem ser identificados por meio de associação e análise de dependência. Finalmente, os problemas dos dados recorrentes ou o preenchimento dos campos de dados nos sistemas de origem pode ser investigado no profiling. Os problemas aqui identificados, muitas vezes não pode ser sanada com a limpeza automática com o premir de um botão, mas exigem customização dos processos no seu lugar. Depois que a estrutura de todas as fontes de dados, que devem preencher o sistema de gestão da masterdata tenha sido determinado, um Master Meta Data Model deve ser escolhido. Este modelo descreve os dados no sistema MDM. Um acordo sobre o significado dos nomes de campo e o conteúdo do campo já foi atingido em toda a empresa. A criação de uma Master Meta Data Model é importante para a qualidade dos dados, pois especifica quais campos das fontes de dados preenchem os campos no sistema MDM e que informação contêm os campos.

Uma questão que atravessa todas as fases do Master Data Management é a qualidade dos dados. Trata-se de aspectos muito básicos da gestão dos dados, ou seja, soluções específicas para a base de dados principal, formatos de dados padronizados, chaves de referência padronizadas, bases de dados que estão livres de duplicados na medida do possível, endereços de clientes e fornecedores correctos e muito mais.

Ela também diz respeito às medidas de dados de qualidade adequado para cada fase do projecto MDM e do sistema produtivo subsequente.Não importa qual seja o aspecto dum sistema MDM que é considerado, uma alta qualidade dos dados é fundamental para o seu sucesso e, portanto, também para o seu uso eficiente na empresa.O que significa a alta qualidade dos dados aqui precisamente? Em primeiro lugar, é certamente importante que o conteúdo dos dados seja correcto, a fim de passar as informações correctas para o utilizador final no negócio operacional ou analítico. No entanto, algumas qualidades básicas como unicidade, integridade, actualidade e capacidade de edição (além de outros) também desempenham um grande papel.
Por um lado, muitos dos atributos aqui mencionados podem ser obtidos por meio de uma arquitectura de sistemas adequada que permita que as regras de negócio relevantes sejam mapeadas. Por outro lado, as características dos dados em si, tais como precisão ou objectividade, garante que eles têm uma alta qualidade.Dois tipos diferentes de dados podem ser distinguidos no MDM:
- Os meta dados. Estes são dados que são usados para definir os atributos dos dados de conteúdo ou dados reais do utilizador. Isto também inclui a correcta ligação dos campos de diferentes fontes de dados, descrição das chaves de referência, etc
- Os dados de conteúdo. A qualidade do conteúdo e a qualidade sintáctica são a preocupação aqui. O endereço correcto de um contacto é um exemplo disso, assim como um formato de data padrão ou a base de dados livre de duplicados.

Ambos os tipos de dados aqui mencionados são igualmente fundamentais e essenciais para a qualidade dos dados. O alto (ou baixo) nível de um tipo de dados afecta directamente o nível dos outros.
Independentemente de um sistema MDM já esteja implementado ou um projecto de MDM está planeado para o futuro, existem várias possibilidades para influenciar a qualidade dos dados nos diferentes níveis. A qualidade dos meta dados e a qualidade do conteúdo dos dados será considerada separadamente para fornecer uma visão mais clara.

A qualidade dos dados: Um factor chave para o sucesso do Master Data Management

Os sistemas Master Data Management, também chamados de sistemas MDM, permitem uma «única versão da verdade» para ser representado por uma vasta gama de dados da empresa.

Isto significa que todos os sistemas de dados relevantes de uma empresa e seus conteúdos são consolidados, de modo que a busca de informações em diferentes redes isoladas torna-se desnecessário. Independentemente de qual arquitectura do sistema MDM escolhida, tanto a alta qualidade dos dados de conteúdo como os meta dados são factores chave para o sucesso do projecto. Isto aplica-se à fase de execução e ás previsões de aumento da eficiência de utilização dos dados da empresa.

Nos próximos posts vamos descrever a importância da elevada qualidade dos dados no ambiente de MDM. Todas as fases de um sistema que está sendo planeado ou a ser implementado são consideradas.
Além disso, sugestões adequadas para (a) a optimização da qualidade dos dados e (b) mantendo-a num nível elevado durante a operação do dia-a-dia também são fornecidos para os sistemas MDM.
Master Data Management: o que exactamente significa isso?
Um dos grandes desafios no ambiente corporativo, hoje, é conseguir um Master Data Management (MDM) eficaz. O significado preciso deste termo pode ser explicado melhor de tudo pela seguinte definição de David Loshin (2009):

O objectivo é obter a chamada «versão única da verdade», isto é, que somente um sistema tem de ser consultado para mostrar todos os dados relevantes de toda a empresa. Não é necessário procurar informações em diferentes sistemas. Trabalhar com os dados é mais eficiente.

A partir desta consideração, pode-se reconhecer que o MDM não é apenas uma solução de software, mas o mais importante de uma questão de organização interna e definição de dados da empresa. Numa etapa final, esses dados são sincronizados em diversas formas e colocados à disposição do usuário final. Dependendo da complexidade dos sistemas e dados existentes numa empresa, o sucesso da implementação de um sistema MDM pode demorar vários meses ou mesmo anos.
A implementação é normalmente dividida em fases distintas:
- Em primeiro lugar, a master data real deve ser identificada e uma lista elaborada com os sistemas em que ele está a ser armazenado.
- O próximo passo é chegar a acordo sobre um Data Master Object Model e garantir que a meta data é consistente.

Uma vez que estes aspectos fundamentais estejam esclarecidos, várias exigências para os dados são decididas. Em primeiro lugar, os requisitos dos utilizadores da informação na área operacional devem ser considerados.
No entanto, essas demandas específicas também devem ser consideradas na implementação MDM, se é para ser base de um Data Warehouse ou base para análises de Business Intelligence.
Outras questões importantes são questões como a protecção de dados ou conformidade com os regulamentos anti-terrorismo.Em suma, todos os requisitos legais, operacionais e de análise para os dados devem ser considerados.
Além disso, os dados devem estar disponíveis com a qualidade adequada, de modo que os requisitos de conteúdo para os dados possam ser satisfeitos.

Configurando um sistema Master Data Management sempre significa implementar um projecto de toda a empresa.
Projectos desse tamanho, exige uma quantidade de trabalho intelectual de todos os interessados, especialmente se envolvem a criação da Master Data Object Model ou a padronização dos meta dados. A tendência actual é para chamar consultores externos, que podem fazer a ligação entre as diversas partes interessadas, os serviços e o pessoal responsável pelas várias fontes de dados com um grau de distanciamento dessas fases.

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"