Qualidade de Dados / Data Quality

Produtos Data Quality Uniserv: opções eficazes para a integração no seu sistema MDM

No que diz respeito à alta qualidade dos dados e à eficiência do sistema MDM associado, é irrelevante qual a arquitectura escolhida. A qualidade dos dados deve ser sempre de alto nível, não importa se a abordagem base a uma listagem variante ou a um master data completamente consolidado ou às fases intermédias de ambas as variantes sejam seleccionadas. Neste sentido, a questão mais interessante é como as medidas de garantia de qualidade podem ser mais efectivamente integradas no fluxo de dados.O uso do Data Quality Explorer na fase de planeamento da gestão de dados é uma boa ideia. O perfil das diferentes fontes de dados acima descritos podem ser realizado de forma rápida e simples por meio do DQ Explorer. Funções de fluxo de trabalho bem desenvolvido numa arquitectura cliente / servidor permite a optimização de longo prazo dos sistemas de dados de origem. Qualquer irregularidade pode ser anexada aos autos dos respectivos dados na forma de notas. Trabalhos em dados problemáticos também podem ser atribuído ao pessoal por e-mail. Optimização contínua e a preparação para a transferência inicial dos dados para o sistema MDM pode assim ser prosseguido durante o prazo do projecto.

O Data Quality Monitor suporta o monitorizar de KPIs. Como resultado, a optimização dos sistemas de origem pode ser verificada por meio de regras de negócio. Também pode ser utilizado nos sistemas de gestão de dados mestre existentes. Trabalhos de monitorização podem ser configurados de forma muito fácil e automaticamente iniciados. Além disso, a notificação automática do status do trabalho de monitorização também é possível.

Quando a consolidação inicial de diferentes sistemas e uma limpeza inicial dos dados estão em causa, o Data Quality Batch Suite da Uniserv fornece uma excelente opção para preparar os dados dos sistemas de várias fontes para entrada no sistema MDM.

Não são apenas validados os endereços e, se necessário, corrigidos no DQ Batch Suite, como os dados dos sistemas de diversas fontes também podem ser organizados em grupos e classificados num processo individual adaptado às regras de negócio.

Depois dos dados serem agrupados, podem ser consolidados. É, assim, garantido que nenhum dado importante seja perdido e as fontes de dados sejam devidamente ligadas. Escusado será dizer que as chaves primárias também podem ser geradas para a correspondência posterior na recuperação dos dados.

Sistemas de gestão de dados são também caracterizados pelo facto dos registos de dados serem constantemente alterados por meio da criação inicial de dados, informações suplementares ou correcções. O rápido retorno de um registo de dados chamado também deve ser garantida pela arquitectura do sistema.

Um conceito para executar essas mudanças e chamadas de dados é a integração de uma Arquitectura Orientada ao Serviço (SOA). As regras de negócio podem ser implementadas usando aplicativos por meio de SOA. Relativamente à qualidade dos dados e o uso do Uniserv Real-Time Services, isto significa que os registos duplicados de dados podem ser evitados. A correcção automática de endereços está garantida.

É hora de subir a bordo: A Auditoria de Qualidade de Dados DQ Audit da Uniserv pode ser usada para fazer declarações sobre o status quo dos dados in-house.
O DQ Audit é o primeiro passo fundamental para a tomada de decisões confiáveis - e marca a sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema MDM».
Durante a auditoria, a qualidade dos endereços é primariamente avaliada com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise dos processos. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

Uma característica do sistema MDM é que o fluxo de dados flui em duas direções: os dados são transferidos para o sistema (por exemplo, a criação inicial de um registo do cliente) e os dados são recuperados a partir do sistema pelo utilizador. Desnecessário será dizer que esses dados também têm de ser correctamente ligados a todos os outros dados no âmbito respectivo. Deve, portanto, ser garantido que, quando os dados do cliente Osvaldo Godinho são recuperados, o sistema não só fornece seus dados de contacto, mas também, por exemplo os produtos que ele adquiriu por um determinado preço num determinado ponto no tempo, todas as queixas que ele fez e que material publicitário recebeu (visão única do cliente).

Dois pontos em particular, devem ser considerados para garantir alta eficiência no manuseio dos dados:
- Em primeiro lugar, toleracia ao erro na procura de registos de dados. Quando um novo registo de dados é criada uma busca para o mesmo ou semelhantes.
A busca pode ser iniciada activamente com o pressionar de um botão. No entanto, a pesquisa também funciona em segundo plano, sem que seja activamente iniciada. Se o sistema encontrar registos idênticos ou potenciais duplicados, os registos de dados semelhantes são exibidos para o utilizador final na forma de uma lista de selecção, para que ele possa decidir se o cliente actual é na verdade um novo cliente ou um cliente existente.

- Outro factor importante é a velocidade e a tolerância ao erro desta pesquisa. O utilizador final é dependente do tempo de resposta rápida do sistema. Se ele tem que esperar muito tempo para que os resultados de um teste, este teste é contornado e a qualidade dos dados mestre irá deteriorar-se.

No entanto, a tolerância ao erro na procura de registos não é apenas um critério importante na criação dos dados iniciais. A pesquisa também deve ocorrer rapidamente e fornecer resultados confiáveis, quando, por exemplo registos de dados são pesquisados num centro de serviço.

Um dos desafios é a actividade contínua do sistema MDM. Os dados nunca estão disponíveis de forma isolada ou parados. Em vez disso todos os dados são ligados entre si e continuamente em movimento.

No que respeita à qualidade dos dados, a limpeza periódica dos dados do cliente só é possível de forma muito limitada. Cada actualização, não importa se é uma medida para a optimização da qualidade dos dados em todos os dados ou preocupações com a entrada de registos de dados adicionais (por exemplo, após a aquisição dos dados do cliente ou ainda após a fusão das duas empresas), é, inevitavelmente, realizada com o sistema em operação.

Por conseguinte, é tanto mais importante que todos os registos de dados inseridos no sistema de Data Management atendam a um padrão de qualidade antes de serem inseridos.

O CICLO DE VIDA DE QUALIDADE DE DADOS DA UNISERV pode ser assim ilustrado:
1º passo: Os dados relevantes nos diversos sistemas de origem devem ser identificados antes de tudo. Essas fontes de dados podem ser analisadas por meio de ferramentas de profiling, que a Uniserv também dispõe.
Problemas a nível de metadados e nos dados em si podem assim ser identificados e iniciar-se medidas para saná-los.

2º passo: Numa etapa posterior, a limpeza (inicial), ocorre em função do conhecimento adquirido na área da caracterização. Todos os dados de conteúdo são antes de tudo validados aqui para correcção.
No caso dos dados do endereço, isso significa que os endereços são validados, corrigidos e completados, se necessário. Outro componente da limpeza inicial pode ser uma pesquisa de duplicados, ou na formação de grupos de idênticos ou pelo menos similares nas mesmas fontes de dados adicionais ou em grupos.
Consolidação dos registos de dados com informações adicionais (externas) também é possível. Vários parâmetros podem ser utilizados para o registo de grupos de dados ou para ligar diferentes fontes de dados. Mesclando os registos de diferentes fontes de dados (por exemplo, dados de clientes com informações do sistema ERP) também pode ser realizado por meio de chaves inequívocas (identificadores).

3º passo: A qualidade dos registos de dados é validado na interface durante a entrada de dados numa verificação em tempo real (também conhecido como Firewall de Qualidade de Dados). A exatidão e integridade dos dados de endereço é verificado em primeiro lugar. Em mais um passo, também é verificado se o sistema já contém um registo de dados com o mesmo conteúdo. O alto desempenho dessas validações é muito importante para a verificação em tempo real. Se demorar muito tempo, são deixadas de lado. Há um perigo que o MDM seja «contaminado» por dados não-validados.

4º passo: A validação permanente da qualidade dos dados num sistema MDM é recomendada, mesmo com o maior esforço possível. As regras de negócio especificadas nos processos de negócio podem ser mantidas sob vigilância através de monitorização em tempo real. Se os valores limite especificados anteriormente nos Key Performance Indicators (KPIs) são ultrapassados, as medidas podem ser implementadas em tempo útil, a fim de garantir uma qualidade elevada e permanente dos dados.

5º passo: Especialmente quando grandes volumes de dados são repetidamente adicionados aos dados existentes, medidas de limpeza periódica com os seguintes objetivos são recomendadas:
- Para detectar erros que tenham entrado no sistema, apesar da Firewall de qualidade de dados - ou porque nem todas as regras foram mapeadas ou os avisos que essas regras foram violadas por meio de intervenções do utilizador (por exemplo, um suspeito de duplicado, com uma probabilidade baixa).
- Os dados são sujeitos a um processo de envelhecimento, particularmente no caso dos sistemas do cliente MDM. Locais de destino são mesclados nas reorganizações do governo local, os códigos postais mudaram, as ruas são renomeadas ou indivíduos mudam de casa. (Isso geralmente ocorre sem que a pessoa ou a empresa seja informanda.) Como resultado, a taxa de erro de registros incorrectos no seu sistema MDM normalmente aumenta em 1-2 por cento ao mês. Isto pode ser evitado por meio desta etapa.

O MDM deve ser examinado com cuidado, os dados são afectados. Também é importante que os laços existentes entre os registos de dados de diferentes fontes de dados ou tabelas não sejam postos em causa com as medidas de limpeza periódica. Nesta sequência, as etapas individuais do Ciclo de Vida da qualidade dos dados criam uma base sólida como um todo para trazer a qualidade dos dados de uma empresa num nível elevado e mantê-lo no longo prazo. No entanto, os sistemas de gestão de dados são sistemas vivos. O conceito de «ciclo» (isto é recorrente), deve ser sempre considerada, especialmente no contexto de mudanças e alterações de regras de negócios e o aumento ou modificação das exigências feitas sobre os dados.

A qualidade dos dados de conteúdo é tão importante quanto a qualidade e a univocidade dos metadados numa Meta Master Data Model. Mesmo se o formato do conteúdo dos dados encontrados e os campos obrigatórios tenham sido preenchidos, isso não diz nada sobre a qualidade dos dados. O exemplo seguinte explica este aspecto:

O exemplo mostra que, mesmo se os metadados são inequívocos, a qualidade dos dados de conteúdo pode deixar muito a desejar. Contrariamente às expectativas, o ID como chave primária é ambíguo. Embora a linha da rua esteja sempre preenchida, as ruas estão incorrectamente digitadas ou não existem. O mesmo vale para os códigos postais e os nomes de cidade. Mesmo o último campo da tabela que deve conter um número de fax, encontra-se um endereço de e-mail. O endereço de e-mail não foi, obviamente, considerado parte dos metadados. Nenhum campo foi previsto e essa validação sintáctica de informação não ocorreu quando os dados foram criados.

O exemplo acima pode parecer trivial, mas já estão disponíveis possibilidades para a limpeza automática, particularmente na área de endereços, tanto em processamento batch como no modo online. Este endereço de limpeza automática pode ser usado por exemplo na validação do endereço correcto.Há também a possibilidade de arranjar um registo de dados semelhantes ou duplicados em grupos, juntando informações para o registo de outros dados ou eliminar duplicados claro, se for necessário, ou pelo menos para marcá-los como tal.

Como mencionado anteriormente, os metadados são dados que são usados para descrever os atributos dos dados de conteúdo (dados do utilizador). Isso inclui os nomes de campo, bem como faixas de valores ou formatos de dados especificados. Num sentido mais amplo, esta categoria também inclui informações que fazem declarações sobre os modelos de dados, por exemplo, a vinculação de tabelas numa base de dados. Os exemplos seguintes fornecem um panorama dos possíveis problemas na área de metadados.
- Se um grande número de diferentes fontes de dados estão envolvidas, muitas vezes é perceptível que os campos têm os mesmos nomes, mas que contêm dados ou informações diferentes. No caso oposto, fontes de dados diferentes têm o mesmo conteúdo de dados e informações, mas o nome do campo varia. A figura ilustra isso.

Os nomes de campo diferentes das duas fontes de dados referem-se aos mesmos dados. Os metadados da morada na fonte de dados 2 é ambígua e permite uma grande margem de interpretações. O mesmo se aplica aos dados de telefone na primeira fonte de dados.
- A complexidade dos metadados e o significado do conteúdo do campo é ilustrado através do exemplo do campo "status do cliente"
Significado no sistema 1:Os clientes são aqueles que receberam o material publicitário.
Significado no sistema 2:Os clientes são aqueles que se inscreveram no site da empresa.
Significado no sistema 3:Os clientes são aqueles que pagaram uma factura.

- É importante que exista acordo sobre os formatos de dados .
Datas podem ser exibidos numa variedade de formatos:
Sistema 1: 2010/06/11
Sistema 2: 10-06-11
Sistema 3: 11 de junho de 2010
Sistema 4: 2010/11/06
Há duas possibilidades de interpretação, no caso do formato do sistema 2: 10 de junho 2011 ou 11 de junho, 2010.

A execução de um Data profiling é recomendado, a fim de obter uma visão global dos dados, especialmente dos metadados dos sistemas de origem. Os metadados são identificados num processo de engenharia inversa com base no conteúdo dos dados. O software de profiling fornece uma visão geral dos metadados num tempo muito curto e usa um "drill-down", função que fornece uma visão geral dos dados em si. O número de campos, o seu nome, tipo de conteúdo, faixa de valor, a potencial chave primária e muito mais podem ser facilmente visualizados e analisados. Idealmente, mais dependências entre as tabelas da fonte de dados também podem ser identificados por meio de associação e análise de dependência. Finalmente, os problemas dos dados recorrentes ou o preenchimento dos campos de dados nos sistemas de origem pode ser investigado no profiling. Os problemas aqui identificados, muitas vezes não pode ser sanada com a limpeza automática com o premir de um botão, mas exigem customização dos processos no seu lugar. Depois que a estrutura de todas as fontes de dados, que devem preencher o sistema de gestão da masterdata tenha sido determinado, um Master Meta Data Model deve ser escolhido. Este modelo descreve os dados no sistema MDM. Um acordo sobre o significado dos nomes de campo e o conteúdo do campo já foi atingido em toda a empresa. A criação de uma Master Meta Data Model é importante para a qualidade dos dados, pois especifica quais campos das fontes de dados preenchem os campos no sistema MDM e que informação contêm os campos.

Uma questão que atravessa todas as fases do Master Data Management é a qualidade dos dados. Trata-se de aspectos muito básicos da gestão dos dados, ou seja, soluções específicas para a base de dados principal, formatos de dados padronizados, chaves de referência padronizadas, bases de dados que estão livres de duplicados na medida do possível, endereços de clientes e fornecedores correctos e muito mais.

Ela também diz respeito às medidas de dados de qualidade adequado para cada fase do projecto MDM e do sistema produtivo subsequente.Não importa qual seja o aspecto dum sistema MDM que é considerado, uma alta qualidade dos dados é fundamental para o seu sucesso e, portanto, também para o seu uso eficiente na empresa.O que significa a alta qualidade dos dados aqui precisamente? Em primeiro lugar, é certamente importante que o conteúdo dos dados seja correcto, a fim de passar as informações correctas para o utilizador final no negócio operacional ou analítico. No entanto, algumas qualidades básicas como unicidade, integridade, actualidade e capacidade de edição (além de outros) também desempenham um grande papel.
Por um lado, muitos dos atributos aqui mencionados podem ser obtidos por meio de uma arquitectura de sistemas adequada que permita que as regras de negócio relevantes sejam mapeadas. Por outro lado, as características dos dados em si, tais como precisão ou objectividade, garante que eles têm uma alta qualidade.Dois tipos diferentes de dados podem ser distinguidos no MDM:
- Os meta dados. Estes são dados que são usados para definir os atributos dos dados de conteúdo ou dados reais do utilizador. Isto também inclui a correcta ligação dos campos de diferentes fontes de dados, descrição das chaves de referência, etc
- Os dados de conteúdo. A qualidade do conteúdo e a qualidade sintáctica são a preocupação aqui. O endereço correcto de um contacto é um exemplo disso, assim como um formato de data padrão ou a base de dados livre de duplicados.

Ambos os tipos de dados aqui mencionados são igualmente fundamentais e essenciais para a qualidade dos dados. O alto (ou baixo) nível de um tipo de dados afecta directamente o nível dos outros.
Independentemente de um sistema MDM já esteja implementado ou um projecto de MDM está planeado para o futuro, existem várias possibilidades para influenciar a qualidade dos dados nos diferentes níveis. A qualidade dos meta dados e a qualidade do conteúdo dos dados será considerada separadamente para fornecer uma visão mais clara.

A qualidade dos dados: Um factor chave para o sucesso do Master Data Management

Os sistemas Master Data Management, também chamados de sistemas MDM, permitem uma «única versão da verdade» para ser representado por uma vasta gama de dados da empresa.

Isto significa que todos os sistemas de dados relevantes de uma empresa e seus conteúdos são consolidados, de modo que a busca de informações em diferentes redes isoladas torna-se desnecessário. Independentemente de qual arquitectura do sistema MDM escolhida, tanto a alta qualidade dos dados de conteúdo como os meta dados são factores chave para o sucesso do projecto. Isto aplica-se à fase de execução e ás previsões de aumento da eficiência de utilização dos dados da empresa.

Nos próximos posts vamos descrever a importância da elevada qualidade dos dados no ambiente de MDM. Todas as fases de um sistema que está sendo planeado ou a ser implementado são consideradas.
Além disso, sugestões adequadas para (a) a optimização da qualidade dos dados e (b) mantendo-a num nível elevado durante a operação do dia-a-dia também são fornecidos para os sistemas MDM.
Master Data Management: o que exactamente significa isso?
Um dos grandes desafios no ambiente corporativo, hoje, é conseguir um Master Data Management (MDM) eficaz. O significado preciso deste termo pode ser explicado melhor de tudo pela seguinte definição de David Loshin (2009):

O objectivo é obter a chamada «versão única da verdade», isto é, que somente um sistema tem de ser consultado para mostrar todos os dados relevantes de toda a empresa. Não é necessário procurar informações em diferentes sistemas. Trabalhar com os dados é mais eficiente.

A partir desta consideração, pode-se reconhecer que o MDM não é apenas uma solução de software, mas o mais importante de uma questão de organização interna e definição de dados da empresa. Numa etapa final, esses dados são sincronizados em diversas formas e colocados à disposição do usuário final. Dependendo da complexidade dos sistemas e dados existentes numa empresa, o sucesso da implementação de um sistema MDM pode demorar vários meses ou mesmo anos.
A implementação é normalmente dividida em fases distintas:
- Em primeiro lugar, a master data real deve ser identificada e uma lista elaborada com os sistemas em que ele está a ser armazenado.
- O próximo passo é chegar a acordo sobre um Data Master Object Model e garantir que a meta data é consistente.

Uma vez que estes aspectos fundamentais estejam esclarecidos, várias exigências para os dados são decididas. Em primeiro lugar, os requisitos dos utilizadores da informação na área operacional devem ser considerados.
No entanto, essas demandas específicas também devem ser consideradas na implementação MDM, se é para ser base de um Data Warehouse ou base para análises de Business Intelligence.
Outras questões importantes são questões como a protecção de dados ou conformidade com os regulamentos anti-terrorismo.Em suma, todos os requisitos legais, operacionais e de análise para os dados devem ser considerados.
Além disso, os dados devem estar disponíveis com a qualidade adequada, de modo que os requisitos de conteúdo para os dados possam ser satisfeitos.

Configurando um sistema Master Data Management sempre significa implementar um projecto de toda a empresa.
Projectos desse tamanho, exige uma quantidade de trabalho intelectual de todos os interessados, especialmente se envolvem a criação da Master Data Object Model ou a padronização dos meta dados. A tendência actual é para chamar consultores externos, que podem fazer a ligação entre as diversas partes interessadas, os serviços e o pessoal responsável pelas várias fontes de dados com um grau de distanciamento dessas fases.

O estado da qualidade dos dados da empresa foi determinado e discussões iniciais sobre as medidas para o seu aperfeiçoamento foram realizadas. Qual é o próximo passo?
Independentemente das áreas da empresa em que as optimizações devem ser implementadas e as medidas que têm sido consideradas, você vai encontrar o parceiro de contacto certo, DataLab TI, Lda, representante em Portugal da Uniserv GmbH.

Como fornecedor de soluções orientadas para cobrir todos os aspectos da qualidade dos dados, a Uniserv oferece suporte na implementação e optimização de aplicações de negócio operacional e analítico. A Uniserv é também um parceiro especializado nas áreas de marketing directo, listas cumprimento/ bloqueio e migrações de dados.
Conceitos de soluções individuais que visam melhorar a qualidade dos dados e informações, a longo prazo são desenvolvidas em conjunto com os clientes.
Como resultado, o negócio no dia-a-dia pode ser realizado de forma mais eficiente, o número de negócios são confiáveis tal como as estratégias para o sucesso futuro.

Deve ser alcançado um acordo sobre quais critérios de qualidade de dados devem ser comparados, a fim de realizar uma avaliação adequada da qualidade dos dados da empresa. Muitos dos requisitos podem ser verificados por meio de ferramentas de análise adequadas. Os consumidores de dados devem ser questionados sobre as suas necessidades. Finalmente, o processo de criação do produto da "informação" também deve ser cuidadosamente considerado. Deve haver clareza sobre quem exige dados e para que finalidade.

Uniserv GmbH oferece uma abrangente Auditoria de Qualidade de Dados, a fim de ser capaz de responder a estas perguntas e objectivamente avaliar o status quo da qualidade dos dados. O Data Quality Audit tem uma estrutura modular, os módulos são baseados uns nos outros.

Cada módulo possui sua principal área de foco num dos pontos mencionados:
- Requisitos para os dados e sua conformidade para que possa ser verificada por meio de software de análise. As dimensões da qualidade de dados, tais como integridade ou a ausencia de erros são uma grande preocupação aqui.
- Requisitos para os dados e seu cumprimento, sobre os quais os consumidores de dados podem fornecer informações. Dimensões da qualidade de dados, tais como compreensão e clareza são aqui verificadas. Os consumidores de dados também podem apresentar as suas avaliações da credibilidade e da reputação dos dados. Os consumidores de dados podem fornecer informações valiosas sobre a edição ou da acessibilidade dos dados.
- Análise dos dados / processos de criação de informação, de modo a ser capaz de identificar eventuais pontos fracos. Uma melhor compreensão da história da criação é importante, desde a criação o processamento dos dados passa frequentemente por muitas etapas individuais, tais como aplicações de software e processos individuais, que por sua vez, preocupam diferentes áreas de negócio.

O conhecimento dos processos desempenha um papel importante, se medidas de longo prazo para a optimização da qualidade dos dados forem especificadas.

O UNISERV AUDITORIA qualidade dos dados é, assim, dividido em três módulos:

MÓDULO 1: CONTROLO DA QUALIDADE DE DADOS
A Verificação de qualidade fornece uma visão inicial da master data de clientes de uma empresa. Nesta fase, uma extracção representativa dos dados é analisada com a ferramenta de Qualidade de Dados DQ Batch Suite. Neste contexto, é atribuída particular importância à integridade e à presença dos elementos nome. A correcção postal dos elementos do endereço é verificada e uma verificação de duplicados é realizada.
Os seguintes requisitos para os dados são considerados na Verificação de qualidade:
- Todos os campos obrigatórios de cada registo de dados estão preenchidos
- Os elementos do endereço correspondem a um endereço válido e, portanto, correcto
- A "Single View of Customer" aplica-se, ou seja, os dados do extracto são livres de duplicados, ou o chamado "registo mestre" de duplicados está assinalado

Os resultados da qualidade dos dados de verificação são posteriormente apresentados e postos à disposição do cliente.

DADOS DE CONTROLO DA QUALIDADE - Características Técnicas
É necessário o seguinte:
- Um arquivo de dados, de preferência no formato delimitador
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição do valor dos ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Todos os endereços têm de ser de um país
- Máximo de 100 mil endereços

MÓDULO 2: ANÁLISE DE QUALIDADE DOS DADOS
Os dados de Verificação da Qualidade no Módulo 1 primariamente validam um extracto a partir da master data de clientes num processo relativamente simples. É atribuída especial importância para os elementos do nome e os elementos do endereço.

O Data Quality Analysis vai um grande passo em frente.

A totalidade dos dados da empresa podem ser aqui considerados. Dados muito específicos, tais como números de telefone, as vendas ao cliente, dados em anexo relativo a outras operações, etc., podem ser conferidos aqui, conforme necessário. Conformidade com o negócio e regras específicas de plausibilidade também podem ser verificadas. Se necessário, a master data do cliente ainda pode ser comparada com listas de sanção neste ponto.

(A verificação dos dados do cliente contra listas de sanções é geralmente recomendado, a fim de evitar o desrespeito das regras pertinentes anti-terrorismo. Detalhes podem ser encontrados em posts anteriores relativos a anti-terrorismo.)

Os requisitos específicos para os dados a serem validados são identificados num workshop de abertura com os chefes dos departamentos especializados em causa.

A comparação das análises técnicas e avaliações do workshop vai indicar em que medida os requisitos definidos pelos departamentos especializados correspondem entre o real e o nível de qualidade "percebida".

Quando as análises e avaliações foram concluídas, os resultados são apresentados num workshop de encerramento. Recomenda-se que os chefes de todos os departamentos especializados em causa sejam convidados, a fim de ter em conta as "Diferentes Vista de Dados".

Se todas as medidas para a optimização da qualidade dos dados venham a ser adoptadas, é indispensável que os consumidores dos dados sejam incluídos no processo de tomada de decisão. Só desta forma será a implementação dessas medidas amplamente aceite.

Escusado será dizer que os resultados da Data Quality Analysis também são fornecidas por escrito.

ANÁLISE DOS DADOS DE QUALIDADE - TÉCNICA E DETALHES ORGANIZACIONAIS
É necessário o seguinte:
- Vários arquivos ou bases de dados
- Descrição dos meta dados:
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição dos valores de ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Informações sobre a empresa e / ou regras de plausibilidade a verificar
- Contactos das pessoas dos vários departamentos

MÓDULO 3: ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE
Após o status quo da qualidade dos dados que foi determinado nos dois módulos anteriores, o Módulo 3 trata da criação dos dados da empresa e sua eficiência real de utilização para os consumidores de dados. As perguntas seguintes são aqui focadas:
- Como são os processos para a criação, alteração e exclusão dos dados descritos?
- São esses processos actualizados e são postos em prática?
- Será que os dados e informações gerados pelos processos permitem aos consumidores trabalhar o mais eficientemente possível?Os processos são analisados no que diz respeito aos requisitos previamente preparados para os dados.

Quaisquer pontos fracos no que respeita à qualidade dos dados são identificados. Os consumidores de dados são igualmente convidados para a avaliação da qualidade dos dados. A ênfase nessas entrevistas é sobre se o conteúdo e a forma dos dados são apresentados de tal forma que o trabalho diário possa ser realizado com um alto grau de eficiência.
Estas exigências aplicam-se tanto para os negócios operativos como às áreas de negócios analíticos.

Dimensões da qualidade dos dados que só podem ser avaliadas com muita dificuldade por meio de software de análise são examinadas nas entrevistas com os consumidores de dados. Estas dizem respeito por exemplo, as dimensões, credibilidade, capacidade de edição de acessibilidade e objectividade. Como cada um dos grupos de consumidores em causa devem ser incluído nas entrevistas, as diversas opiniões e requisitos para os dados pode ser considerado mais uma vez.

ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE - detalhes técnicos e organizacionais
É necessário o seguinte:
- Os processos e as descrições de fluxo de trabalho
- Pessoas de contacto (pelo menos 3 consumidores de dados) dos serviços em causa

TODOS OS RESULTADOS DE ANÁLISES são colocados num contexto no final da auditoria de qualidade dos dados:
- As avaliações feitas na Data Quality Analysis
- As necessidades dos departamentos especializados para os dados
- Avaliação da qualidade dos dados e necessidades individuais dos consumidores de dados
- O status quo dos processos de geração de informações no que diz respeito aos requisitos definidos para os dados

Os conhecimentos adquiridos, são assim apresentados aos serviços especializados e consumidores de dados em causa, numa reunião. As discussões sobre as possíveis causas da qualidade dos dados inadequadas são incentivadas.

Medidas de optimização e personalização dos processos para melhorar a qualidade dos dados também podem ser discutidos.
Os resultados do módulo 3 e as conclusões das discussões realizadas no workshop ficam disponíveis por escrito.

Há muitas indicações de possíveis problemas de qualidade de dados, especialmente no caso da master data de clientes.

A título de exemplo:
- Existe uma elevada proporção de devolvidos em campanhas de mailing devido a endereços incorrectos.
- Os clientes reclamam porque recebem material publicitário várias vezes
- As facturas não são pagas, porque nunca chegaram ao destino devido a um endereço incorrecto
- Vendas e análises predictivas não são fiáveis, uma vez que as perspectivas de êxito foram atribuídas a duplicados de diferentes potenciais clientes
- Os clientes afirmam que estão insatisfeitos com o apoio, porque os funcionários levam muito tempo para encontrar todos os dados pertinentes no sistema

No entanto, o cenário descrito acima só diz respeito aos sintomas iniciais ou mais óbvios de dados de baixa qualidade de dados. Vários requisitos fundamentais para a master data de clientes pode ser derivada a partir daqui. O endereço postal deve estar correcto e cada cliente só deve ser representado na master data de clientes uma vez (pontos 1-4).

Além disso, todos os dados pertinentes devem estar disponíveis para o pessoal (ponto 5). A lista de requisitos para a master data de clientes provavelmente poderia ser estendida indefinidamente, mas no final, seria descoberto que os requisitos para os dados são diferentes para cada departamento.

Por exemplo, o departamento de marketing atribui grande importância a um endereço correcto para campanhas de marketing, enquanto o pessoal de apoio ao cliente depende da actualidade e integridade dos respectivos produtos dos clientes, que são exibidos de uma maneira bem organizada. A qualidade dos dados só pode ser avaliado como boa ou má, comparando-a com as exigências dos consumidores dos respectivos dados.

Muitos dos requisitos para os dados podem ser automaticamente testados usando software de análise adequado. Algumas das deficiências podem ser corrigidas no curto prazo com operações de limpeza pontual. No entanto, mesmo se os sintomas acima indicados são controlados com operações de limpeza, a razão pela qual a qualidade dos dados é má não foi encontrada nem excluída. Não foi garantido que as operações de limpeza atendem aos requisitos de todos os consumidores de dados.

A Auditoria de Qualidade de dados de deve ser realizada, a fim de ser capaz de fazer uma afirmação sobre a actual situação da qualidade dos dados da empresa. Os dados não só são analisados por meio de software na auditoria, mas, mais importante ainda, as exigências dos consumidores de dados são consideradas. Só depois dos resultados da auditoria serem conhecidos, é que se pode fazer uma declaração sobre que dados da empresa atendem aos requisitos dos utilizadores de dados e os que não. A "percepção" do estado da qualidade dos dados pode ser verificada (ou refutada) com números objectivos. Além disso, actividades apropriadas para uma melhoria a longo prazo na qualidade dos dados pode ser considerada.

É geralmente assumido que a "Single View of Customer" representa um dos mais altos níveis de qualidade dos dados na análise da master data do cliente. No caso mais simples, o termo "Single View of Customer" refere-se a uma base de dados de clientes sem duplicados.

Em relação à dimensão de qualidade de dados acima referida, a "interpretabilidade inequívoca" foi considerada aqui. No entanto, a "Single View of Customer" não deveria ser confundida com a "Single View of Data".

A ilustração abaixo torna a diferença clara: enquanto a "Single View of Customer", coloca os dados em foco, a "Single View of Data" refere-se às diferentes necessidades dos vários departamentos da empresa para os dados. Se perguntarem individualmente a cada grupo de utilizadores sobre os requisitos para os dados, certamente haveria diferentes respostas ou listas de deficiências. Não há, portanto "Single View of Data", se os requisitos para os dados variam. Uma "Visão de Dados Diferenciada" deve ser referida ao invés.

"Single View of Customer" versus "Single View of Data" uma "Visão de Dados Diferenciada" deve ser referida para uma empresa com vários departamentos que têm requisitos diferentes para a master data de clientes.

Será que a qualidade dos dados da empresa cumpre as exigências dos consumidores de dados?

A fim de implementar medidas adequadas para melhorar a qualidade dos dados, deve ser assegurado que as acções (a) cumpram as exigências dos consumidores de dados e (b) aumentem a eficiência da empresa. A Auditoria de Qualidade de Dados é usada para determinar o status quo da qualidade dos dados.

Não é apenas nos dados em si que está o foco, mas, mais importante, nas exigências dos utilizadores em relação aos dados que são considerados. O processo de criação dos dados e da informação é examinado.

O Data Quality Audit tem uma estrutura modular, e cada módulo tem sua própria área de foco. Conceitos possíveis para a optimização da qualidade dos dados podem ser preparados em conjunto com os departamentos especializados.

De seguida vou apresentar o primeiro de 5 posts relacionados.

- A qualidade dos dados - o que está por detrás?
- "Single View of Customer" versus "Single View of Data"
- A qualidade da master data da empresa
- O status quo da qualidade dos dados da empresa: O Uniserv Data Quality Audit pode ajudar
- Olhando para o futuro

A qualidade dos dados - o que está por detrás?

Terra, trabalho e capital são os chamados de factores de produção convencional numa economia clássica. No entanto, o "conhecimento" ou "informação" é cada vez mais referido como um dos factores de produção importantes. (Bauer Wikipedia, e Günzel 2009). Neste contexto, a grande importância da informação proveniente dos dados se torna aparente.

Outra linha de pensamento diz respeito à produção de informações directamente para o fabrico de qualquer produto desejado (Ballou et al. 1998). Estas considerações foram precedidas pelo conceito de Total Quality Management (TQM). Este concentra-se na máxima satisfação dos requisitos para um produto e refere-se a todos os processos e departamentos envolvidos na produção e, portanto, a empresa inteira (Wikipedia).

A correlação entre a qualidade dos dados e os produtos pode ser expressa de forma muito simples: se a "informação" é considerada como um produto, determinados requisitos dos utilizadores deste produto também podem ser definidos e com especificações dos processos de produção.

No entanto, como devem os requisitos de informação e conhecimento serem definidos? Como pode ser verificado que as normas especificadas no processo de produção são cumpridas?

Se a produção de um carro é visualizada, presume-se que o produto final tem quatro rodas e as portas e janelas abertas, na realidade. O motor encaixa-se no corpo e as normas de segurança cumprem os requisitos. Todas estas e mais especificações foram repetidamente verificadas durante o processo de produção real e, portanto, correspondem aos requisitos previamente especificados do condutor posterior do carro. Se ocorrerem defeitos durante a produção, ela é imediatamente interrompida e processos de detecção de falhas e correcção são iniciados.

A produção de informação não deve ser diferente.

O exemplo a seguir ajuda a proporcionar um melhor entendimento dos TERMOS DE DADOS DE QUALIDADE DA INFORMAÇÃO E CONHECIMENTO:
- 0100010 01001101 01010111 => DADOS
- Char (66) char (77) char (87) => INFORMAÇÕES?
- BMW -> Três letras! => INFORMAÇÕES?
- BMW -> Binary Moving Window => INFORMAÇÕES?
- BMW -> Beer with Water => INFORMAÇÕES?
- BMW -> Motorenwerke Bayrische => INFORMAÇÕES?
- Bayerische Motorenwerke => Conhecimento!

Torna-se claro que os dados estão no início da cadeia. A informação é gerada a partir dos dados. Mas a informação de fundo é obrigada a fornecer o significado destas informações e que essas informações possam ser colocadas no contexto certo. No final, as conclusões correctas só podem ser estabelecidas e novos conhecimentos gerados, se os dados e informações no início desta cadeia estiverem correctos.

Para começar, o termo "qualidade" está em causa. Derivado da norma standard EN ISO 9000:2005, o grau de qualidade em que um produto (bem ou serviço) está em conformidade com os requisitos já existentes (Wikipedia). Isto significa que a qualidade pode ser boa ou má se atende aos requisitos do utilizador ou não.

Nos seus estudos, Wang e Strong (1996) pediu aos consumidores de dados para definir as propriedades de dados de boa qualidade. A Associação Alemã para a Informação e Qualidade dos Dados (DGIQ) retomou essa ideia e descritas as categorias e as dimensões da qualidade dos dados numa maneira fácil de entender (Rohweder et al. 2008).

Segundo este estudo, a qualidade dos dados pode ser dividida em quatro categorias e 15 dimensões.

Visão geral das categorias e dimensões da qualidade dos dados (após Rohweder et al. 2008)

Se cada uma das dimensões aqui referidas é considerada "boa", a qualidade dos dados pode ser considerada como ideal. Muitas das medidas citadas não podem ser avaliadas pelo sistema como indicadores de desempenho simples, uma vez que os consumidores dos respectivos dados sempre têm que decidir se a qualidade dos dados é boa.

Larry English (1999), outras abordagens de base, mas faz uma distinção fundamental entre a qualidade do conteúdo dos dados (correção dos dados) e a qualidade pragmática dos dados (apresentação dos dados).

É inerente a ambas as abordagens básicas que o foco de atenção é sobre o consumidor de dados que recebe os dados, de modo que ele possa exercer as suas funções de forma satisfatória. Ou, para expressá-lo nas palavras de Wang e Strong (1996), a qualidade dos dados é definida como "dados que estão aptos para o uso pelos consumidores de dados".

Manutenção de dados: medidas automatizadas para a manutenção de um elevado padrão de qualidade de dados

Apesar da limpeza de dados iniciais e os mecanismos para manter o status quo da qualidade dos dados, é uma boa política realizar uma verificação periódica da base de dados global.

Isso também é necessário se as bases de dados forem consolidadas, por exemplo, após a aquisição de empresas.Outro cenário é uma verificação periódica para renomear rua e lugar.

Deslocalizações devem ser monitorizadas e mantidas, e os registos de dados de clientes falecidos devem ser marcados, pelo menos. A exigência para o aprimoramento dos dados existentes com informações adicionais também não deve ser excluído.

Estas verificações periódicas da base de dados geral devem, idealmente, ser executadas com um processo em batch.
Isso garante que todos os dados estejam em conformidade com uma norma comum de qualidade de dados em intervalos especificados.
A qualidade dos dados suficientemente elevada para realizar as tarefas do actual sistema de CRM não pode ser considerada até que as três etapas do processo descrito aqui forem implementadas e adoptadas como prática, permitindo assim que o sistema de CRM atinja o seu pleno potencial e proporcione um retorno sobre o investimento.

As avaliações no CRM analítico, são agora uma base sólida. Os dados do CRM operacional permite uma abordagem orientada para o cliente em todas as áreas. Finalmente, o relacionamento com o cliente é reforçado, a longo prazo. A confiança dos empregados da empresa na qualidade dos dados aumenta, ao mesmo tempo. Isto significa que uma verificação adicional dos dados não é mais necessária. Os resultados directos são o aumento na eficiência e redução de custos.

É hora de subir a bordo: A Auditoria de Qualidade de Dados

A Auditoria Uniserv de DQ apresenta-se, de modo a ser capaz de fazer afirmações sobre o status quo dos dados in-house do sistema CRM.

A auditoria é o primeiro passo com objectivos claros em mente para a tomada de decisão e as marcas da sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema de CRM».

Durante a auditoria, a qualidade dos endereços é primariamente avaliados com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise do processo. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

A Firewall de Qualidade de Dados

É importante especificar determinadas normas, após a transferência dos dados inicialmente limpos. Só desta forma pode a elevada qualidade dos dados obtidos ser preservada. Uma variedade de opções on-line podem apresentar-se aqui:
Em primeiro lugar, o utilizador do sistema de CRM pode garantir que as regras de entrada determinadas sejam respeitadas, por exemplo, os nomes das ruas só devem ser inscritos nos campos fornecidos.
A verificação de sintaxe também é possível para números de telefone ou endereços de e-mail e outros campos. Além disso, existe a possibilidade de verificar o endereço indicado para correcção. Isto pode ser importante, por exemplo, se o endereço é dado somente a um centro de atendimento por telefone e rapidamente surgem erros na anotação ou por causa de diferentes interpretações do que foi ouvido ou erros de digitação. Se as informações recebidas através do telefone estiverem incorrectas ou ambíguas, o utilizador também pode pedir de imediato as informações adicionais em falta, tais como localidade, a fim de ser capaz de transferir um endereço correcto para o sistema. O desempenho da tecnologia subjacente é o factor decisivo para a aceitação.
Desde que o trabalho seja realizado sob alta pressão de tempo em períodos de pico, especialmente em call centers, a validação de endereço deve ocorrer muito rapidamente.
A entrada rápida de um cliente que completa os componentes do endereço após a entrada das letras iniciais ou números pode ser usado como alternativa.
Não importa qual a tecnologia usada, a possibilidade de uma busca simples, rápida e tolerante a erros para todos os dados existentes do cliente é fundamental. Esta função não será usada se a comparação demorar muito tempo ou não forneça os resultados desejados.

Um exemplo quotidiano demonstra isso: se a busca de informações nos motores de busca mais conhecidos de Internet, Google ou Yahoo, levar mais tempo do que o típico 0,3 segundo, estes motores de busca não seriam utilizados devido à lentidão.

A prevenção automática de novos duplicados também é importante. Aqui também existe a possibilidade de verificar se o cliente já está registado no sistema quando os dados são criados. Se este for o caso, uma nova conta de cliente não tem de ser criada. A informação existente ainda pode ser reforçada com o processo actual. Esta busca é executada em segundo plano, sem ser especificamente accionada pelo utilizador em cada criação ou alteração de dados iniciais do endereço.
Se a empresa ou pessoa física já existe na base de dados, o utilizador recebe uma indicação relevante através da máscara de entrada. Uma pesquisa de erro de tolerância também é apropriada aqui, de modo que o registo dos respectivos dados possa ser encontrado, apesar dos erros de audição ou sinónimos ou nomes de empresas incompletos. Escusado será dizer que esta busca implícita também tem que ocorrer muito rapidamente e com precisão, de modo que o fluxo de trabalho do empregado no sistema de CRM não seja afectado. Estes requisitos para a firewall de qualidade dos dados são implementados por meio dos conectores DQ.
Em conjunto com os parceiros de desenvolvimento, Uniserv criou conectores DQ para os mais importantes sistemas de CRM, como o SAP CRM, Microsoft Dynamics CRM, Siebel, bem como update.seven e salesforce.com, que permitem a integração de mecanismos de qualidade de dados em processamento registo a registo. Como resultado, nada impede a implementação destas funções, que são importantes para a implementação de um elevada qualidade de dados nos sistemas de CRM.

Voltamos depois do post de ontem onde se falou um pouco mais da ferramenta Batch, ao CRM com a limpeza inicial dos dados. Relembro apenas que o DQBT é uma ferramenta essencial para esta limpeza dos dados.

Primeiro que tudo, a limpeza inicial dos dados é de primordial importância. A este respeito, a base de dados inteira é verificada e limpa numa execução em batch. O número de diferentes fontes de dados ou dos países a que pertencem são irrelevantes aqui.
Procedimento típico para que esta limpeza inicial:
- Os dados são convertidos para um formato padronizado.
Exemplo: formato padronizado para os números de telefone.
++351 211571495
00351-21-1571495      => 00351 211 571 495
+351 (21) 1571495

- O conteúdo das diferentes fontes de dados é atribuído aos campos padrão.
Exemplo: O nome da pessoa de contacto está em campos com nomes diferentes em cada fonte de dados.
Nome: Godinho, Osvaldo
PNome: Osvaldo      Apelido: Godinho
Contacto: Osvaldo Godinho

- As componentes do nome são analisadas.
Linhas de nome muito complexas que sejam compostas por vários indivíduos ou incluir o nome da empresa com o departamento e contacto serão analisados. A análise verifica se os dados se referem a dados de pessoas ou dados da empresa. Todos os elementos da linha do nome são também atribuídos aos campos especiais, de modo a que, por exemplo análises de títulos académicos ou formas jurídicas de empresa possam ser realizadas.
Exemplo: DataLab, Lda
                       -> Nome da Empresa: DataLab
Datalab, Lda
                       -> Forma Legal: Lda.

- A validação dos endereços é realizada.
A validação dos endereços é feita independentemente sejam endereços nacionais e/ou internacionais. A este respeito, o código postal, localidade, rua e número de porta são verificados. Se possível, componentes do endereçoem falta são corrigidas e/ou adicionadas.
Ruas oficialmente renomeadas e lugares são actualizados automaticamente. Apartados e validação de códigos postais em batch de clientes também estão disponíveis para alguns países.
Exemplo:
R Podre Local 16       => Rua do Poder Local, 16
1675 Pontihna           => 1675-634 Pontinha

- Os endereços são convertidos para formatos específicos.
Em certos países, por exemplo, França, o endereço deve ser formatado de acordo com as especificações das autoridades postais nacionais, a fim de ser capaz de tirar partido das medidas de optimização de taxa de franquia, para as opções de entrega mais barata possível.
Exemplo de um endereço de França:

- Os endereços são reforçados com informações adicionais.
Os endereços podem ser melhorados com informações relevantes, conforme necessário. Isso pode ser coordenadas geográficas, mas outros códigos por sector ou visualização, informações definidas pelo utilizador podem ser também anexados aos dados.
Por exemplo:
Rua do Poder Local, 16      => X: -00920163
1675-364 Pontinha            => Y: +03876310

- São identificados os duplicados.
Duplicados potenciais são identificados de acordo com algoritmos de busca personalizados individualmente.
Regras de negócio adequadas podem ser aplicadas na pesquisa, de modo que a sua posterior eliminação pode ser executada automaticamente até certo ponto. Os duplicados são também avaliados, com o grau de "certeza", ou seja, o grau de probabilidade pode ser definido. Escusado será dizer que estão disponíveis esquemas padronizados de correspondência, que podem ser aplicados aos dados de pessoas ou dados de empresas. Também é possível incorporar novos campos em campos livres em busca de duplicados.
Por exemplo:
Osvaldo Godinho                            O Godinho
Rua do Poder Local, 16         =     R Podre Local, 61
1675-157 Pontinha                      1675-157 Pontihna

A comparação destes dois registos proporciona um elevado grau de semelhança, embora o nome, rua, numero de porta e localidade sejam diferente.
No entanto, a diferença neste exemplo e com o algoritmo seleccionado correspondente não for tão grande, que os registos de dados são identificados como um único bloco.

- É constituído o "Registo de Ouro".
A formação de um "Registo de Ouro" é fundamental, especialmente quando os dados vêm de uma variedade de fontes que tenham mais conteúdos relevantes associados, além da informação do endereço. Como resultado, existe a possibilidade de transferir todas as informações dos duplicados para o "Registo de Ouro". Mesmo que os dados duplicados não tenham de ser eliminados, a sua marcação é possível, de modo que as informações contidas num duplicado possam ser exibidas para o utilizador no sistema de CRM. Exemplo: O duplicado tem um campo adicional com coordenadas que devem ser anexada ao "Registo de Ouro". Se o duplicado é excluído da base de dados, o "Registo de Ouro" também inclui esta informação.
Osvaldo Godinho                           O Godinho
Rua do Poder Local, 16          =    R Podre Local, 16
1675-157 Pontinha                     1675-157 Pontihna
X: -00920163                           <-      X: -00920163
Y: +03876310                           <-      Y: +03876310

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"

A qualidade dos dados no CRM é importante independentemente de:
- Um sistema completamente novo CRM deve ser posto em prática,
- A qualidade dos dados de um sistema de CRM deve ser optimizada,
- Ou dois ou mais sistemas independentes são combinados em um único sistema CRM, o requisito elevada qualidade dos dados pode ser alcançada em três sub-processos:

1. Limpeza dos dados iniciais
2. «Acertar logo à primeira vez» e os mecanismos que interceptam dados de baixa qualidade, quando os dados são criados ou editados (Data Quality Firewall)
3. Uso de dados de manutenção como uma medida para preservar um alto padrão de qualidade de dados

O processo de QUALIDADE DOS DADOS da Uniserv mostra como os três passos anteriores estão interligados.

TI envolve não só endereços escritos correctamente ou registos duplicados, mas também a aprendizagem sobre a estrutura dos dados a serem migrados e verificar as regras de negócio existentes. Este passo normalmente é implementado numa Auditoria de qualidade dos dados.

É aconselhável obter um panorama da qualidade dos dados numa primeira etapa, de modo que uma limpeza inicial orientada para resultados seja possível.

Monitorização a jusante é aconselhável para determinação constante e verificação do status quo da qualidade dos dados. O cumprimento das regras de negócio podem ser automaticamente aqui verificadas e limitar valores críticos específicos, a fim de ser capaz de realizar medidas de optimização em tempo real. Limites poderiam ser também os indicadores chave de desempenho (KPI), que fornecem informações sobre o status quo dos objectivos definidos pela empresa.

O casal perfeito:
CRM e qualidade de dados
Independentemente de um CRM analítico ou operacional seja implementado, as áreas anteriormente descritas de aplicação indicam a importância de ter dados correctos, ou seja, a qualidade dos dados.
Num CRM analítico, uma elevada qualidade dos dados é indispensável, a fim de ser capaz de realizar análises adequadas, em primeiro lugar, para não falsificá-las e - com base no presente - para tornar as decisões estratégicas correctas, a longo prazo.
Em termos correctos, qualidade de dados significa que:

- Corrigir o endereço, também no ambiente internacional, de modo que a correspondência escrita chegue ao destinatário. Quanto aos dados:» O endereço deve ser actualizado se lugares ou ruas são renomeados
» Mudanças de morada devem ser registadas e os endereços actualizados
» Não são mantidas relações comerciais com os clientes falecidos
» Mudanças nas empresas (fusões, deslocalizações, etc.) devem ser registadas
Num CRM operacional, é importante que os dados de contacto do cliente estejam correctos, para que as campanhas de marketing sejam adequadas e a oferta de serviços alcance sua meta, ou seja, o cliente.
- Os dados do cliente sem que haja duplicados, ou seja, existe apenas uma única instância do cliente na base de dados :
» Para não enviar informações várias vezes em mailings e economizar em custos de envio
» Para não perturbar desnecessariamente clientes solicitando-os repetidamente em campanhas de marketing e, portanto, provocar perdas de clientes e vendas perdidas
» Para poder fazer afirmações fiáveis sobre as oportunidades de vendas e Análises Preditivas
» Conceber um serviço mais eficiente com todas as informações relevantes disponíveis para o contacto directo com os clientes.

Fica evidente que a qualidade dos dados, ou seja, corrigir e manter a base de dados isenta de duplicados, é um requisito importante para a chamada "visão única do cliente» ou «ponto único de verdade» («Single View of Customer» ou «Single Point of Truth»), porque somente os dados em óptimo estado permitem realmente que todos os dados relativos a um cliente sejam comprimidos num registo, permitindo uma visão abrangente de um cliente.

Essa visão também deve ser autorizada para os funcionários dos vários departamentos dentro da empresa.
Se todos estes aspectos não são considerados num sistema de CRM, a qualidade deficiente dos dados pode rapidamente desequilibrar a balança. Análises em Business Intelligence podem produzir conclusões incorrectas, os clientes estão insatisfeitos com o serviço, com as campanhas de marketing e quem sabe, podem terminar as relações comerciais no pior caso.

A má qualidade dos dados também podem ter um efeito directo sobre a motivação dos funcionários da empresa.
Eles não podem satisfazer as necessidades dos clientes na medida esperada, pois as informações no sistema de CRM não é consistente.
Registos duplicados de dados de clientes que contenham informações necessárias para a satisfação do cliente são um exemplo aqui. É o trabalhador que tem de ouvir os problemas dos clientes frustrados.
E torna-se insatisfeito ao mesmo tempo.
A conexão directa entre os dados confiáveis a partir do sistema de CRM e motivação dos funcionários é, portanto, comprovada.

Os exemplos do post anterior deixam claro que o cliente é sempre o centro do interesse num sistema de CRM, uma vez que há ganhos directos e indirectos que podem ser obtidos a longo prazo através de um relacionamento satisfatório.

Quanto a isto, há várias áreas num sistema de CRM que são projectados para ajudar a satisfazer uma ampla variedade de necessidades dos clientes, na forma prevista e de forma adequada. Todas as informações obtidas podem ser avaliadas, a fim de usá-las em campanhas de marketing ou outras análises baseadas em Business Intelligence.
A diferença é feita entre um CRM operacional e um CRM analítico.

Customer Relationship Management analítico
CRM Analítico é usado para considerar todos os dados do cliente para possíveis avaliações no âmbito do Business Intelligence. O termo Customer Data Warehouse também é usado de alguma forma. Isso mostra que as preocupações do CRM analítico são para a análise de um «instantâneo» dos dados de CRM e não os dados do sistema actual ao vivo. Os dados são armazenados num sistema especialmente desenhado, como os dados de um Data Warehouse. Pode ser avaliada através de um grande número de diferentes dimensões. A palavra chave aqui é Online Analytical Processing (OLAP), que também é utilizada no Data Warehouse.

Customer Relationship Management operacional
Em contraste com o CRM analítico, CRM operacional abrange as áreas de vendas, marketing e serviço.
Em outras palavras: Todos os funcionários que estão em contacto directo ou indirecto com o uso do cliente CRM operacional.
Em marketing, isso realmente significa por exemplo que há possibilidades de gestão de campanhas para filtrar os grupos-alvo certos para as respectivas campanhas. (As avaliações dos CRMs analíticos normalmente fornecem indicações dos filtros correctos).
Relativamente aos clientes certos, a informação adequada, ao serviço a oferecer, a selecção do canal de comunicação ideal, etc, são as principais preocupações. O objectivo é que as informações apresentadas atinjam os grupos alvo correctos. Os clientes solicitados devem estar motivados a examinar o respectivo conteúdo das campanhas e para identificar o valor acrescentado que as informações (ou produto) criam para si ou para sua empresa.

O departamento de Vendas usa o CRM operacional para as várias tarefas. O contacto pessoal com o cliente tem grande importância, a fim de desenvolver e manter um forte relacionamento com o cliente. Funções como a integração dos clientes de email, calendários ou características semelhantes são indispensáveis aqui. No entanto, as informações do CRM também são usadas, por exemplo para actualizar as oportunidades de vendas. Ela também pode ser avaliada porque o cliente rejeitou a oferta (lost order analysis) ou porque a relação comercial terminou. Um sistema de CRM também é usado como um "diário de bordo", em que todas as atividades com um cliente são gravadas. Como resultado, os colegas podem rapidamente obter uma visão geral de toda a correspondência com o cliente.

O funcionário em contacto com o cliente direto é o cartão de visita da COMPANHIA, porque ele ou ela é sinónimo de QUALIDADE DOS PRODUTOS E SERVIÇOS PARA O EXTERIOR.

O sistema de CRM também é usado para gerar dinamicamente análises de previsão confiáveis. Estes são extremamente importantes para a definição de futuras estratégias de negócios. A terceira área que faz uso intensivo do sistema de CRM é a área de serviço. As necessidades de clientes individuais são consideradas um grau particularmente grande nesse ambiente, o cliente é acompanhado através das diferentes fases do relacionamento. Gestão da reclamação e suporte ao cliente também são importantes questões aqui.
Finalmente, um sistema de CRM pode ter um uso interdepartamental e em todas as áreas como um instrumento de controle para processos de negócio ou podemos oferecer uma ajuda valiosa para o cumprimento das regras de negócio. No contexto da importância de um profissional de Customer Relationship Management e da introdução de um sistema adequado de CRM, é essencial manter um aspecto central em mente: o trabalhador em contacto com o cliente directo é o cartão de visita da empresa, porque ele ou ela é sinónimo de qualidade dos produtos e serviços para o mundo exterior. É precisamente aqui que potenciais enormes, geralmente inactivos podem ser activados para o benefício dos clientes satisfeitos com base num eficiente sistema de CRM.

Relações de negócios e relações com clientes bem conservadas assim como uma rede estável de relacionamentos, têm uma variedade de efeitos muito positivos sobre cada empresa.

A consciência de que a introdução de um sistema de CRM é um factor chave para o sucesso a longo prazo da empresa tem-se desenvolvido rapidamente nos níveis de gestão de muitas empresas nos últimos alguns anos. Independentemente do fornecedor e os componentes do sistema de CRM que são utilizados, o foco é sempre na orientação para o cliente e para o conceito de serviço subjacente.

Se a introdução de um sistema de CRM é considerada a partir de uma perspectiva económica, torna-se rapidamente claro que a gestão do relacionamento está associada a conceitos tais como o desejo de relações comerciais de longo prazo e a segurança económica ligada a isso. Além disso, um sistema de CRM deve contribuir para a estabilização dos contactos de negócios. Relações comerciais bem mantidas, bem como o relacionamento com clientes, ou seja, uma rede estável de relacionamentos, tem uma variedade de efeitos muito positivos sobre a empresa.

Aqui estão alguns exemplos:
- Um cliente satisfeito está preparado para recomendar o fornecedor e os seus produtos através de uma simples palavra de propaganda.
- Numa relação duradoura, satisfatória entre o cliente e o fornecedor, o cliente pode fazer sugestões para melhorar produtos, a fim de chamar a atenção para mudança nas demandas do mercado.
- Um cliente satisfeito é mais tolerante com aumentos de preços do que os clientes potenciais que ainda estejam a comparar produtos e serviços similares de diferentes fornecedores.
- Se houver um relacionamento comercial com um cliente, o cliente entrará em contato com o fornecedor se ele não estiver satisfeito com um produto ou serviço, a fim de indicar as deficiências. Em consequência, o fornecedor tem a oportunidade de optimizar o produto e o desempenho. Em caso negativo, o cliente pode simplesmente mudar fornecedor, sem informar o fornecedor sobre as deficiências percebidas do produto.