Qualidade de Dados / Data Quality

PROJECTO: QUALIDADE DOS DADOS

DADOS - INFORMAÇÃO - CONHECIMENTO - DECISÕES
Os dados são a matéria-prima da informação. Os conhecimentos adquiridos a partir de dados fornece a base necessária para que as decisões de negócios sejam mais estratégicas e operacionais.
Roland Pfeiffer / CEO Uniserv GmbH para soluções de Data Quality

Porque é que a qualidade dos dados é tão importante?
A qualidade dos dados é importante para o sucesso empresarial! Os últimos estudos dos principais analistas sublinham o elevado valor de soluções de qualidade de dados. Em apoio desta tese, a Forrester, Gartner, META Group e outros mostram que os resultados da empresa podem ser significativamente melhorados através de medidas de qualidade de dados.
As empresas reconhecem isso e estão cada vez mais sobre a qualidade dos dados como um factor central para o sucesso e competitividade.
Ao mesmo tempo, porém, isso é incompatível com a situação na prática: um inquérito realizado pela Associação Alemã para a Qualidade da Informação (DGIQ) em 2007 revelou que quase dois terços dos inquiridos dizem que as soluções adequadas não são utilizadas nas suas empresas e vêm uma clara necessidade de acção com relação à avaliação da qualidade dos dados e à implementação de soluções para sua melhoria.

O que influencia a qualidade dos dados?
Um sistema de qualidade de dados existe num ambiente complexo de sistemas de TI, processos de negócio e condições específicas da empresa. Novos dados cuja qualidade é duvidosa constantemente entra no sistema. Reciprocamente, o sistema deve fornecer regularmente os dados com a qualidade especificada. Além disso, o ambiente de um sistema de qualidade de dados nunca é estático. As circunstâncias externas mudam - os clientes mudam de casa, e muito mais. Trata-se de desenvolvimentos que devem ser mapeados no sistema. O processo de negócio e as ferramentas para a sua execução e controle também mudam. Isto significa reavaliações e novas exigências de qualidade dos dados.
Em suma, um sistema de qualidade de dados está vivo e deve ser capaz de desenvolver com o seu ambiente.

Estão os dados têm que ser perfeitos?
Não, mas os dados devem estar livres de erros, completos, consistentes, actualizados e relevantes, a fim de satisfazer as necessidades e expectativas dos utilizadores. A este respeito, é basicamente irrelevante se os dados são utilizados a nível operacional ou estratégico e táctico para a tomada de decisões, porque a elevada qualidade dos dados prossegue o objectivo de fornecer informações precisas à disposição de todos os participantes no processo de negócio.

Aptidão ao uso
De acordo com os analistas da Gartner, a qualidade dos dados é muitas vezes entendida como envolvendo unicamente a limpeza de dados. No entanto, este é apenas um aspecto. Uma visão mais abrangente inclui áreas como a análise de dados e perfis de dados, normalização, harmonização e valorização dos dados, bem como a monitorização contínua da qualidade dos dados, afirma o Gartner. Garantir que os dados novos ou alterados atendem o nível de qualidade de dados obtidos a longo prazo, de preferência directamente na entrada de dados, é tão importante como resolver os problemas de qualidade.Uniserv oferece um portefólio de soluções que abrange todos os passos relevantes no processo de qualidade de dados: análise e caracterização do banco de dados, ferramentas de one-off de limpeza de dados, soluções para permanentemente garantir a qualidade dos dados e instrumentos para a sua vigilância constante. Como resultado, você cria os pré-requisitos para a aptidão de dados e, portanto, para o uso efectivo da valiosa base de dados.

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"