ETL, Data-Migration, CDI, MDM - Poderosa Ferramenta Internacional
16:00Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."
O que é ETL?
E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral
T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos
L - LOAD
Saída de dados processados no formato desejado
O DQBT faz ETL sem qualquer problema
E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...
T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas
L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)
O que é Data-Migration?
E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT
(T - TRANSFORM)
L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.
O que é CDI (Customer Data Integration)?
Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções
CDI é o que o DQBT sempre fez
- Limpa, actualiza e completa os dados de contacto
-> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
-> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
-> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
-> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...
O que é Master-Data-Management?
Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
-> Profiling: Analise dos dados
-> Normalização
-> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
-> Matching & deduplicação
-> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)
Papel fundamental em Master-Data-Management com DQBT
Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
-> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
-> DQBT pode ser parte dos MDM workflows
Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"
0 comentários