Qualidade de Dados / Data Quality

Voltamos depois do post de ontem onde se falou um pouco mais da ferramenta Batch, ao CRM com a limpeza inicial dos dados. Relembro apenas que o DQBT é uma ferramenta essencial para esta limpeza dos dados.

Primeiro que tudo, a limpeza inicial dos dados é de primordial importância. A este respeito, a base de dados inteira é verificada e limpa numa execução em batch. O número de diferentes fontes de dados ou dos países a que pertencem são irrelevantes aqui.
Procedimento típico para que esta limpeza inicial:
- Os dados são convertidos para um formato padronizado.
Exemplo: formato padronizado para os números de telefone.
++351 211571495
00351-21-1571495      => 00351 211 571 495
+351 (21) 1571495

- O conteúdo das diferentes fontes de dados é atribuído aos campos padrão.
Exemplo: O nome da pessoa de contacto está em campos com nomes diferentes em cada fonte de dados.
Nome: Godinho, Osvaldo
PNome: Osvaldo      Apelido: Godinho
Contacto: Osvaldo Godinho

- As componentes do nome são analisadas.
Linhas de nome muito complexas que sejam compostas por vários indivíduos ou incluir o nome da empresa com o departamento e contacto serão analisados. A análise verifica se os dados se referem a dados de pessoas ou dados da empresa. Todos os elementos da linha do nome são também atribuídos aos campos especiais, de modo a que, por exemplo análises de títulos académicos ou formas jurídicas de empresa possam ser realizadas.
Exemplo: DataLab, Lda
                       -> Nome da Empresa: DataLab
Datalab, Lda
                       -> Forma Legal: Lda.

- A validação dos endereços é realizada.
A validação dos endereços é feita independentemente sejam endereços nacionais e/ou internacionais. A este respeito, o código postal, localidade, rua e número de porta são verificados. Se possível, componentes do endereçoem falta são corrigidas e/ou adicionadas.
Ruas oficialmente renomeadas e lugares são actualizados automaticamente. Apartados e validação de códigos postais em batch de clientes também estão disponíveis para alguns países.
Exemplo:
R Podre Local 16       => Rua do Poder Local, 16
1675 Pontihna           => 1675-634 Pontinha

- Os endereços são convertidos para formatos específicos.
Em certos países, por exemplo, França, o endereço deve ser formatado de acordo com as especificações das autoridades postais nacionais, a fim de ser capaz de tirar partido das medidas de optimização de taxa de franquia, para as opções de entrega mais barata possível.
Exemplo de um endereço de França:

- Os endereços são reforçados com informações adicionais.
Os endereços podem ser melhorados com informações relevantes, conforme necessário. Isso pode ser coordenadas geográficas, mas outros códigos por sector ou visualização, informações definidas pelo utilizador podem ser também anexados aos dados.
Por exemplo:
Rua do Poder Local, 16      => X: -00920163
1675-364 Pontinha            => Y: +03876310

- São identificados os duplicados.
Duplicados potenciais são identificados de acordo com algoritmos de busca personalizados individualmente.
Regras de negócio adequadas podem ser aplicadas na pesquisa, de modo que a sua posterior eliminação pode ser executada automaticamente até certo ponto. Os duplicados são também avaliados, com o grau de "certeza", ou seja, o grau de probabilidade pode ser definido. Escusado será dizer que estão disponíveis esquemas padronizados de correspondência, que podem ser aplicados aos dados de pessoas ou dados de empresas. Também é possível incorporar novos campos em campos livres em busca de duplicados.
Por exemplo:
Osvaldo Godinho                            O Godinho
Rua do Poder Local, 16         =     R Podre Local, 61
1675-157 Pontinha                      1675-157 Pontihna

A comparação destes dois registos proporciona um elevado grau de semelhança, embora o nome, rua, numero de porta e localidade sejam diferente.
No entanto, a diferença neste exemplo e com o algoritmo seleccionado correspondente não for tão grande, que os registos de dados são identificados como um único bloco.

- É constituído o "Registo de Ouro".
A formação de um "Registo de Ouro" é fundamental, especialmente quando os dados vêm de uma variedade de fontes que tenham mais conteúdos relevantes associados, além da informação do endereço. Como resultado, existe a possibilidade de transferir todas as informações dos duplicados para o "Registo de Ouro". Mesmo que os dados duplicados não tenham de ser eliminados, a sua marcação é possível, de modo que as informações contidas num duplicado possam ser exibidas para o utilizador no sistema de CRM. Exemplo: O duplicado tem um campo adicional com coordenadas que devem ser anexada ao "Registo de Ouro". Se o duplicado é excluído da base de dados, o "Registo de Ouro" também inclui esta informação.
Osvaldo Godinho                           O Godinho
Rua do Poder Local, 16          =    R Podre Local, 16
1675-157 Pontinha                     1675-157 Pontihna
X: -00920163                           <-      X: -00920163
Y: +03876310                           <-      Y: +03876310

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"

A qualidade dos dados no CRM é importante independentemente de:
- Um sistema completamente novo CRM deve ser posto em prática,
- A qualidade dos dados de um sistema de CRM deve ser optimizada,
- Ou dois ou mais sistemas independentes são combinados em um único sistema CRM, o requisito elevada qualidade dos dados pode ser alcançada em três sub-processos:

1. Limpeza dos dados iniciais
2. «Acertar logo à primeira vez» e os mecanismos que interceptam dados de baixa qualidade, quando os dados são criados ou editados (Data Quality Firewall)
3. Uso de dados de manutenção como uma medida para preservar um alto padrão de qualidade de dados

O processo de QUALIDADE DOS DADOS da Uniserv mostra como os três passos anteriores estão interligados.

TI envolve não só endereços escritos correctamente ou registos duplicados, mas também a aprendizagem sobre a estrutura dos dados a serem migrados e verificar as regras de negócio existentes. Este passo normalmente é implementado numa Auditoria de qualidade dos dados.

É aconselhável obter um panorama da qualidade dos dados numa primeira etapa, de modo que uma limpeza inicial orientada para resultados seja possível.

Monitorização a jusante é aconselhável para determinação constante e verificação do status quo da qualidade dos dados. O cumprimento das regras de negócio podem ser automaticamente aqui verificadas e limitar valores críticos específicos, a fim de ser capaz de realizar medidas de optimização em tempo real. Limites poderiam ser também os indicadores chave de desempenho (KPI), que fornecem informações sobre o status quo dos objectivos definidos pela empresa.

O casal perfeito:
CRM e qualidade de dados
Independentemente de um CRM analítico ou operacional seja implementado, as áreas anteriormente descritas de aplicação indicam a importância de ter dados correctos, ou seja, a qualidade dos dados.
Num CRM analítico, uma elevada qualidade dos dados é indispensável, a fim de ser capaz de realizar análises adequadas, em primeiro lugar, para não falsificá-las e - com base no presente - para tornar as decisões estratégicas correctas, a longo prazo.
Em termos correctos, qualidade de dados significa que:

- Corrigir o endereço, também no ambiente internacional, de modo que a correspondência escrita chegue ao destinatário. Quanto aos dados:» O endereço deve ser actualizado se lugares ou ruas são renomeados
» Mudanças de morada devem ser registadas e os endereços actualizados
» Não são mantidas relações comerciais com os clientes falecidos
» Mudanças nas empresas (fusões, deslocalizações, etc.) devem ser registadas
Num CRM operacional, é importante que os dados de contacto do cliente estejam correctos, para que as campanhas de marketing sejam adequadas e a oferta de serviços alcance sua meta, ou seja, o cliente.
- Os dados do cliente sem que haja duplicados, ou seja, existe apenas uma única instância do cliente na base de dados :
» Para não enviar informações várias vezes em mailings e economizar em custos de envio
» Para não perturbar desnecessariamente clientes solicitando-os repetidamente em campanhas de marketing e, portanto, provocar perdas de clientes e vendas perdidas
» Para poder fazer afirmações fiáveis sobre as oportunidades de vendas e Análises Preditivas
» Conceber um serviço mais eficiente com todas as informações relevantes disponíveis para o contacto directo com os clientes.

Fica evidente que a qualidade dos dados, ou seja, corrigir e manter a base de dados isenta de duplicados, é um requisito importante para a chamada "visão única do cliente» ou «ponto único de verdade» («Single View of Customer» ou «Single Point of Truth»), porque somente os dados em óptimo estado permitem realmente que todos os dados relativos a um cliente sejam comprimidos num registo, permitindo uma visão abrangente de um cliente.

Essa visão também deve ser autorizada para os funcionários dos vários departamentos dentro da empresa.
Se todos estes aspectos não são considerados num sistema de CRM, a qualidade deficiente dos dados pode rapidamente desequilibrar a balança. Análises em Business Intelligence podem produzir conclusões incorrectas, os clientes estão insatisfeitos com o serviço, com as campanhas de marketing e quem sabe, podem terminar as relações comerciais no pior caso.

A má qualidade dos dados também podem ter um efeito directo sobre a motivação dos funcionários da empresa.
Eles não podem satisfazer as necessidades dos clientes na medida esperada, pois as informações no sistema de CRM não é consistente.
Registos duplicados de dados de clientes que contenham informações necessárias para a satisfação do cliente são um exemplo aqui. É o trabalhador que tem de ouvir os problemas dos clientes frustrados.
E torna-se insatisfeito ao mesmo tempo.
A conexão directa entre os dados confiáveis a partir do sistema de CRM e motivação dos funcionários é, portanto, comprovada.

Os exemplos do post anterior deixam claro que o cliente é sempre o centro do interesse num sistema de CRM, uma vez que há ganhos directos e indirectos que podem ser obtidos a longo prazo através de um relacionamento satisfatório.

Quanto a isto, há várias áreas num sistema de CRM que são projectados para ajudar a satisfazer uma ampla variedade de necessidades dos clientes, na forma prevista e de forma adequada. Todas as informações obtidas podem ser avaliadas, a fim de usá-las em campanhas de marketing ou outras análises baseadas em Business Intelligence.
A diferença é feita entre um CRM operacional e um CRM analítico.

Customer Relationship Management analítico
CRM Analítico é usado para considerar todos os dados do cliente para possíveis avaliações no âmbito do Business Intelligence. O termo Customer Data Warehouse também é usado de alguma forma. Isso mostra que as preocupações do CRM analítico são para a análise de um «instantâneo» dos dados de CRM e não os dados do sistema actual ao vivo. Os dados são armazenados num sistema especialmente desenhado, como os dados de um Data Warehouse. Pode ser avaliada através de um grande número de diferentes dimensões. A palavra chave aqui é Online Analytical Processing (OLAP), que também é utilizada no Data Warehouse.

Customer Relationship Management operacional
Em contraste com o CRM analítico, CRM operacional abrange as áreas de vendas, marketing e serviço.
Em outras palavras: Todos os funcionários que estão em contacto directo ou indirecto com o uso do cliente CRM operacional.
Em marketing, isso realmente significa por exemplo que há possibilidades de gestão de campanhas para filtrar os grupos-alvo certos para as respectivas campanhas. (As avaliações dos CRMs analíticos normalmente fornecem indicações dos filtros correctos).
Relativamente aos clientes certos, a informação adequada, ao serviço a oferecer, a selecção do canal de comunicação ideal, etc, são as principais preocupações. O objectivo é que as informações apresentadas atinjam os grupos alvo correctos. Os clientes solicitados devem estar motivados a examinar o respectivo conteúdo das campanhas e para identificar o valor acrescentado que as informações (ou produto) criam para si ou para sua empresa.

O departamento de Vendas usa o CRM operacional para as várias tarefas. O contacto pessoal com o cliente tem grande importância, a fim de desenvolver e manter um forte relacionamento com o cliente. Funções como a integração dos clientes de email, calendários ou características semelhantes são indispensáveis aqui. No entanto, as informações do CRM também são usadas, por exemplo para actualizar as oportunidades de vendas. Ela também pode ser avaliada porque o cliente rejeitou a oferta (lost order analysis) ou porque a relação comercial terminou. Um sistema de CRM também é usado como um "diário de bordo", em que todas as atividades com um cliente são gravadas. Como resultado, os colegas podem rapidamente obter uma visão geral de toda a correspondência com o cliente.

O funcionário em contacto com o cliente direto é o cartão de visita da COMPANHIA, porque ele ou ela é sinónimo de QUALIDADE DOS PRODUTOS E SERVIÇOS PARA O EXTERIOR.

O sistema de CRM também é usado para gerar dinamicamente análises de previsão confiáveis. Estes são extremamente importantes para a definição de futuras estratégias de negócios. A terceira área que faz uso intensivo do sistema de CRM é a área de serviço. As necessidades de clientes individuais são consideradas um grau particularmente grande nesse ambiente, o cliente é acompanhado através das diferentes fases do relacionamento. Gestão da reclamação e suporte ao cliente também são importantes questões aqui.
Finalmente, um sistema de CRM pode ter um uso interdepartamental e em todas as áreas como um instrumento de controle para processos de negócio ou podemos oferecer uma ajuda valiosa para o cumprimento das regras de negócio. No contexto da importância de um profissional de Customer Relationship Management e da introdução de um sistema adequado de CRM, é essencial manter um aspecto central em mente: o trabalhador em contacto com o cliente directo é o cartão de visita da empresa, porque ele ou ela é sinónimo de qualidade dos produtos e serviços para o mundo exterior. É precisamente aqui que potenciais enormes, geralmente inactivos podem ser activados para o benefício dos clientes satisfeitos com base num eficiente sistema de CRM.

Relações de negócios e relações com clientes bem conservadas assim como uma rede estável de relacionamentos, têm uma variedade de efeitos muito positivos sobre cada empresa.

A consciência de que a introdução de um sistema de CRM é um factor chave para o sucesso a longo prazo da empresa tem-se desenvolvido rapidamente nos níveis de gestão de muitas empresas nos últimos alguns anos. Independentemente do fornecedor e os componentes do sistema de CRM que são utilizados, o foco é sempre na orientação para o cliente e para o conceito de serviço subjacente.

Se a introdução de um sistema de CRM é considerada a partir de uma perspectiva económica, torna-se rapidamente claro que a gestão do relacionamento está associada a conceitos tais como o desejo de relações comerciais de longo prazo e a segurança económica ligada a isso. Além disso, um sistema de CRM deve contribuir para a estabilização dos contactos de negócios. Relações comerciais bem mantidas, bem como o relacionamento com clientes, ou seja, uma rede estável de relacionamentos, tem uma variedade de efeitos muito positivos sobre a empresa.

Aqui estão alguns exemplos:
- Um cliente satisfeito está preparado para recomendar o fornecedor e os seus produtos através de uma simples palavra de propaganda.
- Numa relação duradoura, satisfatória entre o cliente e o fornecedor, o cliente pode fazer sugestões para melhorar produtos, a fim de chamar a atenção para mudança nas demandas do mercado.
- Um cliente satisfeito é mais tolerante com aumentos de preços do que os clientes potenciais que ainda estejam a comparar produtos e serviços similares de diferentes fornecedores.
- Se houver um relacionamento comercial com um cliente, o cliente entrará em contato com o fornecedor se ele não estiver satisfeito com um produto ou serviço, a fim de indicar as deficiências. Em consequência, o fornecedor tem a oportunidade de optimizar o produto e o desempenho. Em caso negativo, o cliente pode simplesmente mudar fornecedor, sem informar o fornecedor sobre as deficiências percebidas do produto.

A cereja no topo do bolo.

O objectivo da introdução de um sistema CRM (Customer Relationship Management) é optimizar e estabilizar as relações com os actuais e futuros clientes a longo prazo. A chave para um relacionamento satisfatório de ambos os lados não depende apenas um sistema inteligente de CRM, mas também da alta qualidade dos dados que ele contém.

Há indícios de falta de qualidade dos dados do cliente, se a taxa de retorno de mailings é relativamente elevada, como resultado de dados incorrectos ou endereços incompletos ou clientes queixam-se sobre várias entregas do mesmo correio publicitário. É constrangedor se uma linha de endereço de um cliente, contiver erros, porque não foi dada importância à "higiene" dos componentes do nome e endereço.

Mesmo que a equipe interna tenha falta de confiança na base de dados e tenha de verificar manualmente cada registo antes de contactar os clientes, isto também deve ser considerado como uma indicação de baixa qualidade dos dados. Com base nos pontos aqui mencionados, torna-se evidente que a qualidade dos dados no sistema de CRM é tão importante quanto o próprio sistema. Se este não for o caso, o esperado efeito da ligação do cliente a longo prazo combinado com um aumento eficiência do trabalho realizado com os dados do cliente não irá surgir.

Vários cenários de utilização de um sistema de CRM vão ser considerados nos próximos posts.

As áreas de actuação são a relação da qualidade dos dados e as consequências da fraca qualidade dos dados. Além disso, iremos abordar uma solução prática para a prestação de alta qualidade de dados de um recém-criado ou existente sistema de CRM e como manter esse status quo em diferentes sistemas e plataformas.

Os seguintes processos de comparação dos dados da empresa em relação às listas de sanções são tão importantes quanto o processo de correspondência em si e ao cumprimento dos requisitos de qualidade de dados. Se casos suspeitos foram encontrados durante a correspondência, estes casos devem ser verificados manualmente caso a caso. O software deve fornecer listas adequadas e / ou arquivos com os registos de dados para esta finalidade.Também é importante que os resultados sejam incorporados nos dados da empresa de tal maneira que os duplicados encontrados sejam documentados. Duplicados nos dados devem portanto ser marcados. Além disso, os dados oficiais, nos termos da lei devem ser enviados às autoridades respectivas.A documentação das validações efectuadas é muito importante.

EXEMPLOS DE CORRESPONDÊNCIAS POSITIVAS

Os exemplos são apresentados para ilustrar a possível forma de correspondências positivas. O primeiro registo de dados vem das listas de sanção. Os subsequentes registos de dados poderiam ser a partir dos dados da empresa. Os números em "Correspondência" representam o grau de semelhança e a precisão do duplicado. A faixa aqui é entre 70 e 100. A identificação do registo representa um indivíduo e o seu ID na base de dados.

Exemplo de uma completa operação de matching

O processo completo de correspondência, consiste na correspondência real, a geração de registos de validação adequados, a geração de uma lista de casos suspeitos, a marcação dos casos suspeitos e os casos não-suspeitos na base de dados, o manual de verificação dos casos suspeitos e da comunicação dos indivíduos e organizações identificadas como suspeitas à PJ (BAFA):

Alguns exemplos das listas de sanções são mostrados a seguir, para ilustrar o desafio que é encontrar uma solução de software. Todos os exemplos são entradas originais das listas sanção.

Ao comparar os exemplos, torna-se claro porque os países não constam das listas de sanção, o foco principal é sobre as organizações e os indivíduos que podem operar de diferentes países.

Os requisitos para um software adequado podem ser deduzidos a partir dos exemplos. Primeiro de tudo, o software deve ser capaz de lidar com uma mistura de indivíduos, organizações, instituições e companhias.

As características especiais dos campos das listas de sanção também devem ser consideradas. Há frequentemente um numero de elementos do nome que são difíceis de identificar como os primeiros nomes ou sobrenomes (nos indivíduos - B2C).

Além disso, há elementos do nome que são pouco conhecidos tanto em áreas culturais como em famílias linguísticas (nomes árabes ou asiáticos).

A movimentação de entradas específicas para cada país e entradas "típicas de embargo", tais como nomes árabes em primeiro lugar, os títulos, os prefixos também devem ser fornecidas pela solução de software.

Um desafio adicional é o procedimento para os elementos em falta. A este respeito, um endereço não completo é indicado na maioria dos casos. Em muitos casos, há apenas um nome de lugar, ou apenas um elemento do nome é conhecido. O software deve permitir também ser capaz de lidar com letras simples, abreviaturas, siglas e números (não para particulares - B2B).

O mesmo se aplica ao tratamento de sinónimos, nomes de organizações em várias línguas nacionais e a transformação de dados Unicode. Para todos estes requisitos, como existem muitas combinações corretas que podem ser obtidas como possíveis, o reconhecimentos de diferenças fonéticas e semelhanças têm de ser asseguradas.

Além disso, há uma alta probabilidade de erros de gravação, especialmente no caso de nomes estrangeiros. O software deve também ser capaz de lidar com tais problemas. Finalmente, um óptimo equilíbrio entre as exigências do regulamento anti-terrorismo da UE e as opções para a revisão manual deve ser encontrada.

Vários desafios precisam ser superados antes de correspondência da empresa de dados contra as listas de sanção poder ser bem sucedida.
Estes desafios dizem respeito a (a) os respectivos processos e (b) uma solução técnica adequada para regular a congruência dos dados da empresa contra as listas de sanção que satisfaçam os requisitos dos regulamentos anti-terrorismo da UE.
- Uma rotina permanente de validação de todos os endereços mantidos numa empresa contra as listas de sanção devem ser garantidos.
- Uma vez que os dados da empresa, normalmente dizem respeito a um maior volume de dados, o match de registo a registo é praticamente impossível. Soluções de processamento em batch são necessárias aqui.
- As várias listas de sanções têm uma estrutura heterogénea. Isto significa que a falta de padronização dos diferentes arquivos devem ser resolvidos tecnicamente. Idealmente, a preparação destas listas de sanções deve ser integrada na actual calibração, de modo que a qualidade do match não seja prejudicado pela heterogeneidade da estrutura das listas de sanções e os seus defeitos de normalização.Finalmente, é necessário que a solução de software (a) leia nas diversas listas de sanção, sem qualquer problemas e (b) é caracterizada pela alta precisão do reconhecimento de match.Mais características desta solução software: deve ser um sistema especialista inteligente que usa análises endereço específico (fonética, a lógica fuzzy) e regulamentos de cada país. Parametrizações individuais dos algoritmos de correspondência também é importante, de modo que um alto grau de flexibilidade esteja prevista.

A LIMPEZA INICIAL E LIMPEZA BANCO DE DADOS DA EMPRESA DE DADOS
A meta inicial de um clean-up de rotina e de limpeza da base de dados é a validação de todas as pessoas, organizações e os endereços do sistema contra a versão mais recente da lista de sanção. O resultado desta validação é um arquivo de "aviso" que é posteriormente processado manualmente ou electronicamente. Todos os potenciais hits positivos do match são mostrados neste ficheiro de advertência. Os registos de dados devem ser revistos em cada caso. É recomendável que a limpeza da base de dados seja realizada regularmente.

LISTAS EXTERNAS (ALUGUER OU COMPRA)
Se os dados de endereço são adquiridos a partir de fontes externas, quer por aluguer ou compra, estes endereços devem também ser validados contra as listas de sanção. Cada lista deve ser verificada antes de ser usada. Casos suspeitos não deveriam estar disponíveis para processamento adicional, independentemente dos processos a jusante.
Exemplos de processos incluem a jusante transferência desses endereços para o sistema in house ou sua utilização em actividades de publicidade.

PROCESSAMENTO INDIVIDUAL PARA OS TRABALHADORES NUM CALL CENTER
Considerando os dados da empresa e listas de endereços externos pode ser validado contra listas de sanções em processos batch, os dados são validados registo a registo, nos call centers. Aqui, por exemplo, o software valida cada novo endereço para verificar se se trata de uma pessoa nas listas de sanção. Se há uma suspeita fundamentada, o funcionário administrativo recebe uma mensagem que o endereço não pode ser inserido no sistema, neste ponto. O endereço é disponibilizado para processamento em separado. No caso do processamento electrónico de registos únicos, os endereços suspeitos da empresa de jogos contra as listas de sanções são marcados de forma totalmente automática e / ou integração no sistema que impediu.

PROCESSAMENTO ELECTRÓNICO DE REGISTOS UNICOS
A correspondência automática, que não é activamente perceptível, é executada em background durante a aceitação de dados.
Potenciais matchs são marcados neste processo, assim podem ser processados por pessoal autorizado na fase posterior (veja abaixo). A vantagem da aplicação deste cenário é que os empregados não se irritam por possíveis avisos durante o contacto com o cliente e podem continuar a seguir os seus respectivos processos.

PROCESSAMENTO EM BATCH POR FUNCIONÁRIOS AUTORIZADOS
O processamento batch de casos suspeitos pode ser confiada a funcionários especialmente qualificados da empresa. Aqui os casos suspeitos provenientes da limpeza e validação de listas externas são carregados no sistema e apresentados aos trabalhadores para sua decisão. Uma ferramenta em tempo real é utilizada para a própria decisão, que realiza as validações mesmo para os casos suspeitos como para os processos batch, mas mostra-los individualmente no ecrã.
É, assim, garantido que os resultados de cada validação batch sejam executados manualmente, validados e decididos.

No que respeita à aplicação prática do regulamento anti-terrorismo da UE, a questão da qualidade dos dados não deve ser negligenciada. São quatro os pontos na qualidade dos dados e nas características dos processos que são relevantes:
Devem sempre ser tomadas em consideração estas preocupações com a qualidade dos dados e nos processos internos. A qualidade e o processo de criação das respectivas listas de sanções não vão ser postas em causa ou discutidas aqui.

TRANSPARÊNCIA
Transparência é definida aqui como o conhecimento e à rastreabilidade de todos os processos em causa com aquisição de dados, combinados contra as listas de sanção, registando e processando a jusante em caso de encontrar correspondências.As seguintes questões são levantadas a este respeito:
- Como, exactamente, são inseridos os dados na base de dados (Master)?
- Qual é a fonte de dados?
- Como é o que se encontram correspondências contra as listas de sanção?
- Existem logs gerados pelas operações de correspondência e como são administrados?
- Qual é o processo de actualização das listas de sanção?
- Como são tratadas as correspondências?

A legislação já fornece informações para algumas destas questões. No entanto, a pergunta é sempre sobre se os respectivos regulamentos são cumpridos.

CREDIBILIDADE
A credibilidade é definida como a idoneidade e fiabilidade do registo de dados de particulares. Esta definição pode ser estendida para a credibilidade dos processos com a correspondência entre os registos da base de dados (Master) contra as listas de sanções.- Pode ser a fonte de dados confiável?
- É a fonte de dados conhecida?
- É o processo para combinação dos dados contra a listas de sanções confiável?
- É a fonte das listas de sanção conhecida e é confiável?- Os algoritmos de correspondência são adequados?

LIBERDADE DE ERROS
A informação está livre de erros, se corresponde à realidade.
No que respeita à questão da liberdade de erros, As seguintes perguntas devem ser feitas sobre os dados in-house e do processo de correspondência:
- Está o master de dados livre de erros? (E se os dados têm qualidade controlada e otimizada, caso seja necessário?)
- O processo de aquisição de dados (master) foram definidos, de modo que as regras adequadas possam ser respeitadas?

No caso destas questões, torna-se evidente que uma certa qualidade do master de dados já está assumida. Se nada se sabe sobre a qualidade dos dados ou se não foram tomadas medidas para garantir uma qualidade de dados, que seja suficientemente alta para haver confiança na comparação contra as listas de sanção, o resultado da correspondência deve ser posto em causa.

ACTUALIZAÇÃO
A informação é actualizada se representar o real carácter do objecto descrito em tempo real.
Aqui também existem várias perguntas sobre como fazer a comparação com as listas de sanção, que devem ser levantadas:
- É a qualidade dos dados do master adequada para combinar os dados contra a lista de sanção?- As listas de sanções estão actualizadas?
- A execução técnica do processo para a combinação dos dados contra a sanção lista está actualizada?

Finalmente, a qualidade dos dados não diz respeito só à alta qualidade do master dos dados, mas também à qualidade dos processos. Isto refere-se aos processos que garantam a alta qualidade dos dados da empresa e processos que asseguram efectiva implementação de conformidade com o regulamento anti-terrorismo da EU. Torna-se claro aqui que a qualidade dos dados da empresa desempenha um grande papel quando ele é comparado com as listas de sanção.

A este respeito, não devemos ter só as preocupações com as componentes individuais do endereço, mas também os elementos do nome.
Este facto será considerado posteriormente com alguns exemplos.
Como não há a obrigação de fornecer uma verificação de conformidade com o regulamento anti-terrorismo da UE, é aconselhável para garantir que as provas documentais de correspondência são arquivadas, de modo que o processo totalmente "transparente" seja fornecido.

Acção Penal

Vale a pena conhecer as consequências do incumprimento com o regulamento anti-terrorismo da UE.

De referir que mesmo que de forma indirecta podemos ser afectados por esta lei cujas penas podem ir até aos 15 anos de prisão.

Artigo 5.º -A

Financiamento do terrorismo
1 — Quem, por quaisquer meios, directa ou indirectamente, fornecer, recolher ou detiver fundos ou bens de qualquer tipo, bem como produtos ou direitos susceptíveis de ser transformados em fundos, com a intenção de serem utilizados ou sabendo que podem ser utilizados, total ou parcialmente, no planeamento, na preparação ou para a prática dos factos previstos non.º 1 do artigo 2.º, ou praticar estes factos com a intenção referida no n.º 1 do artigo 3.º ou no n.º 1 do artigo 4.º, é punido com pena de prisão de 8 a 15 anos.
2 — Para que um acto constitua a infracção prevista no número anterior, não é necessário que os fundos provenham de terceiros, nem que tenham sido entregues a quem se destinam, ou que tenham sido efectivamente utilizados para cometer os factos nele previstos.
3 — A pena é especialmente atenuada ou não tem lugar a punição, se o agente voluntariamente abandonar a sua actividade, afastar ou fizer diminuir consideravelmente o perigo por ele provocado ou auxiliar concretamente na recolha de provas decisivas para a identificação ou a captura de outros responsáveis.

Mesmo as contra-ordenações são elevadas, podendo chegar aos 2.500.000€.

Artigo 54.º

Coimas
As contra-ordenações previstas no artigo anterior são puníveis nos seguintes termos:
a) Quando a infracção for praticada no âmbito da actividade de uma entidade financeira:
    i) Com coima de € 25 000 a € 2 500 000, se o agentefor uma pessoa colectiva;
    ii) Com coima de € 12 500 a € 1 250 000, se o agentefor uma pessoa singular;
b) Quando a infracção for praticada no âmbito da actividade de uma entidade não financeira, com excepção dos advogados e solicitadores:
    i) Com coima de € 5000 a € 500 000, se o agente for uma pessoa colectiva;
    ii) Com coima de € 2500 a € 250 000, se o agente for uma pessoa singular.

Depois ainda acrescem as sanções acessórias que podem significar interdição ou inibição do exercício de funções até 3 anos

Artigo 55.º

Sanções acessórias
Conjuntamente com as coimas, podem ser aplicadas ao responsável por qualquer das contra-ordenações previstas no artigo 53.º as seguintes sanções acessórias, em função da gravidade da infracção e da culpa do agente:
a) Interdição, por um período até três anos, do exercício da profissão ou da actividade a que a contra-ordenação respeita;
b) Inibição, por um período até três anos, do exercício de cargos sociais e de funções de administração, direcção, chefia e fiscalização em pessoas colectivas abrangidas pela presente lei, quando o infractor seja membro dos órgãos sociais, exerça cargos de direcção, chefia ou gestão ou actue em representação legal ou voluntária da pessoa colectiva;
c) Publicação da punição definitiva, a expensas do infractor, num jornal de larga difusão na localidade da sede ou do estabelecimento permanente do infractor ou, se este for uma pessoa singular, na localidade da sua residência.

O legislador logo no artigo 20º, cria uma salvaguarda de forma a proteger a identidade de quem fornece informações

Artigo 20.º

Protecção na prestação de informações
1 — As informações prestadas de boa fé pelas entidades sujeitas, no cumprimento dos deveres enumerados nos artigos 16.º, 17.º e 18.º, não constituem violação de qualquer dever de segredo, imposto por via legislativa,regulamentar ou contratual, nem implicam, para quem as preste, responsabilidade de qualquer tipo.
2 — Quem, ainda que com mera negligência, revelar ou favorecer a descoberta da identidade de quem forneceu informações, ao abrigo dos artigos referidos no número anterior, é punido com pena de prisão até três anos ou com pena de multa.

No próximo post vamos ver qual a relação de tudo isto com a qualidade de dados.

Os ataques terroristas de Al Qaeda nos Estados Unidos da América foram o catalisador para a passagem da regulamentação da UE contra o terrorismo. A primeira resolução da ONU passou pouco tempo depois.

Um aspecto novo nestas resoluções e regulamentos é o facto de que as organizações particulares e os indivíduos que nem sempre estão ligados a estados individualizados estão incluídos nas chamadas listas de sanção e não países completos.

A lista seguinte mostra as mais IMPORTANTEs RESPOSTAS aos ataques terroristas do 11 de Setembro de 2001:
- 28 de setembro de 2001: Adopção da resolução 1373 da ONU pela comunidade de estados
- 27 de dezembro de 2001: Regulamento (CE) n º2580/2001 – Implementação no aplicável Direito Comunitário
- 27 de maio de 2002: Regulamento (CE) n º. 881/2002 – extensão para indivíduos específicos / organizações
- Adicionalmente, a legislação dos E.U.A. reivindica em todo o mundo a validade das suas normas de controle de exportação, sempre que mercadorias dos E.U.A. são negociadas.

O legislador também especificou quem é responsável pelo correto cumprimento das referidas resoluções e regulamentos.

As responsabilidades de supervisão por parte da empresa são regulados no artigo 2º do decreto Lei nº 25/2008

Aqui se afirma que a gestão e os seus representantes autorizados, entidades e indivíduos devem ter medidas organizacionais razoáveis que garantam com suficiente probabilidade de que não são cometidas infracções, intencionalmente ou por negligência. A responsabilidade e obrigação de notificar as autoridades é considerada no mesmo decreto. Referência que os responsáveis na empresa são pessoalmente responsáveis por consequências penais. Essas pessoas só pode ser exoneradas pela evidência de uma funcionamento da organização e o cumprimento das necessárias e adequadas medidas de controlo.

Finalmente, nos termos do artigo 3º e 4º da referida lei, não há uma obrigação geral para todos que participam comercialmente no estrangeiro a fornecer informações. O órgão executivo para analisar o obrigação de fornecer informação é a Unidade de Informação Financeira. Não é definitivamente regulamentado, que é a autoridade responsável para esclarecer dúvidas sobre a identidade de um parceiro de negócios. No entanto, é aconselhável fazer inquéritos à UIF em tais casos.

Além da UIF, o cumprimento do anti-terrorismo da regulação da UE também é verificado pelas autoridades aduaneiras, o serviço de auditoria das finanças regionais, bem como pelas autoridades criminais (por exemplo, Ministério Público).

Regulamentação da UE contra o terrorismo e listas de sanção está a decorrer com firmeza: Opções para a execução técnica das disposições legais

PROCESSOS NÃO DISPONÍVEIS OU INSATISFATÓRIOS PARA PROCURA DOS CLIENTES E PROSPECTS CONTRA LISTAS DE SANÇÕES - UM RISCO DE NEGÓCIO FREQUENTEMENTE SUBESTIMADO E IMPLICA A RESPONSABILIDADE PESSOAL DOS GESTORES.

A aplicação das disposições estatutárias da regulamentação anti-terrorismo da UE ainda é um aspecto amplamente discutido no âmbito da Qualidade dos dados. Este regulamento proíbe que sejam colocados serviços financeiros e bens à disposição de organizações terroristas tanto em território nacional como no exterior.

Se as últimas exigências do regulamento anti-terrorismo da UE não são cumpridas, as consequências são previsíveis. Por exemplo, existe o perigo de que o conjunto dos activos da empresa sejam congelados.

Existe ainda o perigo de ser incluído numa lista de sanção, se fornecer dados a um dos indivíduos ou organizações listadas.
Também deve ser considerado que não há direito legal a ser removido da lista de sanção.
Qualquer pessoa que age sem pensar duas vezes, rapidamente coloca o futuro de toda a empresa em risco e por isso também o dos seus trabalhadores.

Organizações e indivíduos que estão sob a alçada do regulamento anti-terrorismo da UE estão incluídos em várias listas de sanção elaboradas pela União Europeia e pelas instituições dos Estados Unidos da América, entre outros.

Como consegue que os dados do cliente sejam comparados com as listas de sanções actuais, a fim de cumprir o regulamento? Nós apresentamos uma abordagem prática que combina as edições actuais da listas de sanções contra os dados mestre do cliente em processamento batch ou on-line, proporcionando-lhe segurança no que diz respeito à Regulamentação da UE contra o terrorismo.

Os requisitos legais e os seus efeitos estão já publicados em Diário da Republica. Além disso, a relação com a qualidade dos dados no sentido convencional será descrita em futuros posts. Finalmente, a opção para a prática da sua aplicação será considerada. A implementação de cenários será documentada com exemplos e possíveis processos jusante serão apresentados em igualmente em próximos posts.

Uma das coisas mais complicadas no tratamento dos dados é precisamente medir os níveis de qualidade do tratamento.

Existem vários aspectos que temos de ter em conta para contabilizar a qualidade dos dados, que vão desde o numero de registos que foram tratados de forma correcta, ao número de registos existentes e que ainda é possível que sejam considerados registos válidos e finalmente os registos que são simplesmente "lixo".

Já na parte da deduplicação é relativamente mais simples, uma vez que certamente se o tratamento for executado de forma correcta iremos ter três tipos de registos: os únicos, os duplicados e os duvidosos. O ideal é que estes últimos sejam no menor número possível.

Voltando à normalização, se estivermos a falar da normalização das moradas, sabemos que existem vários tipos de normalizações em Portugal e conforme as ferramentas que têm por base com valores muito diferentes e logicamente com uma qualidade final igualmente muito diferente.

Vamos a um exemplo simples, é quase impossível ver empresas com certeza da qualidade das suas moradas, mas existem. Há empresas a trabalhar com ferramentas de qualidade de dados em que se a morada não for validada pelo sistema, simplesmente a morada não entra no sistema. Isto apenas se consegue atingir com uma certeza muito grande na qualidade das ferramentas e da base de dados de referencia.

Existem em Portugal já algumas empresas que dizem que fazem tratamento dos dados, mas simplesmente não têm ferramentas para tal. Apenas com muita confiança nos processos de trabalho, nas tabelas de referencia e no software é possível ter um demo online para que qualquer um possa verificar por si próprio.

Porque é muito diferente dizer que se faz, do que poder provar logo à partida que se faz. E isso deve fazer toda a diferença.

O tratamento de dados é, ou em muitos casos deveria ser, mais que simplesmente fazer a normalização dos dados. É poder comparar com um street file se a rua existe realmente, em muitos casos se o numero de porta existe realmente e finalmente atribuir o código postal conforme estes elementos. Sem isto o que se faz é simplesmente colocar os registos bonitos sem qualquer certeza que a rua realmente existe.

Por fim temos ainda o numero de registos em que estas alterações/correcções são feitas. Por norma em muitos casos temos valores que rondam os 50 a 60%, mas existem softwares que permitem ir bem mais longe e atingir no mínimo os 80%.

A Inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve as habilidades das empresas para aceder a dados e explorar informações (normalmente contidas numa base de dados, analisando e desenvolvendo percepções e entendimentos e que permite incrementar e tornar mais baseada em informações a tomada de decisão.

Este conceito assim explicado é muito vago, como tal, foi pedido a vários especialistas da área a sua própria definição.

Mery Adrian, analista e consultor em TI, que já passou por empresas como Forrester Research, Giga, Sybase e Information Builders
Business Intelligence é a aplicação de técnicas analíticas para informações sobre condições de negócio no sentido de melhorá-las - de uma maneira automatizada, mas com a interpretação e respostas humanas. A imprecisão de muitos dos termos, no entanto, permite que os fornecedores e analistas redefinam a categoria, o que fazem com frequência.

Steve Anthony, CIO da consultoria de negócios Charles River Associates
Um sistema de negócios que inclua uma estrutura de busca efectiva e acessível, cuidada, em tempo real, com métricas de negócio e relatórios que permitam aos líderes das áreas de negócio manterem-se informados para tomar decisões. Isso é fácil de dizer, mas difícil de fazer corretamente e envolve mudanças na forma como a organização conduz uma busca efectiva, bem como a necessidade por uma boa base de dados para tomar acções, com o objectivo de optimizar a performance corporativa.

Tom Davenport, professor de gestão e TI e co-autor do livro Analytics at Work: Smarter Decisions, Better Results
Eu vejo o BI como todas as coisas que as empresas fazem para melhorar a gestão e a organização dos dados. Para mim, inclui relatórios e análises, embora exista muito mais a olhar. De qualquer forma, eu penso que o termo BI está sendo rapidamente suplantado por "business analytics".

William Swislow, CIO and vice-presidente sênior de produtos do site de venda de veículos Cars.com
Business intelligence é a informação acessível que resulta das principais actividades da companhia e pode ser usada para agregar, relatar e analisar os principais caminhos para o negócio.

Ray Wang, consultor na área de estratégia corporativa do Altimeter Group e autor de um blog sobre a próxima geração de BI
A habilidade para que a pessoa certa receba a informação adequada e no momento correto para tomar a melhor decisão.
Ou seja, na realidade BI é tudo e nada ao mesmo tempo. Na realidade não é mais que a especialidade de medicina geral em que sabe um pouco de tudo, mas realidade não sabe muito de nada.

Seja como for, qualquer que seja a definição que se adopte para BI, no fundo tudo tem como base a qualidade dos dados. Se não existir qualidade nos dados tudo o resto é uma simples perda de tempo e de dinheiro.

Mas estes são apenas algumas das vantagens, ainda podemos continuar a enumerar mais algumas:

5. Melhoramento da imagem corporativa, melhorando a reacção às necessidades dos clientes. Criando uma Base de Dados de Clientes de alta qualidade, permitindo o melhoramento das comunicações adaptando-as às preferências pessoais de cada cliente, estabelecendo assim relações de confiança e de longa duração.

6 Melhoramento dos serviços oferecidos, porque passamos a saber melhor quais as necessidades dos clientes, reduzindo os tempos de entrega e evitando entregas múltiplas.

7. Entendendo melhor os dados, conhecendo os conteúdos e a estrutura onde assentam os dados, incremento da rapidez de resposta às iniciativas de qualidade de dados, migração de dados mais rápida, barata e confiável. Melhoramento do uso dos recursos tanto em humanos como de TI.

8. Medição e controlo nas iniciativas de qualidade de dados, garantindo a consistencia dos dados ao longo de todo o ciclo de vida do projecto. Eliminação dos risco de propagação de dados incorrectos, automatizando uma monitorização de regras previamente definidas e garantindo a entrega atempada de informação confiável.

Quais as principais fontes de erro que podemos ter nas nossas bases dados? O gráfico abaixo, onde se mostra os principais motivos de erro segundo um estudo efectuado em 2006. O tempo passou, mas certamente que tudo o resto se manteve actual.

O que pode um processo de qualidade de dados fazer por nós? Para que serve um processo de qualidade de dados? Aqui ficam alguns dos pontos principais que devem ser destacados.

1. Redução de custos (directa e indirectamente).
Teremos redução de custos com a redução dos tempos de data entry que para além do mais passam a ser mais precisos. As migrações de dados podem ser efectuadas com maior rapidez e de forma mais segura. Redução de devolvidos com todos os custos que isso acarreta. Redução de recursos internos e que estão sempre a fazer o mesmo trabalho, sendo que nunca está concluído. Redução de tempos para data retrieval.

2. Redução de tempos
Redução de tempo de retorno dos projectos. Procura de dados mais rápida (1:N). Pesquisa de dados mais rápida M:N), detecção de dados mais rápida (Server X). Integração e migração de dados externos mais rápida.

3. Aumento da eficiência das actividades corporativas e de marketing.
Construindo segmentos de clientes. Actividades executadas à medida para públicos específicos. Tomadas de decisão com bases sólidas devido à optimização da informação. Visão única dos clientes nos sistemas de CRM.

4. Optimização da fidelização de clientes.
Verificação dos dados durante o data entry. Aumento do rácio de resposta. Identificação dos cliente para com a empresa. Aumento da frequência de vendas.

Encontrei um artigo que não posso deixar de partilhar. Deixo aqui uma tradução do mesmo, mas fica o link para o original em Inglês.

Alguma vez já experimentou a sensação de naufrágio, onde tem a sensação que se não encontrar a qualidade dos dados, então a qualidade dos dados irá encontrá-lo?
Na primavera de 2003, a Pixar Animation Studios produziu um dos meus filmes favoritos da Walt Disney Pictures, Finding Nemo.
Este blog é uma homenagem não só o filme, mas também ao papel de extrema importância para a qualidade dos dados é convertida em todas as suas iniciativas empresariais de informação, incluindo business intelligence, business intelligence, master data management e data governance.
Espero que você goste de ler este post, mas o mais importante, espero que você sempre lembre-se: "Os dados são amigos, não comida."

DATA SILOS

Meu! Meu! Meu! Meu! Meu!
Este é o Mantra Data Silo e é também a maldição da empresa de informação de gestão bem-sucedida. Muitas organizações persistem sobre a sua dependência em dados de silos verticais, onde cada unidade de negócio funciona como o guardião de seus próprios dados particulares, mantendo assim a sua própria versão da verdade.
O impressionante crescimento do negócio pode causar que uma organização se torne vítima de seu próprio sucesso. dano colateral pode ser causado por este sucesso, e principalmente à arquitectura de informação da organização em expansão.
Inicialmente na história da organização, que normalmente tem menos sistemas e volumes facilmente gerenciáveis de dados, tornando a gestão da qualidade dos dados e efetivamente entregar as informações críticas necessárias para tomar decisões de negócios todos os dias, uma tarefa relativamente fácil, onde a tecnologia pode servir necessidades de negócio bem especial quando o negócio e suas necessidades são pequenas.
No entanto, como a organização cresce, comércios eficácia para a eficiência, priorizando a táticas de curto prazo sobre a estratégia a longo prazo, e vendo o poder da acumulação de dados, e não na partilha de informações, a organização escolhe a autonomia da unidade de negócios sobre a empresa- ampla colaboração e sem essa colaboração, gerenciamento de informações empresariais de sucesso é impossível.
Um silo de dados muitas vezes representa apenas um microcosmo de um problema de toda a empresa e essa verdade não é nem conveniente nem agradável.

DATA PROFILING

"Eu vejo uma luz, estou sentindo bem sobre meus dados. . . Bons sentimentos-AHH!
Embora não seja exatamente uma charada embrulhada num mistério dentro de um enigma, sua compreensão de dados é essencial para utilizá-lo de forma eficaz e melhorar a sua qualidade para atingir essas metas, não há simplesmente nenhum substituto para a análise dos dados.
Data profiling pode fornecer uma verificação da realidade para as percepções e suposições que você pode ter sobre a qualidade de seus dados. A ferramenta de análise de dados pode ajudar você a automatizar parte do trabalho duro necessário para começar a sua análise.
No entanto, é importante lembrar que a própria análise não pode ser automatizada, você precisa traduzir a sua análise nos relatórios significativos e perguntas que vão facilitar a comunicação mais eficaz e ajudar a estabelecer contexto de negócios tangíveis.
Finalmente, eu acredito que o objetivo dos dados de perfis é não encontrar respostas, mas sim, para descobrir as perguntas certas.
Descobrir as perguntas certas exige falar com os melhores dados de amigos, seus administradores, analistas e especialistas no assunto. Essas discussões são um pré-requisito fundamental para determinar o uso de dados, normas, e os negócios relevantes métricas para medir e melhorar a qualidade dos dados. Lembre-se sempre que o bem dados de perfis é realizada altamente interativo e um processo muito interactivo.

PREVENÇÃO DE DEFEITOS

"Você, Data-Dude, ficando com os defeitos. Você tem sérios problemas de qualidade de dados.".
Mesmo que seja impossível impedir verdadeiramente todos os problemas antes que aconteçam, a prevenção de defeitos proativa é um dado altamente recomendado à prática de melhor qualidade, porque executada no local do controle dos dados, melhor a qualidade global será de informações da empresa.
Embora a prevenção de defeito é mais comumente associado com o negócio e melhorias de processo técnico, após identificar a causa raiz queima de dados de seus defeitos, você pode preventivamente detectar a necessidade de aplicar alguns dos princípios da qualidade dos dados comportamentais.
Em outras palavras, compreender a complexa dinâmica subjacente aos defeitos humanos, muitas vezes os dados são necessários para o desenvolvimento de táticas muito mais eficazes e estratégias para a implementação de dados bem sucedida e sustentável da melhoria da qualidade.

DATA CLEANSING

"Basta manter a purificação. Apenas continue a purificação. Basta manter a limpeza, purificação, limpeza.
O que fazemos? Nós limpar, limpar.
"Essa não é a banda sonora de Data Cleansing, mas às vezes pode parecer. Especialmente quando má qualidade dos dados afeta negativamente a informação de decisão crítica, a organização pode legitimamente priorizar uma resposta reativa de curto prazo, onde a recuperação só será corrigir os problemas imediatos.
Equilibrar as exigências desta triagem de dados com as melhores práticas de prevenção de defeitos de execução, sempre que possível, muitas vezes criam uma situação muito difícil para você lidar praticamente numa base diária.
Portanto, apesar de remediação de dados global exigirá a combinação de abordagens reativas e pró-ativa para a qualidade dos dados, você precisa estar disposto e capaz de colocar os dados de ferramentas de limpeza para bom uso, sempre que necessário.

COMUNICAÇÃO

"É como se ele estivesse tentando falar comigo, eu sei. Olha, você está realmente bonito, mas eu não consigo entender o que você está dizendo.
Dizer aquilo da qualidade de dados de novo. "Eu ouço esse tipo de coisa o tempo todo (bem, não o " você está realmente bonito" da peça).
Comunicação eficaz melhora a compreensão da qualidade dos dados, estabelece um contexto de negócios concretos, e ajuda a priorizar as questões de dados críticos.
Tenha em mente que a comunicação é principalmente sobre escuta. Além disso, estar preparado para enfrentar a "negação de dados" quando são discutidos problemas de qualidade. Na maioria das vezes, este é um mecanismo de auto-defesa natural para as pessoas responsáveis por processos de negócios, tecnologia e dados e por causa do facto simples de que ninguém gosta de se sentir culpado por causar ou não corrigir os problemas de qualidade de dados.
A chave para uma comunicação eficaz é a clareza. Você deve sempre se certificar de que todos os conceitos da qualidade dos dados sejam claramente definidos e em uma linguagem que todos possam entender. Eu não estou falando apenas traduzir a tecno-mumbojumbo, porque até mesmo falar de negócios pode soar mais como balbucio de negócios - e não apenas para o pessoal técnico.
Além disso, não tenha medo de fazer perguntas ou admitir quando você não sabe as respostas. Muitos erros caros podem ser feitos quando as pessoas assumem que os outros sabem (ou fingem saber) o que os conceitos-chave e outra terminologia realmente significam.
Nunca subestime o potencial de impactos negativos que o ponto de vista paradoxo pode ter sobre a comunicação. Por exemplo, as perspectivas de negócios e técnicos interessados podem muitas vezes parecerem ser diametralmente opostas.
Praticar uma comunicação eficaz requer fechar nossa boca, abrir os nossos ouvidos, e escutar com empatia uns aos outros, em vez de continuar a prática da comunicação ineficaz, onde apenas se revezam atirando dardos-palavra um ao outro.

COLABORAÇÃO

"Ah e mais uma coisa: Ao enfrentar o difícil desafio de colaboração, Trabalhe junto com ele, não o evite. Vamos lá, confiar uns nos outros. Sim, confiança é o que as equipes de sucesso fazem."
A maioria das organizações sofrem com a falta de colaboração, e como observado anteriormente, sem a colaboração de toda a empresa, verdadeiro sucesso é impossível.
Além do problema silo de dados, o desafio mais comum de colaboração é a divisão que existe entre o Negócio e TI, onde a empresa normalmente possui os dados e entende o seu significado e uso na operação do dia-a-dia da empresa, e geralmente possui a infra-estrutura de hardware e software da arquitetura técnica da empresa.
No entanto, nem o negócio nem a TI tem todo o conhecimento necessário e os recursos necessários para realmente ser bem sucedido. A qualidade dos dados exige que o negócio e TI estabeleçam uma colaboração contínua e iterativa.
Você deve reunir a equipe que irá trabalhar em conjunto para melhorar a qualidade de seus dados. Uma equipe multi-disciplinar será realmente necessário porque a qualidade dos dados não é nem uma questão de negócios, nem uma questão técnica, é ambas, tornando-se verdadeiramente uma questão empresarial.
Patrocinadores executivos, empresas e agentes técnicos, analistas de negócios, administradores de dados, especialistas em tecnologia, e sim, até mesmo consultores, somente quando todos vocês estão realmente trabalhando juntos como uma equipe de colaboradores, a empresa pode realmente conseguir grandes coisas, tanto taticamente e estrategicamente.
Esta necessidade crítica de colaboração pode parecer bastante óbvia. Entretanto, como todos os grandes filósofos ensinaram, por vezes, a coisa mais difícil de aprender é o menos complicado.

ENCONTRAR A QUALIDADE DOS DADOS

À medida que mais e mais organizações percebem a importância crítica de visualização de dados como um ativo estratégico das empresas, a qualidade dos dados está se tornando um tema cada vez mais predominante de discussão.
No entanto, e de certa forma compreensivelmente, a qualidade dos dados às vezes é visto como um pequeno peixe, embora com uma barbatana "sorte" numa lagoa muito maior.
Em outras palavras, a qualidade dos dados é frequentemente discutida apenas na sua relação com as iniciativas de informação da empresa, tais como integração de dados, gerenciamento de dados, data warehousing, business intelligence e de data governance.
Não há nada errado com essa perspectiva, e como um especialista em qualidade de dados, eu admito que a minha tendência geral para ver a qualidade dos dados em tudo. No entanto, independentemente da perspectiva de que você começar sua viagem, eu acredito que, eventualmente, você vai ser encontrar qualidade de dados onde quer que você olhe bem.

Antes de iniciar a falar acerca das campanhas MGM, vou fazer o enquadramento das mesmas aqui no blog de qualidade de dados. Se inicialmente se possa pensar que nada tem a ver, na realidade tem tudo a ver, uma vez que nestes programas, onde são os próprios utilizadores a disponibilizar os dados, vão existir sempre muitos problemas com a qualidade desses mesmos dados.

Especialmente se estivermos a falar de um programa que seja todo assente na internet. Neste caso os dados são totalmente colocados directamente pelos utilizadores e como tal cada um é escrito de forma totalmente diferente do outro. Já para não falar nos dados inválidos que muitas vezes são colocados. Como tal e como em todas as formas de angariação de dados via Web é fundamental o posterior tratamento dos dados, para que se possa ter pelo menos uma noção do que foi inserido por esta via.

Se outros meios de inserção de dados são sempre pouco fiáveis, mesmo com utilizadores conhecedores de regras de introdução de dados, nestes casos em que simplesmente as regras não se existem.

Depois de ter no post anterior feito um resumo não apenas dos ambientes, mas também das plataformas em que as ferramentas de qualidade de dados podem assentar, vou agora aprofundar um pouco mais as vantagens destes sistemas.

Como se pode ver na imagem, as ferramentas estão disponíveis em praticamente todos as plataformas e ambientes disponíveis no mercado.

Estas aplicações em nada vão interferir com o já existente e desenvolvido na actual estrutura de qualquer empresa, mas apenas vem acrescentar processos que para alem de facilitarem o dia a dia do utilizador, ainda e principalmente permitem que se possa garantir uma constante manutenção da qualidade dos dados.

Como já tinha referido em anteriores posts, estas ferramentas, permitem que mesmo depois de um processo de ETL, a qualidade seja mantida em níveis muito acima do que é normal. Depois de terminado um processo de ETL o normal é que no dia seguinte a serem integrados os dados já tratados, se inicie um processo de contaminação que apenas vai ser "corrigido" num posterior processo de ETL.

Com estas ferramentas isso é evitado uma vez que cada um dos dados que é inserido ou alterado, passa pelos "filtros" que permitem que a qualidade se mantenha, ou até em muitos casos se possa incrementar.

Se no processo de ETL houve dúvidas em alguns registos que não foram alterados por não se ter a certeza da correcção, com estes sistemas de "firewall" permite que quando se fizer uma alteração a um desses registos se possa finalmente corrigir esse registo.

Vamos a um caso prático, se por exemplo numa BD temos dois registos em que as diferenças são mínimas, ou seja há uma dúvida se são ou não duplicados, num posterior processo em que alguém dentro da organização tenha essa pessoa ao telefone, é possível dissipar essa dúvida.

Estes são alguns dos motivos pelos quais estas ferramentas que actuam nos momentos mais fulcrais dentro de qualquer organização são tão importantes e cada vez mais essenciais, uma vez que todos os departamentos dentro das empresas hoje em dia, de uma forma ou de outra dependem dos dados. Se não houver qualidade nos dados, certamente que sempre haverá problemas que possam ocorrer em qualquer um dos processos diários.

Os produtos estão disponíveis nas seguintes plataformas:

Windows

• Como um cliente sob as versões 2000, XP e Vista.
• Interfaces e exemplos para todas as linguagens de desenvolvimento e tecnologias de ligação geralmente utilizados no ambiente Windows estão disponíveis para integração em aplicações in-house. Exemplos: C, C + +, Cobol, Visual Basic, Perl, Java, COM, PHP, CORBA, ABAP (SAP), PL / SQL (Oracle ®).
• Tal como um servidor sob as versões 2000, 2003 e 2008, em colaboração com todas as bases de dados geralmente utilizados no ambiente Windows, por exemplo, Oracle ®, DB / 2 ou SQL Server.

UNIX

• Com os derivados do sistema operacional HP-UX, AIX, Sun Solaris, Linux.
• Como servidor e como cliente para todos os derivados do UNIX acima indicado, em colaboração com todos as bases de dados geralmente utilizados no ambiente UNIX, por exemplo, Oracle ®, DB / 2 ou SQL Server.
• Interfaces e exemplos para todas as linguagens de desenvolvimento e tecnologias de ligação geralmente utilizados no ambiente UNIX estão disponíveis para integração em aplicações in-house. Exemplos: C, C + +, Cobol, Perl, Java, COM, PHP, CORBA, ABAP (SAP), PL / SQL (Oracle).

iSeries (AS/400)

• Com o sistema operacional i5/OS.
• Como servidor e como cliente, em colaboração com a base de dados i5/OS.
• Tanto os interfaces clássicos com exemplos para a linguagem de programação RPG, bem como para chamar de programas Cobol, C ou Java estão disponíveis para integração em aplicações in-house.

Mainframe

• Com o sistema operacional IBM z / OS (ex-MVS), VSE e Siemens BS2000.
• Como um servidor de aplicações mainframe, tanto em batch e em aplicações interactivas no âmbito da operação monitorização CICS, IMS e UTM, em colaboração com todas as bases de dados de mainframe usadas geralmente, como o DB / 2, / IMS DB, ADABAS ou UDS.
• Interfaces e exemplos para todos os "clássicos" de desenvolvimento, tais como línguas mainframe Cobol, Assembler e PL / 1, bem como chamar de programas C ou Java está disponíveis para integração em aplicações in-house.

Por algumas reacções que obtive relativamente ao post Ferramentas de qualidade de dados em Portugal, acho que devo evidenciar as diferenças entre uma normalização, que certamente é parte integrante dos processos de qualidade de dados, mas apenas uma pequena parte e um processo completo de qualidade de dados. Diria mesmo que é a parte mais simples, caso as fases que considero primordiais tenham obtido sucesso.

Para melhor poder mostrar a diferença entre uma normalização e um processo completo de qualidade de dados, vamos dar alguns exemplos. Imaginemos que temos a seguinte BD para tratamento.
Ant Sousa Mendes; R. frenando Diaz, 4 3º Direito; 1000 Lisboa
Man Jose Tavares; Aven. Fern Diaz, 5 6 Es; 1100-000 Lisvoa
Mª Jaão Tavares; Av Fernado Dias, 5 6ª ESQUERDO; 1100-199 LISBOA

Se em cima destes dados for feito um trabalho de normalização e dependendo das regras que forem definidas, o resultado final será qualquer coisa como:
António Sousa Mendes; Rua Frenando Diaz, 4 3º Dto; 1000 Lisboa
Manuel José Tavares; Avenida Fernando Diaz, 5 6º Esq; 1100-000 Lisvoa
Maria João Tavares; Avenida Fernado Dias, 5 6º Esq; 1100-199 Lisboa

Mas como se podem ver existem erros que persistem, com um processo de qualidade de dados mais completo facilmente conseguiríamos os seguintes resultados:
António Sousa Mendes; Avenida Fernando Dias, 4 3º Dto; Lisboa; 1100-199 LISBOA
Manuel José Tavares; Avenida Fernando Dias, 5 6º Esq; Lisboa; 1100-199 LISBOA
Maria João Tavares; Avenida Fernando Dias, 5 6º Esq; Lisboa; 1100-199 LISBOA

Não apenas temos as ruas TOTALMENTE normalizadas e confirmadas, como temos sempre o código postal completo com as 7 posições correctas.

Esta pode ser a diferença entre conseguirmos encontrar ou não alguns dos registos duplicados. E quando falamos em duplicados tanto podem ser duplicados por household, como seria aqui o caso ou mesmo indivíduos duplicados.

Espero que tenha sido um pouco mais esclarecedor, que um processo de normalização, com maior ou menor dificuldade, se consegue fazer sem grandes problemas. Mas por outro lado um processo completo de qualidade de dados já não é assim tão simples de ter bons resultados. Para se conseguirem valores elevados de qualidade de dados, necessitamos não apenas de uma ferramenta poderosa, mas também de um ficheiro de arruamentos que o consiga acompanhar. Como sabemos em Portugal, mesmo em termos cartográficos, não temos o levantamento total do país. E estamos a falar de uma área muito activa, mas neste momento temos um street file que nos permite ter qualidade de dados de 93%, o que é excelente não apenas em Portugal, como em qualquer parte do mundo.

O que é necessário para uma integração de dados?

O primeiro passo para que se possa fazer a integração de dados provenientes de diferentes bases de dados, é a normalização dos mesmos para que se possa fazer o segundo passo com maior segurança. Esse segundo passo será a deduplicação, mas antes de passarmos a essa fase, vamos focar um pouco mais na normalização.

Para que serve essa normalização? Essa normalização serve acima de tudo para dar consistência aos dados. Os dados provenientes de fontes diferentes, muitas vezes mesmo de origens totalmente distintas, têm especificidades próprias. Com esta normalização o que se pretende é criar uma uniformização, sempre importante, mas também para que se consiga ter melhores resultados na deduplicação. Existem softwares que permitem ir um pouco mais alem nesta normalização e permitem ainda fazer a validação e correcção dos dados. Com isto temos a certeza que o nomes estão correctos, quer sejam os nomes das pessoas, como os nomes das ruas. É importante que os dados fiquem normalizados, mas também é importante que não se percam dados/informações neste processo.

De seguida e tal como foi referenciado, passamos à fase da deduplicação. Nesta fase, sempre complicada, pode ter sido um pouco facilitada pelo trabalho feito na fase anterior. Se um registo por exemplo tiver um nome como Nantónio Santos, R Prof Dr Zé Ninguem, 14 3 Esquerdo e num outro registos duplicado tivermos António Santos, Rua Professor Doutor José Ninguem, 14 3 Esq as diferenças são muitas e como tal o resultado percentual em termos de deduplicação pode ser inferior ao valor mínimo que foi definido como mínimo para serem considerados como duplicados. Isto seria evitado com um trabalho anterior de normalização/verificação/correcção.

Depois de encontrados os grupos de duplicados, temos ainda a terceira fase de complementarização. Logicamente que entre cada um destes processos tem de haver um trabalho de verificação de resultados. Neste processo pode obrigar-nos a voltar a um nível anterior devido aos erros/problemas que se possam encontrar.

No processo de complementarização o que é feito é agrupar os dados/informações que possam estar espalhados pelos diferentes duplicados, "criando" assim um registo com toda a informação. Imaginemos que temos um registo em que existem os dados do nome, morada e telefone em outro registo para alem destes dados existem ainda os dados do telemóvel e do email. O que se pretende é que no fim se tenha um registo apenas com todas as informações espalhadas pelos diferentes duplicados que possam existir.

No fim deste processo temos uma BD com qualidade, em que temos uma certeza maior não apenas por exemplo do numero dos clientes, coisa que provavelmente muitas empresas em Portugal não conseguem ter a certeza, mas por outro lado uma base de dados que permite dar uma maior confiança em termos da qualidade dos dados. Consegue-se assim também ter uma melhor visão de cada um dos clientes, uma vez que os seus dados estão agregados e desta forma aquilo que se pensava serem dois clientes médios, é afinal um dos melhores clientes da empresa, tudo isto porque se estavam a dar entrada das encomendas em dois registos diferentes.

Existem algumas ferramentas de qualidade de dados que dizem funcionar em Portugal. Algumas dizem ser muito avançadas por terem um dicionário de sinónimos com muitos milhões de entradas. Outras dizem que têm ferramentas internacionais que funcionam para Portugal, apenas necessitam de pequenos ajustamentos consoante a BD a tratar. Mas na realidade quais a diferenças entre as ferramentas existentes no mercado Português?

Vamos por partes, as que referi em primeiro lugar, são ferramentas que facilmente se percebe as suas limitações. Todos sabemos que a quantidade de erros que é possível dar é totalmente ilimitada. Ou seja por cada BD que seja tratada, certamente que novas "versões" das diferentes ruas vão ser criadas. Isto apenas para referir as já existentes. Porque se houver um trabalho de actualização com novas ruas e alterações de ruas, todo um histórico de "versões" de erros tem de ser criado. Nunca se conseguem grandes resultados com estas ferramentas, porque simplesmente as actualizações são diárias e virtualmente infinitas.

Depois existem ainda outras de origem normalmente Americana ou Anglo-Saxónica e às quais foi "anexado" um street file (ficheiro com os arruamentos) e que supostamente, trabalham sem problemas. Aqui temos um outro problema, que são as especificidades de um país como Portugal. Nestes mercados não existem a Rua, Travessa, Largo e Beco da Liberdade, tudo na mesma cidade. Logo aqui em muitos casos existem problemas na identificação/normalização das ruas.

Conheço este problema muito bem porque há pouco mais de 10 anos, andei a fazer um estudo para a "importação" de ferramentas disponíveis no mercado internacional e foram estes alguns dos problemas com que me deparei e hoje mais de 10 anos depois, continuam actuais como nesse tempo.

Então no final qual a solução?

A solução é um misto das duas, ou seja uma ferramenta que consiga "gerar" automaticamente esse histórico de erros, contando com mais de uma dezena de algoritmos internos, entre os quais o fuzzy logic, Patricia structure, Levenshtein distance e muitos outros, mas que por outro lado esteja adaptado ao mercado Português. Essa adaptação demorou quase dois anos, mas os resultados finais que conseguimos obter falam por si.

A confiança neste software é tão grande que o disponibilizamos na internet para que se possa testar. Mais nenhum outro está disponível desta forma e isso diz um pouco da confiança que se tem nos produtos. Para comprovar o que digo basta fazer um teste aqui, onde podem testar com uma morada com erros e por exemplo apenas com o código postal de 4 dígitos.

É possível ter a(s) nossa(s) bases de dados com qualidade de dados, mantendo acesso às mesmas e com elevada qualidade de dados, poupando dinheiro?

A primeira pergunta a ser feita caso existam várias Bases de dados, é se é necessário coexistirem essas diferentes Bases de dados e se não será vantajoso fazer uma integração. É sempre mais fácil de manter uma base de dados que muitas, sendo que em alguns casos os dados são coincidentes. Se tivermos duas bases de dados com dados dos nossos clientes e sejamos informados da alteração de morada, o mais certo é que essa alteração apenas seja feita em uma das bd's. Caso os dados estejam integrados, normalizados e deduplicados isso já não acontece. É tempo que não se perde e é a qualidade das BD's que aumenta por estarem sempre com os registos actualizados.

Depois desta integração ser ou não executada, uma vez que pode ser executada em service bureau e reintegrada nos moldes actuais, existem outras questões que convém estarem bem presentes, especialmente nos tempos de contenção de despesas que estamos a viver. É necessário manter uma estrutura interna para manter as bases de dados? Em muitos casos estamos a falar não apenas de servidores, como de recursos humanos que estão muitas vezes parcialmente alocados a este área, mas por norma não têm tempo, nem conhecimentos, nem as ferramentas para manterem uma BD com qualidade. Como tal a melhor opção é entregar a BD a uma empresa especializada.

Actualmente e com a velocidade que se consegue ter nas ligações de Internet, é possível ter acesso à BD quase como se estivesse dentro da própria rede da empresa. Com isto e através de web services consegue-se desenvolver programas que permitam ter acesso remoto, não apenas pelos meios tradicionais, mas permite ainda colocar os novos meios a comunicar com a BD. Nestes novos meios estou a falar por exemplo dos smartphones.

Tudo isto incluído pode ser desenvolvido à medida das especificidades de cada uma das empresas, com um custo que é certamente muito inferior ao custo que se tem em manter as BD's dentro da organização. Em muitos casos sem qualquer custo inicial de desenvolvimento/adaptação de plataformas. Usando assim as novas possibilidades de Saas.

Hoje em dia já existem várias hipóteses para que se possa assegurar a manutenção da qualidade dos dados em níveis elevados. Não apenas com a compra das mais avançadas ferramentas de qualidade de dados, mas igualmente adoptando as mais modernas e económicas versões de Saas. Dependendo do numero de registos a serem tratados, existem inúmeras hipóteses: desde a compra da normalização de um valor predeterminado de registos, quer sejam 10.000 anuais quer sejam muitos milhões. Tudo isto num "tratamento" que é feito no momento mais importante de qualquer operação que envolve dados. O momento da inserção/alteração/modificação.

Imaginemos que na inserção de um registo é colocado apenas "Liberdade, 14 3 Esq" e que nessa cidade existem a Rua a Travessa e o Largo da Liberdade. Este registo muito dificilmente ficará correcto na Base de dados. Sendo que o mais certo é que venha a trazer custos para a empresa com a devolução de toda a correspondência que for enviada. Por outro lado e mesmo que seja feito um trabalho de ETL em cima desta BD, não há software nenhum que possa normalizar esta rua e caso algum o faça tem apenas 33% de hipóteses de acertar na "correcção". Mas por norma é assinalado e não é corrigido.

Tudo isto poderia ser evitado, caso no momento de inserção dos dados o utilizador recebesse uma mensagem que dissesse: "Existem 3 hipóteses de normalização: Rua da Liberdade, Travessa da Liberdade e Largo da Liberdade". Com estas hipóteses e com a possibilidade de perguntar directamente ao cliente, caso estejamos a falar de um Call Center, ou de um atendimento directo ao publico, o problema seria de imediato resolvido.

Neste caso estamos mais uma vez a falar de moradas, mas o mesmo se aplica relativamente aos duplicados e a muitos outros campos em que temos erros mais ou menos frequentes, mas que estão certamente identificados. Sempre que um determinado erro frequente ocorra há a hipótese de criar um alerta para que imediatamente se possa resolver o problema.

Estamos numa fase de grandes transformações nesta complexa área de actividade e existem novos caminhos que estão a ser trilhados. O grande destaque é sem duvida a diversificação dos pontos de contacto suportados em múltiplos canais.

Se até aqui existia uma grande diversidade de pontos de contacto com as Bases de dados, agora estamos numa fase em que se multiplicam as interacções das Bases de dados de Marketing em canais tão diferentes como os call centers, Sites, plataformas sociais e muitos outros, muitos deles em tempo real. E é essa a grande alteração que existe nos dias que correm, e que dificulta ainda mais manter uma base de dados com qualidade.

Se até aqui se conseguia controlar os pontos de interacção com a Base de dados, nos dias que correm muitas dessas interacções são executadas pelo utilizador final, directamente na Base de dados sem qualquer verificação.

Por isso em muitas bases de dados os updates mensais são coisa do passado e os updates já são diários. Este aumento na frequência tem efeitos em inúmeras áreas dentro da empresa. As respostas têm de ser muito mais rápidas e precisas.

E o grande desafio é manter uma base de dados com elevados níveis de integração/higienização. Conflitos nos dados podem trazer não apenas perdas de eficiência dos dados, que é um custo para a empresa, mas igualmente pode ter efeitos na confiança dos utilizadores da base de dados, assim como dos clientes.

O grande desafio neste momento é conseguir ter uma elevada qualidade dos dados na captura ou alteração dos dados.

Isso apenas é possível com ferramentas que consigam fazer a normalização/correcção de forma automática e logo no momento mais critico, que é na introdução/alteração dos dados.

• DQ-Connector update.seven Real-Time proporciona uma maior qualidade dos dados do cliente no ambiente de actualização CRM
• Integração de componentes de alta qualidade para a validação dos serviços postais e deduplicação e pesquisa através de "plug and play"

O componente fundamental de qualquer sistema de CRM (Customer Relationship Management) é o armazenamento dos dados do cliente. A sua qualidade é o requisito fundamental para o sucesso das medidas e projectos com base na solução de CRM. Neste contexto, a Uniserv GmbH de Data Quality Solutions oferece a integração das funções de qualidade para a validação de dados e deduplicação de registos, para todas as principais soluções de CRM.

Os componentes post e mailRetrieval para a otimização dos dados do cliente agora também podem ser facilmente e confortavelmente integrados e ativados na suíte CRM da atualização de Software AG, por meio do update.seven-Time-Connector Real DQ via "plug and play". Como resultado, mudanças de endereço ou novas entradas de endereços de correio podem ser automaticamente verificadas no ambiente web do CRM update.seven por meio da validação da função Post de validação postal com uma cobertura quase global. Além disso, com a função de busca tolerante ao erro mailRetrieval, é mais fácil encontrar empresas e dados pessoais, bem como eventuais duplicados, possibilitando mesmo a identificação mais precisa de duplicados, considerando as necessidades individuais de processos de negócios existentes, nomeadamente através da possibilidade de integração em áreas críticas do negócio e um complexo sistema de regras de exclusão.

"Dados de cliente incorrectos geram custos adicionais e podem ser responsáveis por uma perda perceptível de imagem. Duplicados em registos de dados diferentes implicam um elevado esforço administrativo e são grandes consumidores de tempo - é por isso que uma completa, única visão 360° do cliente de todas as áreas da empresa não é possível no ambiente sensível de CRM. DQ-Connector, que também já está disponível para os utilizadores da web update.seven, foi desenvolvido pela Uniserv para aumentar a qualidade dos dados: É fácil e rapidamente activado, ajuda as empresas a cortar custos, proporciona-lhes uma visão única dos seus clientes e permite uma implementação bem sucedida das suas medidas de CRM ", diz o CEO da Uniserv, Roland Pfeiffer.