Qualidade de Dados / Data Quality

Deve ser alcançado um acordo sobre quais critérios de qualidade de dados devem ser comparados, a fim de realizar uma avaliação adequada da qualidade dos dados da empresa. Muitos dos requisitos podem ser verificados por meio de ferramentas de análise adequadas. Os consumidores de dados devem ser questionados sobre as suas necessidades. Finalmente, o processo de criação do produto da "informação" também deve ser cuidadosamente considerado. Deve haver clareza sobre quem exige dados e para que finalidade.

Uniserv GmbH oferece uma abrangente Auditoria de Qualidade de Dados, a fim de ser capaz de responder a estas perguntas e objectivamente avaliar o status quo da qualidade dos dados. O Data Quality Audit tem uma estrutura modular, os módulos são baseados uns nos outros.

Cada módulo possui sua principal área de foco num dos pontos mencionados:
- Requisitos para os dados e sua conformidade para que possa ser verificada por meio de software de análise. As dimensões da qualidade de dados, tais como integridade ou a ausencia de erros são uma grande preocupação aqui.
- Requisitos para os dados e seu cumprimento, sobre os quais os consumidores de dados podem fornecer informações. Dimensões da qualidade de dados, tais como compreensão e clareza são aqui verificadas. Os consumidores de dados também podem apresentar as suas avaliações da credibilidade e da reputação dos dados. Os consumidores de dados podem fornecer informações valiosas sobre a edição ou da acessibilidade dos dados.
- Análise dos dados / processos de criação de informação, de modo a ser capaz de identificar eventuais pontos fracos. Uma melhor compreensão da história da criação é importante, desde a criação o processamento dos dados passa frequentemente por muitas etapas individuais, tais como aplicações de software e processos individuais, que por sua vez, preocupam diferentes áreas de negócio.

O conhecimento dos processos desempenha um papel importante, se medidas de longo prazo para a optimização da qualidade dos dados forem especificadas.

O UNISERV AUDITORIA qualidade dos dados é, assim, dividido em três módulos:

MÓDULO 1: CONTROLO DA QUALIDADE DE DADOS
A Verificação de qualidade fornece uma visão inicial da master data de clientes de uma empresa. Nesta fase, uma extracção representativa dos dados é analisada com a ferramenta de Qualidade de Dados DQ Batch Suite. Neste contexto, é atribuída particular importância à integridade e à presença dos elementos nome. A correcção postal dos elementos do endereço é verificada e uma verificação de duplicados é realizada.
Os seguintes requisitos para os dados são considerados na Verificação de qualidade:
- Todos os campos obrigatórios de cada registo de dados estão preenchidos
- Os elementos do endereço correspondem a um endereço válido e, portanto, correcto
- A "Single View of Customer" aplica-se, ou seja, os dados do extracto são livres de duplicados, ou o chamado "registo mestre" de duplicados está assinalado

Os resultados da qualidade dos dados de verificação são posteriormente apresentados e postos à disposição do cliente.

DADOS DE CONTROLO DA QUALIDADE - Características Técnicas
É necessário o seguinte:
- Um arquivo de dados, de preferência no formato delimitador
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição do valor dos ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Todos os endereços têm de ser de um país
- Máximo de 100 mil endereços

MÓDULO 2: ANÁLISE DE QUALIDADE DOS DADOS
Os dados de Verificação da Qualidade no Módulo 1 primariamente validam um extracto a partir da master data de clientes num processo relativamente simples. É atribuída especial importância para os elementos do nome e os elementos do endereço.

O Data Quality Analysis vai um grande passo em frente.

A totalidade dos dados da empresa podem ser aqui considerados. Dados muito específicos, tais como números de telefone, as vendas ao cliente, dados em anexo relativo a outras operações, etc., podem ser conferidos aqui, conforme necessário. Conformidade com o negócio e regras específicas de plausibilidade também podem ser verificadas. Se necessário, a master data do cliente ainda pode ser comparada com listas de sanção neste ponto.

(A verificação dos dados do cliente contra listas de sanções é geralmente recomendado, a fim de evitar o desrespeito das regras pertinentes anti-terrorismo. Detalhes podem ser encontrados em posts anteriores relativos a anti-terrorismo.)

Os requisitos específicos para os dados a serem validados são identificados num workshop de abertura com os chefes dos departamentos especializados em causa.

A comparação das análises técnicas e avaliações do workshop vai indicar em que medida os requisitos definidos pelos departamentos especializados correspondem entre o real e o nível de qualidade "percebida".

Quando as análises e avaliações foram concluídas, os resultados são apresentados num workshop de encerramento. Recomenda-se que os chefes de todos os departamentos especializados em causa sejam convidados, a fim de ter em conta as "Diferentes Vista de Dados".

Se todas as medidas para a optimização da qualidade dos dados venham a ser adoptadas, é indispensável que os consumidores dos dados sejam incluídos no processo de tomada de decisão. Só desta forma será a implementação dessas medidas amplamente aceite.

Escusado será dizer que os resultados da Data Quality Analysis também são fornecidas por escrito.

ANÁLISE DOS DADOS DE QUALIDADE - TÉCNICA E DETALHES ORGANIZACIONAIS
É necessário o seguinte:
- Vários arquivos ou bases de dados
- Descrição dos meta dados:
- Definição e significado dos cabeçalhos
- Definição das chaves
- Definição dos valores de ranges
- Codificação de caracteres: UTF-8 ou ISO-Latin 1
- Informações sobre a empresa e / ou regras de plausibilidade a verificar
- Contactos das pessoas dos vários departamentos

MÓDULO 3: ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE
Após o status quo da qualidade dos dados que foi determinado nos dois módulos anteriores, o Módulo 3 trata da criação dos dados da empresa e sua eficiência real de utilização para os consumidores de dados. As perguntas seguintes são aqui focadas:
- Como são os processos para a criação, alteração e exclusão dos dados descritos?
- São esses processos actualizados e são postos em prática?
- Será que os dados e informações gerados pelos processos permitem aos consumidores trabalhar o mais eficientemente possível?Os processos são analisados no que diz respeito aos requisitos previamente preparados para os dados.

Quaisquer pontos fracos no que respeita à qualidade dos dados são identificados. Os consumidores de dados são igualmente convidados para a avaliação da qualidade dos dados. A ênfase nessas entrevistas é sobre se o conteúdo e a forma dos dados são apresentados de tal forma que o trabalho diário possa ser realizado com um alto grau de eficiência.
Estas exigências aplicam-se tanto para os negócios operativos como às áreas de negócios analíticos.

Dimensões da qualidade dos dados que só podem ser avaliadas com muita dificuldade por meio de software de análise são examinadas nas entrevistas com os consumidores de dados. Estas dizem respeito por exemplo, as dimensões, credibilidade, capacidade de edição de acessibilidade e objectividade. Como cada um dos grupos de consumidores em causa devem ser incluído nas entrevistas, as diversas opiniões e requisitos para os dados pode ser considerado mais uma vez.

ANÁLISE DOS DADOS DO PROCESSO DE QUALIDADE - detalhes técnicos e organizacionais
É necessário o seguinte:
- Os processos e as descrições de fluxo de trabalho
- Pessoas de contacto (pelo menos 3 consumidores de dados) dos serviços em causa

TODOS OS RESULTADOS DE ANÁLISES são colocados num contexto no final da auditoria de qualidade dos dados:
- As avaliações feitas na Data Quality Analysis
- As necessidades dos departamentos especializados para os dados
- Avaliação da qualidade dos dados e necessidades individuais dos consumidores de dados
- O status quo dos processos de geração de informações no que diz respeito aos requisitos definidos para os dados

Os conhecimentos adquiridos, são assim apresentados aos serviços especializados e consumidores de dados em causa, numa reunião. As discussões sobre as possíveis causas da qualidade dos dados inadequadas são incentivadas.

Medidas de optimização e personalização dos processos para melhorar a qualidade dos dados também podem ser discutidos.
Os resultados do módulo 3 e as conclusões das discussões realizadas no workshop ficam disponíveis por escrito.

Há muitas indicações de possíveis problemas de qualidade de dados, especialmente no caso da master data de clientes.

A título de exemplo:
- Existe uma elevada proporção de devolvidos em campanhas de mailing devido a endereços incorrectos.
- Os clientes reclamam porque recebem material publicitário várias vezes
- As facturas não são pagas, porque nunca chegaram ao destino devido a um endereço incorrecto
- Vendas e análises predictivas não são fiáveis, uma vez que as perspectivas de êxito foram atribuídas a duplicados de diferentes potenciais clientes
- Os clientes afirmam que estão insatisfeitos com o apoio, porque os funcionários levam muito tempo para encontrar todos os dados pertinentes no sistema

No entanto, o cenário descrito acima só diz respeito aos sintomas iniciais ou mais óbvios de dados de baixa qualidade de dados. Vários requisitos fundamentais para a master data de clientes pode ser derivada a partir daqui. O endereço postal deve estar correcto e cada cliente só deve ser representado na master data de clientes uma vez (pontos 1-4).

Além disso, todos os dados pertinentes devem estar disponíveis para o pessoal (ponto 5). A lista de requisitos para a master data de clientes provavelmente poderia ser estendida indefinidamente, mas no final, seria descoberto que os requisitos para os dados são diferentes para cada departamento.

Por exemplo, o departamento de marketing atribui grande importância a um endereço correcto para campanhas de marketing, enquanto o pessoal de apoio ao cliente depende da actualidade e integridade dos respectivos produtos dos clientes, que são exibidos de uma maneira bem organizada. A qualidade dos dados só pode ser avaliado como boa ou má, comparando-a com as exigências dos consumidores dos respectivos dados.

Muitos dos requisitos para os dados podem ser automaticamente testados usando software de análise adequado. Algumas das deficiências podem ser corrigidas no curto prazo com operações de limpeza pontual. No entanto, mesmo se os sintomas acima indicados são controlados com operações de limpeza, a razão pela qual a qualidade dos dados é má não foi encontrada nem excluída. Não foi garantido que as operações de limpeza atendem aos requisitos de todos os consumidores de dados.

A Auditoria de Qualidade de dados de deve ser realizada, a fim de ser capaz de fazer uma afirmação sobre a actual situação da qualidade dos dados da empresa. Os dados não só são analisados por meio de software na auditoria, mas, mais importante ainda, as exigências dos consumidores de dados são consideradas. Só depois dos resultados da auditoria serem conhecidos, é que se pode fazer uma declaração sobre que dados da empresa atendem aos requisitos dos utilizadores de dados e os que não. A "percepção" do estado da qualidade dos dados pode ser verificada (ou refutada) com números objectivos. Além disso, actividades apropriadas para uma melhoria a longo prazo na qualidade dos dados pode ser considerada.

É geralmente assumido que a "Single View of Customer" representa um dos mais altos níveis de qualidade dos dados na análise da master data do cliente. No caso mais simples, o termo "Single View of Customer" refere-se a uma base de dados de clientes sem duplicados.

Em relação à dimensão de qualidade de dados acima referida, a "interpretabilidade inequívoca" foi considerada aqui. No entanto, a "Single View of Customer" não deveria ser confundida com a "Single View of Data".

A ilustração abaixo torna a diferença clara: enquanto a "Single View of Customer", coloca os dados em foco, a "Single View of Data" refere-se às diferentes necessidades dos vários departamentos da empresa para os dados. Se perguntarem individualmente a cada grupo de utilizadores sobre os requisitos para os dados, certamente haveria diferentes respostas ou listas de deficiências. Não há, portanto "Single View of Data", se os requisitos para os dados variam. Uma "Visão de Dados Diferenciada" deve ser referida ao invés.

"Single View of Customer" versus "Single View of Data" uma "Visão de Dados Diferenciada" deve ser referida para uma empresa com vários departamentos que têm requisitos diferentes para a master data de clientes.

Será que a qualidade dos dados da empresa cumpre as exigências dos consumidores de dados?

A fim de implementar medidas adequadas para melhorar a qualidade dos dados, deve ser assegurado que as acções (a) cumpram as exigências dos consumidores de dados e (b) aumentem a eficiência da empresa. A Auditoria de Qualidade de Dados é usada para determinar o status quo da qualidade dos dados.

Não é apenas nos dados em si que está o foco, mas, mais importante, nas exigências dos utilizadores em relação aos dados que são considerados. O processo de criação dos dados e da informação é examinado.

O Data Quality Audit tem uma estrutura modular, e cada módulo tem sua própria área de foco. Conceitos possíveis para a optimização da qualidade dos dados podem ser preparados em conjunto com os departamentos especializados.

De seguida vou apresentar o primeiro de 5 posts relacionados.

- A qualidade dos dados - o que está por detrás?
- "Single View of Customer" versus "Single View of Data"
- A qualidade da master data da empresa
- O status quo da qualidade dos dados da empresa: O Uniserv Data Quality Audit pode ajudar
- Olhando para o futuro

A qualidade dos dados - o que está por detrás?

Terra, trabalho e capital são os chamados de factores de produção convencional numa economia clássica. No entanto, o "conhecimento" ou "informação" é cada vez mais referido como um dos factores de produção importantes. (Bauer Wikipedia, e Günzel 2009). Neste contexto, a grande importância da informação proveniente dos dados se torna aparente.

Outra linha de pensamento diz respeito à produção de informações directamente para o fabrico de qualquer produto desejado (Ballou et al. 1998). Estas considerações foram precedidas pelo conceito de Total Quality Management (TQM). Este concentra-se na máxima satisfação dos requisitos para um produto e refere-se a todos os processos e departamentos envolvidos na produção e, portanto, a empresa inteira (Wikipedia).

A correlação entre a qualidade dos dados e os produtos pode ser expressa de forma muito simples: se a "informação" é considerada como um produto, determinados requisitos dos utilizadores deste produto também podem ser definidos e com especificações dos processos de produção.

No entanto, como devem os requisitos de informação e conhecimento serem definidos? Como pode ser verificado que as normas especificadas no processo de produção são cumpridas?

Se a produção de um carro é visualizada, presume-se que o produto final tem quatro rodas e as portas e janelas abertas, na realidade. O motor encaixa-se no corpo e as normas de segurança cumprem os requisitos. Todas estas e mais especificações foram repetidamente verificadas durante o processo de produção real e, portanto, correspondem aos requisitos previamente especificados do condutor posterior do carro. Se ocorrerem defeitos durante a produção, ela é imediatamente interrompida e processos de detecção de falhas e correcção são iniciados.

A produção de informação não deve ser diferente.

O exemplo a seguir ajuda a proporcionar um melhor entendimento dos TERMOS DE DADOS DE QUALIDADE DA INFORMAÇÃO E CONHECIMENTO:
- 0100010 01001101 01010111 => DADOS
- Char (66) char (77) char (87) => INFORMAÇÕES?
- BMW -> Três letras! => INFORMAÇÕES?
- BMW -> Binary Moving Window => INFORMAÇÕES?
- BMW -> Beer with Water => INFORMAÇÕES?
- BMW -> Motorenwerke Bayrische => INFORMAÇÕES?
- Bayerische Motorenwerke => Conhecimento!

Torna-se claro que os dados estão no início da cadeia. A informação é gerada a partir dos dados. Mas a informação de fundo é obrigada a fornecer o significado destas informações e que essas informações possam ser colocadas no contexto certo. No final, as conclusões correctas só podem ser estabelecidas e novos conhecimentos gerados, se os dados e informações no início desta cadeia estiverem correctos.

Para começar, o termo "qualidade" está em causa. Derivado da norma standard EN ISO 9000:2005, o grau de qualidade em que um produto (bem ou serviço) está em conformidade com os requisitos já existentes (Wikipedia). Isto significa que a qualidade pode ser boa ou má se atende aos requisitos do utilizador ou não.

Nos seus estudos, Wang e Strong (1996) pediu aos consumidores de dados para definir as propriedades de dados de boa qualidade. A Associação Alemã para a Informação e Qualidade dos Dados (DGIQ) retomou essa ideia e descritas as categorias e as dimensões da qualidade dos dados numa maneira fácil de entender (Rohweder et al. 2008).

Segundo este estudo, a qualidade dos dados pode ser dividida em quatro categorias e 15 dimensões.

Visão geral das categorias e dimensões da qualidade dos dados (após Rohweder et al. 2008)

Se cada uma das dimensões aqui referidas é considerada "boa", a qualidade dos dados pode ser considerada como ideal. Muitas das medidas citadas não podem ser avaliadas pelo sistema como indicadores de desempenho simples, uma vez que os consumidores dos respectivos dados sempre têm que decidir se a qualidade dos dados é boa.

Larry English (1999), outras abordagens de base, mas faz uma distinção fundamental entre a qualidade do conteúdo dos dados (correção dos dados) e a qualidade pragmática dos dados (apresentação dos dados).

É inerente a ambas as abordagens básicas que o foco de atenção é sobre o consumidor de dados que recebe os dados, de modo que ele possa exercer as suas funções de forma satisfatória. Ou, para expressá-lo nas palavras de Wang e Strong (1996), a qualidade dos dados é definida como "dados que estão aptos para o uso pelos consumidores de dados".

Manutenção de dados: medidas automatizadas para a manutenção de um elevado padrão de qualidade de dados

Apesar da limpeza de dados iniciais e os mecanismos para manter o status quo da qualidade dos dados, é uma boa política realizar uma verificação periódica da base de dados global.

Isso também é necessário se as bases de dados forem consolidadas, por exemplo, após a aquisição de empresas.Outro cenário é uma verificação periódica para renomear rua e lugar.

Deslocalizações devem ser monitorizadas e mantidas, e os registos de dados de clientes falecidos devem ser marcados, pelo menos. A exigência para o aprimoramento dos dados existentes com informações adicionais também não deve ser excluído.

Estas verificações periódicas da base de dados geral devem, idealmente, ser executadas com um processo em batch.
Isso garante que todos os dados estejam em conformidade com uma norma comum de qualidade de dados em intervalos especificados.
A qualidade dos dados suficientemente elevada para realizar as tarefas do actual sistema de CRM não pode ser considerada até que as três etapas do processo descrito aqui forem implementadas e adoptadas como prática, permitindo assim que o sistema de CRM atinja o seu pleno potencial e proporcione um retorno sobre o investimento.

As avaliações no CRM analítico, são agora uma base sólida. Os dados do CRM operacional permite uma abordagem orientada para o cliente em todas as áreas. Finalmente, o relacionamento com o cliente é reforçado, a longo prazo. A confiança dos empregados da empresa na qualidade dos dados aumenta, ao mesmo tempo. Isto significa que uma verificação adicional dos dados não é mais necessária. Os resultados directos são o aumento na eficiência e redução de custos.

É hora de subir a bordo: A Auditoria de Qualidade de Dados

A Auditoria Uniserv de DQ apresenta-se, de modo a ser capaz de fazer afirmações sobre o status quo dos dados in-house do sistema CRM.

A auditoria é o primeiro passo com objectivos claros em mente para a tomada de decisão e as marcas da sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema de CRM».

Durante a auditoria, a qualidade dos endereços é primariamente avaliados com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise do processo. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

A Firewall de Qualidade de Dados

É importante especificar determinadas normas, após a transferência dos dados inicialmente limpos. Só desta forma pode a elevada qualidade dos dados obtidos ser preservada. Uma variedade de opções on-line podem apresentar-se aqui:
Em primeiro lugar, o utilizador do sistema de CRM pode garantir que as regras de entrada determinadas sejam respeitadas, por exemplo, os nomes das ruas só devem ser inscritos nos campos fornecidos.
A verificação de sintaxe também é possível para números de telefone ou endereços de e-mail e outros campos. Além disso, existe a possibilidade de verificar o endereço indicado para correcção. Isto pode ser importante, por exemplo, se o endereço é dado somente a um centro de atendimento por telefone e rapidamente surgem erros na anotação ou por causa de diferentes interpretações do que foi ouvido ou erros de digitação. Se as informações recebidas através do telefone estiverem incorrectas ou ambíguas, o utilizador também pode pedir de imediato as informações adicionais em falta, tais como localidade, a fim de ser capaz de transferir um endereço correcto para o sistema. O desempenho da tecnologia subjacente é o factor decisivo para a aceitação.
Desde que o trabalho seja realizado sob alta pressão de tempo em períodos de pico, especialmente em call centers, a validação de endereço deve ocorrer muito rapidamente.
A entrada rápida de um cliente que completa os componentes do endereço após a entrada das letras iniciais ou números pode ser usado como alternativa.
Não importa qual a tecnologia usada, a possibilidade de uma busca simples, rápida e tolerante a erros para todos os dados existentes do cliente é fundamental. Esta função não será usada se a comparação demorar muito tempo ou não forneça os resultados desejados.

Um exemplo quotidiano demonstra isso: se a busca de informações nos motores de busca mais conhecidos de Internet, Google ou Yahoo, levar mais tempo do que o típico 0,3 segundo, estes motores de busca não seriam utilizados devido à lentidão.

A prevenção automática de novos duplicados também é importante. Aqui também existe a possibilidade de verificar se o cliente já está registado no sistema quando os dados são criados. Se este for o caso, uma nova conta de cliente não tem de ser criada. A informação existente ainda pode ser reforçada com o processo actual. Esta busca é executada em segundo plano, sem ser especificamente accionada pelo utilizador em cada criação ou alteração de dados iniciais do endereço.
Se a empresa ou pessoa física já existe na base de dados, o utilizador recebe uma indicação relevante através da máscara de entrada. Uma pesquisa de erro de tolerância também é apropriada aqui, de modo que o registo dos respectivos dados possa ser encontrado, apesar dos erros de audição ou sinónimos ou nomes de empresas incompletos. Escusado será dizer que esta busca implícita também tem que ocorrer muito rapidamente e com precisão, de modo que o fluxo de trabalho do empregado no sistema de CRM não seja afectado. Estes requisitos para a firewall de qualidade dos dados são implementados por meio dos conectores DQ.
Em conjunto com os parceiros de desenvolvimento, Uniserv criou conectores DQ para os mais importantes sistemas de CRM, como o SAP CRM, Microsoft Dynamics CRM, Siebel, bem como update.seven e salesforce.com, que permitem a integração de mecanismos de qualidade de dados em processamento registo a registo. Como resultado, nada impede a implementação destas funções, que são importantes para a implementação de um elevada qualidade de dados nos sistemas de CRM.

Voltamos depois do post de ontem onde se falou um pouco mais da ferramenta Batch, ao CRM com a limpeza inicial dos dados. Relembro apenas que o DQBT é uma ferramenta essencial para esta limpeza dos dados.

Primeiro que tudo, a limpeza inicial dos dados é de primordial importância. A este respeito, a base de dados inteira é verificada e limpa numa execução em batch. O número de diferentes fontes de dados ou dos países a que pertencem são irrelevantes aqui.
Procedimento típico para que esta limpeza inicial:
- Os dados são convertidos para um formato padronizado.
Exemplo: formato padronizado para os números de telefone.
++351 211571495
00351-21-1571495      => 00351 211 571 495
+351 (21) 1571495

- O conteúdo das diferentes fontes de dados é atribuído aos campos padrão.
Exemplo: O nome da pessoa de contacto está em campos com nomes diferentes em cada fonte de dados.
Nome: Godinho, Osvaldo
PNome: Osvaldo      Apelido: Godinho
Contacto: Osvaldo Godinho

- As componentes do nome são analisadas.
Linhas de nome muito complexas que sejam compostas por vários indivíduos ou incluir o nome da empresa com o departamento e contacto serão analisados. A análise verifica se os dados se referem a dados de pessoas ou dados da empresa. Todos os elementos da linha do nome são também atribuídos aos campos especiais, de modo a que, por exemplo análises de títulos académicos ou formas jurídicas de empresa possam ser realizadas.
Exemplo: DataLab, Lda
                       -> Nome da Empresa: DataLab
Datalab, Lda
                       -> Forma Legal: Lda.

- A validação dos endereços é realizada.
A validação dos endereços é feita independentemente sejam endereços nacionais e/ou internacionais. A este respeito, o código postal, localidade, rua e número de porta são verificados. Se possível, componentes do endereçoem falta são corrigidas e/ou adicionadas.
Ruas oficialmente renomeadas e lugares são actualizados automaticamente. Apartados e validação de códigos postais em batch de clientes também estão disponíveis para alguns países.
Exemplo:
R Podre Local 16       => Rua do Poder Local, 16
1675 Pontihna           => 1675-634 Pontinha

- Os endereços são convertidos para formatos específicos.
Em certos países, por exemplo, França, o endereço deve ser formatado de acordo com as especificações das autoridades postais nacionais, a fim de ser capaz de tirar partido das medidas de optimização de taxa de franquia, para as opções de entrega mais barata possível.
Exemplo de um endereço de França:

- Os endereços são reforçados com informações adicionais.
Os endereços podem ser melhorados com informações relevantes, conforme necessário. Isso pode ser coordenadas geográficas, mas outros códigos por sector ou visualização, informações definidas pelo utilizador podem ser também anexados aos dados.
Por exemplo:
Rua do Poder Local, 16      => X: -00920163
1675-364 Pontinha            => Y: +03876310

- São identificados os duplicados.
Duplicados potenciais são identificados de acordo com algoritmos de busca personalizados individualmente.
Regras de negócio adequadas podem ser aplicadas na pesquisa, de modo que a sua posterior eliminação pode ser executada automaticamente até certo ponto. Os duplicados são também avaliados, com o grau de "certeza", ou seja, o grau de probabilidade pode ser definido. Escusado será dizer que estão disponíveis esquemas padronizados de correspondência, que podem ser aplicados aos dados de pessoas ou dados de empresas. Também é possível incorporar novos campos em campos livres em busca de duplicados.
Por exemplo:
Osvaldo Godinho                            O Godinho
Rua do Poder Local, 16         =     R Podre Local, 61
1675-157 Pontinha                      1675-157 Pontihna

A comparação destes dois registos proporciona um elevado grau de semelhança, embora o nome, rua, numero de porta e localidade sejam diferente.
No entanto, a diferença neste exemplo e com o algoritmo seleccionado correspondente não for tão grande, que os registos de dados são identificados como um único bloco.

- É constituído o "Registo de Ouro".
A formação de um "Registo de Ouro" é fundamental, especialmente quando os dados vêm de uma variedade de fontes que tenham mais conteúdos relevantes associados, além da informação do endereço. Como resultado, existe a possibilidade de transferir todas as informações dos duplicados para o "Registo de Ouro". Mesmo que os dados duplicados não tenham de ser eliminados, a sua marcação é possível, de modo que as informações contidas num duplicado possam ser exibidas para o utilizador no sistema de CRM. Exemplo: O duplicado tem um campo adicional com coordenadas que devem ser anexada ao "Registo de Ouro". Se o duplicado é excluído da base de dados, o "Registo de Ouro" também inclui esta informação.
Osvaldo Godinho                           O Godinho
Rua do Poder Local, 16          =    R Podre Local, 16
1675-157 Pontinha                     1675-157 Pontihna
X: -00920163                           <-      X: -00920163
Y: +03876310                           <-      Y: +03876310

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"

A qualidade dos dados no CRM é importante independentemente de:
- Um sistema completamente novo CRM deve ser posto em prática,
- A qualidade dos dados de um sistema de CRM deve ser optimizada,
- Ou dois ou mais sistemas independentes são combinados em um único sistema CRM, o requisito elevada qualidade dos dados pode ser alcançada em três sub-processos:

1. Limpeza dos dados iniciais
2. «Acertar logo à primeira vez» e os mecanismos que interceptam dados de baixa qualidade, quando os dados são criados ou editados (Data Quality Firewall)
3. Uso de dados de manutenção como uma medida para preservar um alto padrão de qualidade de dados

O processo de QUALIDADE DOS DADOS da Uniserv mostra como os três passos anteriores estão interligados.

TI envolve não só endereços escritos correctamente ou registos duplicados, mas também a aprendizagem sobre a estrutura dos dados a serem migrados e verificar as regras de negócio existentes. Este passo normalmente é implementado numa Auditoria de qualidade dos dados.

É aconselhável obter um panorama da qualidade dos dados numa primeira etapa, de modo que uma limpeza inicial orientada para resultados seja possível.

Monitorização a jusante é aconselhável para determinação constante e verificação do status quo da qualidade dos dados. O cumprimento das regras de negócio podem ser automaticamente aqui verificadas e limitar valores críticos específicos, a fim de ser capaz de realizar medidas de optimização em tempo real. Limites poderiam ser também os indicadores chave de desempenho (KPI), que fornecem informações sobre o status quo dos objectivos definidos pela empresa.

O casal perfeito:
CRM e qualidade de dados
Independentemente de um CRM analítico ou operacional seja implementado, as áreas anteriormente descritas de aplicação indicam a importância de ter dados correctos, ou seja, a qualidade dos dados.
Num CRM analítico, uma elevada qualidade dos dados é indispensável, a fim de ser capaz de realizar análises adequadas, em primeiro lugar, para não falsificá-las e - com base no presente - para tornar as decisões estratégicas correctas, a longo prazo.
Em termos correctos, qualidade de dados significa que:

- Corrigir o endereço, também no ambiente internacional, de modo que a correspondência escrita chegue ao destinatário. Quanto aos dados:» O endereço deve ser actualizado se lugares ou ruas são renomeados
» Mudanças de morada devem ser registadas e os endereços actualizados
» Não são mantidas relações comerciais com os clientes falecidos
» Mudanças nas empresas (fusões, deslocalizações, etc.) devem ser registadas
Num CRM operacional, é importante que os dados de contacto do cliente estejam correctos, para que as campanhas de marketing sejam adequadas e a oferta de serviços alcance sua meta, ou seja, o cliente.
- Os dados do cliente sem que haja duplicados, ou seja, existe apenas uma única instância do cliente na base de dados :
» Para não enviar informações várias vezes em mailings e economizar em custos de envio
» Para não perturbar desnecessariamente clientes solicitando-os repetidamente em campanhas de marketing e, portanto, provocar perdas de clientes e vendas perdidas
» Para poder fazer afirmações fiáveis sobre as oportunidades de vendas e Análises Preditivas
» Conceber um serviço mais eficiente com todas as informações relevantes disponíveis para o contacto directo com os clientes.

Fica evidente que a qualidade dos dados, ou seja, corrigir e manter a base de dados isenta de duplicados, é um requisito importante para a chamada "visão única do cliente» ou «ponto único de verdade» («Single View of Customer» ou «Single Point of Truth»), porque somente os dados em óptimo estado permitem realmente que todos os dados relativos a um cliente sejam comprimidos num registo, permitindo uma visão abrangente de um cliente.

Essa visão também deve ser autorizada para os funcionários dos vários departamentos dentro da empresa.
Se todos estes aspectos não são considerados num sistema de CRM, a qualidade deficiente dos dados pode rapidamente desequilibrar a balança. Análises em Business Intelligence podem produzir conclusões incorrectas, os clientes estão insatisfeitos com o serviço, com as campanhas de marketing e quem sabe, podem terminar as relações comerciais no pior caso.

A má qualidade dos dados também podem ter um efeito directo sobre a motivação dos funcionários da empresa.
Eles não podem satisfazer as necessidades dos clientes na medida esperada, pois as informações no sistema de CRM não é consistente.
Registos duplicados de dados de clientes que contenham informações necessárias para a satisfação do cliente são um exemplo aqui. É o trabalhador que tem de ouvir os problemas dos clientes frustrados.
E torna-se insatisfeito ao mesmo tempo.
A conexão directa entre os dados confiáveis a partir do sistema de CRM e motivação dos funcionários é, portanto, comprovada.

Os exemplos do post anterior deixam claro que o cliente é sempre o centro do interesse num sistema de CRM, uma vez que há ganhos directos e indirectos que podem ser obtidos a longo prazo através de um relacionamento satisfatório.

Quanto a isto, há várias áreas num sistema de CRM que são projectados para ajudar a satisfazer uma ampla variedade de necessidades dos clientes, na forma prevista e de forma adequada. Todas as informações obtidas podem ser avaliadas, a fim de usá-las em campanhas de marketing ou outras análises baseadas em Business Intelligence.
A diferença é feita entre um CRM operacional e um CRM analítico.

Customer Relationship Management analítico
CRM Analítico é usado para considerar todos os dados do cliente para possíveis avaliações no âmbito do Business Intelligence. O termo Customer Data Warehouse também é usado de alguma forma. Isso mostra que as preocupações do CRM analítico são para a análise de um «instantâneo» dos dados de CRM e não os dados do sistema actual ao vivo. Os dados são armazenados num sistema especialmente desenhado, como os dados de um Data Warehouse. Pode ser avaliada através de um grande número de diferentes dimensões. A palavra chave aqui é Online Analytical Processing (OLAP), que também é utilizada no Data Warehouse.

Customer Relationship Management operacional
Em contraste com o CRM analítico, CRM operacional abrange as áreas de vendas, marketing e serviço.
Em outras palavras: Todos os funcionários que estão em contacto directo ou indirecto com o uso do cliente CRM operacional.
Em marketing, isso realmente significa por exemplo que há possibilidades de gestão de campanhas para filtrar os grupos-alvo certos para as respectivas campanhas. (As avaliações dos CRMs analíticos normalmente fornecem indicações dos filtros correctos).
Relativamente aos clientes certos, a informação adequada, ao serviço a oferecer, a selecção do canal de comunicação ideal, etc, são as principais preocupações. O objectivo é que as informações apresentadas atinjam os grupos alvo correctos. Os clientes solicitados devem estar motivados a examinar o respectivo conteúdo das campanhas e para identificar o valor acrescentado que as informações (ou produto) criam para si ou para sua empresa.

O departamento de Vendas usa o CRM operacional para as várias tarefas. O contacto pessoal com o cliente tem grande importância, a fim de desenvolver e manter um forte relacionamento com o cliente. Funções como a integração dos clientes de email, calendários ou características semelhantes são indispensáveis aqui. No entanto, as informações do CRM também são usadas, por exemplo para actualizar as oportunidades de vendas. Ela também pode ser avaliada porque o cliente rejeitou a oferta (lost order analysis) ou porque a relação comercial terminou. Um sistema de CRM também é usado como um "diário de bordo", em que todas as atividades com um cliente são gravadas. Como resultado, os colegas podem rapidamente obter uma visão geral de toda a correspondência com o cliente.

O funcionário em contacto com o cliente direto é o cartão de visita da COMPANHIA, porque ele ou ela é sinónimo de QUALIDADE DOS PRODUTOS E SERVIÇOS PARA O EXTERIOR.

O sistema de CRM também é usado para gerar dinamicamente análises de previsão confiáveis. Estes são extremamente importantes para a definição de futuras estratégias de negócios. A terceira área que faz uso intensivo do sistema de CRM é a área de serviço. As necessidades de clientes individuais são consideradas um grau particularmente grande nesse ambiente, o cliente é acompanhado através das diferentes fases do relacionamento. Gestão da reclamação e suporte ao cliente também são importantes questões aqui.
Finalmente, um sistema de CRM pode ter um uso interdepartamental e em todas as áreas como um instrumento de controle para processos de negócio ou podemos oferecer uma ajuda valiosa para o cumprimento das regras de negócio. No contexto da importância de um profissional de Customer Relationship Management e da introdução de um sistema adequado de CRM, é essencial manter um aspecto central em mente: o trabalhador em contacto com o cliente directo é o cartão de visita da empresa, porque ele ou ela é sinónimo de qualidade dos produtos e serviços para o mundo exterior. É precisamente aqui que potenciais enormes, geralmente inactivos podem ser activados para o benefício dos clientes satisfeitos com base num eficiente sistema de CRM.

Relações de negócios e relações com clientes bem conservadas assim como uma rede estável de relacionamentos, têm uma variedade de efeitos muito positivos sobre cada empresa.

A consciência de que a introdução de um sistema de CRM é um factor chave para o sucesso a longo prazo da empresa tem-se desenvolvido rapidamente nos níveis de gestão de muitas empresas nos últimos alguns anos. Independentemente do fornecedor e os componentes do sistema de CRM que são utilizados, o foco é sempre na orientação para o cliente e para o conceito de serviço subjacente.

Se a introdução de um sistema de CRM é considerada a partir de uma perspectiva económica, torna-se rapidamente claro que a gestão do relacionamento está associada a conceitos tais como o desejo de relações comerciais de longo prazo e a segurança económica ligada a isso. Além disso, um sistema de CRM deve contribuir para a estabilização dos contactos de negócios. Relações comerciais bem mantidas, bem como o relacionamento com clientes, ou seja, uma rede estável de relacionamentos, tem uma variedade de efeitos muito positivos sobre a empresa.

Aqui estão alguns exemplos:
- Um cliente satisfeito está preparado para recomendar o fornecedor e os seus produtos através de uma simples palavra de propaganda.
- Numa relação duradoura, satisfatória entre o cliente e o fornecedor, o cliente pode fazer sugestões para melhorar produtos, a fim de chamar a atenção para mudança nas demandas do mercado.
- Um cliente satisfeito é mais tolerante com aumentos de preços do que os clientes potenciais que ainda estejam a comparar produtos e serviços similares de diferentes fornecedores.
- Se houver um relacionamento comercial com um cliente, o cliente entrará em contato com o fornecedor se ele não estiver satisfeito com um produto ou serviço, a fim de indicar as deficiências. Em consequência, o fornecedor tem a oportunidade de optimizar o produto e o desempenho. Em caso negativo, o cliente pode simplesmente mudar fornecedor, sem informar o fornecedor sobre as deficiências percebidas do produto.

A cereja no topo do bolo.

O objectivo da introdução de um sistema CRM (Customer Relationship Management) é optimizar e estabilizar as relações com os actuais e futuros clientes a longo prazo. A chave para um relacionamento satisfatório de ambos os lados não depende apenas um sistema inteligente de CRM, mas também da alta qualidade dos dados que ele contém.

Há indícios de falta de qualidade dos dados do cliente, se a taxa de retorno de mailings é relativamente elevada, como resultado de dados incorrectos ou endereços incompletos ou clientes queixam-se sobre várias entregas do mesmo correio publicitário. É constrangedor se uma linha de endereço de um cliente, contiver erros, porque não foi dada importância à "higiene" dos componentes do nome e endereço.

Mesmo que a equipe interna tenha falta de confiança na base de dados e tenha de verificar manualmente cada registo antes de contactar os clientes, isto também deve ser considerado como uma indicação de baixa qualidade dos dados. Com base nos pontos aqui mencionados, torna-se evidente que a qualidade dos dados no sistema de CRM é tão importante quanto o próprio sistema. Se este não for o caso, o esperado efeito da ligação do cliente a longo prazo combinado com um aumento eficiência do trabalho realizado com os dados do cliente não irá surgir.

Vários cenários de utilização de um sistema de CRM vão ser considerados nos próximos posts.

As áreas de actuação são a relação da qualidade dos dados e as consequências da fraca qualidade dos dados. Além disso, iremos abordar uma solução prática para a prestação de alta qualidade de dados de um recém-criado ou existente sistema de CRM e como manter esse status quo em diferentes sistemas e plataformas.

Os seguintes processos de comparação dos dados da empresa em relação às listas de sanções são tão importantes quanto o processo de correspondência em si e ao cumprimento dos requisitos de qualidade de dados. Se casos suspeitos foram encontrados durante a correspondência, estes casos devem ser verificados manualmente caso a caso. O software deve fornecer listas adequadas e / ou arquivos com os registos de dados para esta finalidade.Também é importante que os resultados sejam incorporados nos dados da empresa de tal maneira que os duplicados encontrados sejam documentados. Duplicados nos dados devem portanto ser marcados. Além disso, os dados oficiais, nos termos da lei devem ser enviados às autoridades respectivas.A documentação das validações efectuadas é muito importante.

EXEMPLOS DE CORRESPONDÊNCIAS POSITIVAS

Os exemplos são apresentados para ilustrar a possível forma de correspondências positivas. O primeiro registo de dados vem das listas de sanção. Os subsequentes registos de dados poderiam ser a partir dos dados da empresa. Os números em "Correspondência" representam o grau de semelhança e a precisão do duplicado. A faixa aqui é entre 70 e 100. A identificação do registo representa um indivíduo e o seu ID na base de dados.

Exemplo de uma completa operação de matching

O processo completo de correspondência, consiste na correspondência real, a geração de registos de validação adequados, a geração de uma lista de casos suspeitos, a marcação dos casos suspeitos e os casos não-suspeitos na base de dados, o manual de verificação dos casos suspeitos e da comunicação dos indivíduos e organizações identificadas como suspeitas à PJ (BAFA):

Alguns exemplos das listas de sanções são mostrados a seguir, para ilustrar o desafio que é encontrar uma solução de software. Todos os exemplos são entradas originais das listas sanção.

Ao comparar os exemplos, torna-se claro porque os países não constam das listas de sanção, o foco principal é sobre as organizações e os indivíduos que podem operar de diferentes países.

Os requisitos para um software adequado podem ser deduzidos a partir dos exemplos. Primeiro de tudo, o software deve ser capaz de lidar com uma mistura de indivíduos, organizações, instituições e companhias.

As características especiais dos campos das listas de sanção também devem ser consideradas. Há frequentemente um numero de elementos do nome que são difíceis de identificar como os primeiros nomes ou sobrenomes (nos indivíduos - B2C).

Além disso, há elementos do nome que são pouco conhecidos tanto em áreas culturais como em famílias linguísticas (nomes árabes ou asiáticos).

A movimentação de entradas específicas para cada país e entradas "típicas de embargo", tais como nomes árabes em primeiro lugar, os títulos, os prefixos também devem ser fornecidas pela solução de software.

Um desafio adicional é o procedimento para os elementos em falta. A este respeito, um endereço não completo é indicado na maioria dos casos. Em muitos casos, há apenas um nome de lugar, ou apenas um elemento do nome é conhecido. O software deve permitir também ser capaz de lidar com letras simples, abreviaturas, siglas e números (não para particulares - B2B).

O mesmo se aplica ao tratamento de sinónimos, nomes de organizações em várias línguas nacionais e a transformação de dados Unicode. Para todos estes requisitos, como existem muitas combinações corretas que podem ser obtidas como possíveis, o reconhecimentos de diferenças fonéticas e semelhanças têm de ser asseguradas.

Além disso, há uma alta probabilidade de erros de gravação, especialmente no caso de nomes estrangeiros. O software deve também ser capaz de lidar com tais problemas. Finalmente, um óptimo equilíbrio entre as exigências do regulamento anti-terrorismo da UE e as opções para a revisão manual deve ser encontrada.

Vários desafios precisam ser superados antes de correspondência da empresa de dados contra as listas de sanção poder ser bem sucedida.
Estes desafios dizem respeito a (a) os respectivos processos e (b) uma solução técnica adequada para regular a congruência dos dados da empresa contra as listas de sanção que satisfaçam os requisitos dos regulamentos anti-terrorismo da UE.
- Uma rotina permanente de validação de todos os endereços mantidos numa empresa contra as listas de sanção devem ser garantidos.
- Uma vez que os dados da empresa, normalmente dizem respeito a um maior volume de dados, o match de registo a registo é praticamente impossível. Soluções de processamento em batch são necessárias aqui.
- As várias listas de sanções têm uma estrutura heterogénea. Isto significa que a falta de padronização dos diferentes arquivos devem ser resolvidos tecnicamente. Idealmente, a preparação destas listas de sanções deve ser integrada na actual calibração, de modo que a qualidade do match não seja prejudicado pela heterogeneidade da estrutura das listas de sanções e os seus defeitos de normalização.Finalmente, é necessário que a solução de software (a) leia nas diversas listas de sanção, sem qualquer problemas e (b) é caracterizada pela alta precisão do reconhecimento de match.Mais características desta solução software: deve ser um sistema especialista inteligente que usa análises endereço específico (fonética, a lógica fuzzy) e regulamentos de cada país. Parametrizações individuais dos algoritmos de correspondência também é importante, de modo que um alto grau de flexibilidade esteja prevista.

A LIMPEZA INICIAL E LIMPEZA BANCO DE DADOS DA EMPRESA DE DADOS
A meta inicial de um clean-up de rotina e de limpeza da base de dados é a validação de todas as pessoas, organizações e os endereços do sistema contra a versão mais recente da lista de sanção. O resultado desta validação é um arquivo de "aviso" que é posteriormente processado manualmente ou electronicamente. Todos os potenciais hits positivos do match são mostrados neste ficheiro de advertência. Os registos de dados devem ser revistos em cada caso. É recomendável que a limpeza da base de dados seja realizada regularmente.

LISTAS EXTERNAS (ALUGUER OU COMPRA)
Se os dados de endereço são adquiridos a partir de fontes externas, quer por aluguer ou compra, estes endereços devem também ser validados contra as listas de sanção. Cada lista deve ser verificada antes de ser usada. Casos suspeitos não deveriam estar disponíveis para processamento adicional, independentemente dos processos a jusante.
Exemplos de processos incluem a jusante transferência desses endereços para o sistema in house ou sua utilização em actividades de publicidade.

PROCESSAMENTO INDIVIDUAL PARA OS TRABALHADORES NUM CALL CENTER
Considerando os dados da empresa e listas de endereços externos pode ser validado contra listas de sanções em processos batch, os dados são validados registo a registo, nos call centers. Aqui, por exemplo, o software valida cada novo endereço para verificar se se trata de uma pessoa nas listas de sanção. Se há uma suspeita fundamentada, o funcionário administrativo recebe uma mensagem que o endereço não pode ser inserido no sistema, neste ponto. O endereço é disponibilizado para processamento em separado. No caso do processamento electrónico de registos únicos, os endereços suspeitos da empresa de jogos contra as listas de sanções são marcados de forma totalmente automática e / ou integração no sistema que impediu.

PROCESSAMENTO ELECTRÓNICO DE REGISTOS UNICOS
A correspondência automática, que não é activamente perceptível, é executada em background durante a aceitação de dados.
Potenciais matchs são marcados neste processo, assim podem ser processados por pessoal autorizado na fase posterior (veja abaixo). A vantagem da aplicação deste cenário é que os empregados não se irritam por possíveis avisos durante o contacto com o cliente e podem continuar a seguir os seus respectivos processos.

PROCESSAMENTO EM BATCH POR FUNCIONÁRIOS AUTORIZADOS
O processamento batch de casos suspeitos pode ser confiada a funcionários especialmente qualificados da empresa. Aqui os casos suspeitos provenientes da limpeza e validação de listas externas são carregados no sistema e apresentados aos trabalhadores para sua decisão. Uma ferramenta em tempo real é utilizada para a própria decisão, que realiza as validações mesmo para os casos suspeitos como para os processos batch, mas mostra-los individualmente no ecrã.
É, assim, garantido que os resultados de cada validação batch sejam executados manualmente, validados e decididos.

No que respeita à aplicação prática do regulamento anti-terrorismo da UE, a questão da qualidade dos dados não deve ser negligenciada. São quatro os pontos na qualidade dos dados e nas características dos processos que são relevantes:
Devem sempre ser tomadas em consideração estas preocupações com a qualidade dos dados e nos processos internos. A qualidade e o processo de criação das respectivas listas de sanções não vão ser postas em causa ou discutidas aqui.

TRANSPARÊNCIA
Transparência é definida aqui como o conhecimento e à rastreabilidade de todos os processos em causa com aquisição de dados, combinados contra as listas de sanção, registando e processando a jusante em caso de encontrar correspondências.As seguintes questões são levantadas a este respeito:
- Como, exactamente, são inseridos os dados na base de dados (Master)?
- Qual é a fonte de dados?
- Como é o que se encontram correspondências contra as listas de sanção?
- Existem logs gerados pelas operações de correspondência e como são administrados?
- Qual é o processo de actualização das listas de sanção?
- Como são tratadas as correspondências?

A legislação já fornece informações para algumas destas questões. No entanto, a pergunta é sempre sobre se os respectivos regulamentos são cumpridos.

CREDIBILIDADE
A credibilidade é definida como a idoneidade e fiabilidade do registo de dados de particulares. Esta definição pode ser estendida para a credibilidade dos processos com a correspondência entre os registos da base de dados (Master) contra as listas de sanções.- Pode ser a fonte de dados confiável?
- É a fonte de dados conhecida?
- É o processo para combinação dos dados contra a listas de sanções confiável?
- É a fonte das listas de sanção conhecida e é confiável?- Os algoritmos de correspondência são adequados?

LIBERDADE DE ERROS
A informação está livre de erros, se corresponde à realidade.
No que respeita à questão da liberdade de erros, As seguintes perguntas devem ser feitas sobre os dados in-house e do processo de correspondência:
- Está o master de dados livre de erros? (E se os dados têm qualidade controlada e otimizada, caso seja necessário?)
- O processo de aquisição de dados (master) foram definidos, de modo que as regras adequadas possam ser respeitadas?

No caso destas questões, torna-se evidente que uma certa qualidade do master de dados já está assumida. Se nada se sabe sobre a qualidade dos dados ou se não foram tomadas medidas para garantir uma qualidade de dados, que seja suficientemente alta para haver confiança na comparação contra as listas de sanção, o resultado da correspondência deve ser posto em causa.

ACTUALIZAÇÃO
A informação é actualizada se representar o real carácter do objecto descrito em tempo real.
Aqui também existem várias perguntas sobre como fazer a comparação com as listas de sanção, que devem ser levantadas:
- É a qualidade dos dados do master adequada para combinar os dados contra a lista de sanção?- As listas de sanções estão actualizadas?
- A execução técnica do processo para a combinação dos dados contra a sanção lista está actualizada?

Finalmente, a qualidade dos dados não diz respeito só à alta qualidade do master dos dados, mas também à qualidade dos processos. Isto refere-se aos processos que garantam a alta qualidade dos dados da empresa e processos que asseguram efectiva implementação de conformidade com o regulamento anti-terrorismo da EU. Torna-se claro aqui que a qualidade dos dados da empresa desempenha um grande papel quando ele é comparado com as listas de sanção.

A este respeito, não devemos ter só as preocupações com as componentes individuais do endereço, mas também os elementos do nome.
Este facto será considerado posteriormente com alguns exemplos.
Como não há a obrigação de fornecer uma verificação de conformidade com o regulamento anti-terrorismo da UE, é aconselhável para garantir que as provas documentais de correspondência são arquivadas, de modo que o processo totalmente "transparente" seja fornecido.

Acção Penal

Vale a pena conhecer as consequências do incumprimento com o regulamento anti-terrorismo da UE.

De referir que mesmo que de forma indirecta podemos ser afectados por esta lei cujas penas podem ir até aos 15 anos de prisão.

Artigo 5.º -A

Financiamento do terrorismo
1 — Quem, por quaisquer meios, directa ou indirectamente, fornecer, recolher ou detiver fundos ou bens de qualquer tipo, bem como produtos ou direitos susceptíveis de ser transformados em fundos, com a intenção de serem utilizados ou sabendo que podem ser utilizados, total ou parcialmente, no planeamento, na preparação ou para a prática dos factos previstos non.º 1 do artigo 2.º, ou praticar estes factos com a intenção referida no n.º 1 do artigo 3.º ou no n.º 1 do artigo 4.º, é punido com pena de prisão de 8 a 15 anos.
2 — Para que um acto constitua a infracção prevista no número anterior, não é necessário que os fundos provenham de terceiros, nem que tenham sido entregues a quem se destinam, ou que tenham sido efectivamente utilizados para cometer os factos nele previstos.
3 — A pena é especialmente atenuada ou não tem lugar a punição, se o agente voluntariamente abandonar a sua actividade, afastar ou fizer diminuir consideravelmente o perigo por ele provocado ou auxiliar concretamente na recolha de provas decisivas para a identificação ou a captura de outros responsáveis.

Mesmo as contra-ordenações são elevadas, podendo chegar aos 2.500.000€.

Artigo 54.º

Coimas
As contra-ordenações previstas no artigo anterior são puníveis nos seguintes termos:
a) Quando a infracção for praticada no âmbito da actividade de uma entidade financeira:
    i) Com coima de € 25 000 a € 2 500 000, se o agentefor uma pessoa colectiva;
    ii) Com coima de € 12 500 a € 1 250 000, se o agentefor uma pessoa singular;
b) Quando a infracção for praticada no âmbito da actividade de uma entidade não financeira, com excepção dos advogados e solicitadores:
    i) Com coima de € 5000 a € 500 000, se o agente for uma pessoa colectiva;
    ii) Com coima de € 2500 a € 250 000, se o agente for uma pessoa singular.

Depois ainda acrescem as sanções acessórias que podem significar interdição ou inibição do exercício de funções até 3 anos

Artigo 55.º

Sanções acessórias
Conjuntamente com as coimas, podem ser aplicadas ao responsável por qualquer das contra-ordenações previstas no artigo 53.º as seguintes sanções acessórias, em função da gravidade da infracção e da culpa do agente:
a) Interdição, por um período até três anos, do exercício da profissão ou da actividade a que a contra-ordenação respeita;
b) Inibição, por um período até três anos, do exercício de cargos sociais e de funções de administração, direcção, chefia e fiscalização em pessoas colectivas abrangidas pela presente lei, quando o infractor seja membro dos órgãos sociais, exerça cargos de direcção, chefia ou gestão ou actue em representação legal ou voluntária da pessoa colectiva;
c) Publicação da punição definitiva, a expensas do infractor, num jornal de larga difusão na localidade da sede ou do estabelecimento permanente do infractor ou, se este for uma pessoa singular, na localidade da sua residência.

O legislador logo no artigo 20º, cria uma salvaguarda de forma a proteger a identidade de quem fornece informações

Artigo 20.º

Protecção na prestação de informações
1 — As informações prestadas de boa fé pelas entidades sujeitas, no cumprimento dos deveres enumerados nos artigos 16.º, 17.º e 18.º, não constituem violação de qualquer dever de segredo, imposto por via legislativa,regulamentar ou contratual, nem implicam, para quem as preste, responsabilidade de qualquer tipo.
2 — Quem, ainda que com mera negligência, revelar ou favorecer a descoberta da identidade de quem forneceu informações, ao abrigo dos artigos referidos no número anterior, é punido com pena de prisão até três anos ou com pena de multa.

No próximo post vamos ver qual a relação de tudo isto com a qualidade de dados.

Os ataques terroristas de Al Qaeda nos Estados Unidos da América foram o catalisador para a passagem da regulamentação da UE contra o terrorismo. A primeira resolução da ONU passou pouco tempo depois.

Um aspecto novo nestas resoluções e regulamentos é o facto de que as organizações particulares e os indivíduos que nem sempre estão ligados a estados individualizados estão incluídos nas chamadas listas de sanção e não países completos.

A lista seguinte mostra as mais IMPORTANTEs RESPOSTAS aos ataques terroristas do 11 de Setembro de 2001:
- 28 de setembro de 2001: Adopção da resolução 1373 da ONU pela comunidade de estados
- 27 de dezembro de 2001: Regulamento (CE) n º2580/2001 – Implementação no aplicável Direito Comunitário
- 27 de maio de 2002: Regulamento (CE) n º. 881/2002 – extensão para indivíduos específicos / organizações
- Adicionalmente, a legislação dos E.U.A. reivindica em todo o mundo a validade das suas normas de controle de exportação, sempre que mercadorias dos E.U.A. são negociadas.

O legislador também especificou quem é responsável pelo correto cumprimento das referidas resoluções e regulamentos.

As responsabilidades de supervisão por parte da empresa são regulados no artigo 2º do decreto Lei nº 25/2008

Aqui se afirma que a gestão e os seus representantes autorizados, entidades e indivíduos devem ter medidas organizacionais razoáveis que garantam com suficiente probabilidade de que não são cometidas infracções, intencionalmente ou por negligência. A responsabilidade e obrigação de notificar as autoridades é considerada no mesmo decreto. Referência que os responsáveis na empresa são pessoalmente responsáveis por consequências penais. Essas pessoas só pode ser exoneradas pela evidência de uma funcionamento da organização e o cumprimento das necessárias e adequadas medidas de controlo.

Finalmente, nos termos do artigo 3º e 4º da referida lei, não há uma obrigação geral para todos que participam comercialmente no estrangeiro a fornecer informações. O órgão executivo para analisar o obrigação de fornecer informação é a Unidade de Informação Financeira. Não é definitivamente regulamentado, que é a autoridade responsável para esclarecer dúvidas sobre a identidade de um parceiro de negócios. No entanto, é aconselhável fazer inquéritos à UIF em tais casos.

Além da UIF, o cumprimento do anti-terrorismo da regulação da UE também é verificado pelas autoridades aduaneiras, o serviço de auditoria das finanças regionais, bem como pelas autoridades criminais (por exemplo, Ministério Público).

Regulamentação da UE contra o terrorismo e listas de sanção está a decorrer com firmeza: Opções para a execução técnica das disposições legais

PROCESSOS NÃO DISPONÍVEIS OU INSATISFATÓRIOS PARA PROCURA DOS CLIENTES E PROSPECTS CONTRA LISTAS DE SANÇÕES - UM RISCO DE NEGÓCIO FREQUENTEMENTE SUBESTIMADO E IMPLICA A RESPONSABILIDADE PESSOAL DOS GESTORES.

A aplicação das disposições estatutárias da regulamentação anti-terrorismo da UE ainda é um aspecto amplamente discutido no âmbito da Qualidade dos dados. Este regulamento proíbe que sejam colocados serviços financeiros e bens à disposição de organizações terroristas tanto em território nacional como no exterior.

Se as últimas exigências do regulamento anti-terrorismo da UE não são cumpridas, as consequências são previsíveis. Por exemplo, existe o perigo de que o conjunto dos activos da empresa sejam congelados.

Existe ainda o perigo de ser incluído numa lista de sanção, se fornecer dados a um dos indivíduos ou organizações listadas.
Também deve ser considerado que não há direito legal a ser removido da lista de sanção.
Qualquer pessoa que age sem pensar duas vezes, rapidamente coloca o futuro de toda a empresa em risco e por isso também o dos seus trabalhadores.

Organizações e indivíduos que estão sob a alçada do regulamento anti-terrorismo da UE estão incluídos em várias listas de sanção elaboradas pela União Europeia e pelas instituições dos Estados Unidos da América, entre outros.

Como consegue que os dados do cliente sejam comparados com as listas de sanções actuais, a fim de cumprir o regulamento? Nós apresentamos uma abordagem prática que combina as edições actuais da listas de sanções contra os dados mestre do cliente em processamento batch ou on-line, proporcionando-lhe segurança no que diz respeito à Regulamentação da UE contra o terrorismo.

Os requisitos legais e os seus efeitos estão já publicados em Diário da Republica. Além disso, a relação com a qualidade dos dados no sentido convencional será descrita em futuros posts. Finalmente, a opção para a prática da sua aplicação será considerada. A implementação de cenários será documentada com exemplos e possíveis processos jusante serão apresentados em igualmente em próximos posts.