Qualidade de Dados / Data Quality

A qualidade dos dados: Um factor chave para o sucesso do Master Data Management

Os sistemas Master Data Management, também chamados de sistemas MDM, permitem uma «única versão da verdade» para ser representado por uma vasta gama de dados da empresa.

Isto significa que todos os sistemas de dados relevantes de uma empresa e seus conteúdos são consolidados, de modo que a busca de informações em diferentes redes isoladas torna-se desnecessário. Independentemente de qual arquitectura do sistema MDM escolhida, tanto a alta qualidade dos dados de conteúdo como os meta dados são factores chave para o sucesso do projecto. Isto aplica-se à fase de execução e ás previsões de aumento da eficiência de utilização dos dados da empresa.

Nos próximos posts vamos descrever a importância da elevada qualidade dos dados no ambiente de MDM. Todas as fases de um sistema que está sendo planeado ou a ser implementado são consideradas.
Além disso, sugestões adequadas para (a) a optimização da qualidade dos dados e (b) mantendo-a num nível elevado durante a operação do dia-a-dia também são fornecidos para os sistemas MDM.
Master Data Management: o que exactamente significa isso?
Um dos grandes desafios no ambiente corporativo, hoje, é conseguir um Master Data Management (MDM) eficaz. O significado preciso deste termo pode ser explicado melhor de tudo pela seguinte definição de David Loshin (2009):

O objectivo é obter a chamada «versão única da verdade», isto é, que somente um sistema tem de ser consultado para mostrar todos os dados relevantes de toda a empresa. Não é necessário procurar informações em diferentes sistemas. Trabalhar com os dados é mais eficiente.

A partir desta consideração, pode-se reconhecer que o MDM não é apenas uma solução de software, mas o mais importante de uma questão de organização interna e definição de dados da empresa. Numa etapa final, esses dados são sincronizados em diversas formas e colocados à disposição do usuário final. Dependendo da complexidade dos sistemas e dados existentes numa empresa, o sucesso da implementação de um sistema MDM pode demorar vários meses ou mesmo anos.
A implementação é normalmente dividida em fases distintas:
- Em primeiro lugar, a master data real deve ser identificada e uma lista elaborada com os sistemas em que ele está a ser armazenado.
- O próximo passo é chegar a acordo sobre um Data Master Object Model e garantir que a meta data é consistente.

Uma vez que estes aspectos fundamentais estejam esclarecidos, várias exigências para os dados são decididas. Em primeiro lugar, os requisitos dos utilizadores da informação na área operacional devem ser considerados.
No entanto, essas demandas específicas também devem ser consideradas na implementação MDM, se é para ser base de um Data Warehouse ou base para análises de Business Intelligence.
Outras questões importantes são questões como a protecção de dados ou conformidade com os regulamentos anti-terrorismo.Em suma, todos os requisitos legais, operacionais e de análise para os dados devem ser considerados.
Além disso, os dados devem estar disponíveis com a qualidade adequada, de modo que os requisitos de conteúdo para os dados possam ser satisfeitos.

Configurando um sistema Master Data Management sempre significa implementar um projecto de toda a empresa.
Projectos desse tamanho, exige uma quantidade de trabalho intelectual de todos os interessados, especialmente se envolvem a criação da Master Data Object Model ou a padronização dos meta dados. A tendência actual é para chamar consultores externos, que podem fazer a ligação entre as diversas partes interessadas, os serviços e o pessoal responsável pelas várias fontes de dados com um grau de distanciamento dessas fases.

Os seguintes processos de comparação dos dados da empresa em relação às listas de sanções são tão importantes quanto o processo de correspondência em si e ao cumprimento dos requisitos de qualidade de dados. Se casos suspeitos foram encontrados durante a correspondência, estes casos devem ser verificados manualmente caso a caso. O software deve fornecer listas adequadas e / ou arquivos com os registos de dados para esta finalidade.Também é importante que os resultados sejam incorporados nos dados da empresa de tal maneira que os duplicados encontrados sejam documentados. Duplicados nos dados devem portanto ser marcados. Além disso, os dados oficiais, nos termos da lei devem ser enviados às autoridades respectivas.A documentação das validações efectuadas é muito importante.

EXEMPLOS DE CORRESPONDÊNCIAS POSITIVAS

Os exemplos são apresentados para ilustrar a possível forma de correspondências positivas. O primeiro registo de dados vem das listas de sanção. Os subsequentes registos de dados poderiam ser a partir dos dados da empresa. Os números em "Correspondência" representam o grau de semelhança e a precisão do duplicado. A faixa aqui é entre 70 e 100. A identificação do registo representa um indivíduo e o seu ID na base de dados.

Exemplo de uma completa operação de matching

O processo completo de correspondência, consiste na correspondência real, a geração de registos de validação adequados, a geração de uma lista de casos suspeitos, a marcação dos casos suspeitos e os casos não-suspeitos na base de dados, o manual de verificação dos casos suspeitos e da comunicação dos indivíduos e organizações identificadas como suspeitas à PJ (BAFA):

Alguns exemplos das listas de sanções são mostrados a seguir, para ilustrar o desafio que é encontrar uma solução de software. Todos os exemplos são entradas originais das listas sanção.

Ao comparar os exemplos, torna-se claro porque os países não constam das listas de sanção, o foco principal é sobre as organizações e os indivíduos que podem operar de diferentes países.

Os requisitos para um software adequado podem ser deduzidos a partir dos exemplos. Primeiro de tudo, o software deve ser capaz de lidar com uma mistura de indivíduos, organizações, instituições e companhias.

As características especiais dos campos das listas de sanção também devem ser consideradas. Há frequentemente um numero de elementos do nome que são difíceis de identificar como os primeiros nomes ou sobrenomes (nos indivíduos - B2C).

Além disso, há elementos do nome que são pouco conhecidos tanto em áreas culturais como em famílias linguísticas (nomes árabes ou asiáticos).

A movimentação de entradas específicas para cada país e entradas "típicas de embargo", tais como nomes árabes em primeiro lugar, os títulos, os prefixos também devem ser fornecidas pela solução de software.

Um desafio adicional é o procedimento para os elementos em falta. A este respeito, um endereço não completo é indicado na maioria dos casos. Em muitos casos, há apenas um nome de lugar, ou apenas um elemento do nome é conhecido. O software deve permitir também ser capaz de lidar com letras simples, abreviaturas, siglas e números (não para particulares - B2B).

O mesmo se aplica ao tratamento de sinónimos, nomes de organizações em várias línguas nacionais e a transformação de dados Unicode. Para todos estes requisitos, como existem muitas combinações corretas que podem ser obtidas como possíveis, o reconhecimentos de diferenças fonéticas e semelhanças têm de ser asseguradas.

Além disso, há uma alta probabilidade de erros de gravação, especialmente no caso de nomes estrangeiros. O software deve também ser capaz de lidar com tais problemas. Finalmente, um óptimo equilíbrio entre as exigências do regulamento anti-terrorismo da UE e as opções para a revisão manual deve ser encontrada.

Vários desafios precisam ser superados antes de correspondência da empresa de dados contra as listas de sanção poder ser bem sucedida.
Estes desafios dizem respeito a (a) os respectivos processos e (b) uma solução técnica adequada para regular a congruência dos dados da empresa contra as listas de sanção que satisfaçam os requisitos dos regulamentos anti-terrorismo da UE.
- Uma rotina permanente de validação de todos os endereços mantidos numa empresa contra as listas de sanção devem ser garantidos.
- Uma vez que os dados da empresa, normalmente dizem respeito a um maior volume de dados, o match de registo a registo é praticamente impossível. Soluções de processamento em batch são necessárias aqui.
- As várias listas de sanções têm uma estrutura heterogénea. Isto significa que a falta de padronização dos diferentes arquivos devem ser resolvidos tecnicamente. Idealmente, a preparação destas listas de sanções deve ser integrada na actual calibração, de modo que a qualidade do match não seja prejudicado pela heterogeneidade da estrutura das listas de sanções e os seus defeitos de normalização.Finalmente, é necessário que a solução de software (a) leia nas diversas listas de sanção, sem qualquer problemas e (b) é caracterizada pela alta precisão do reconhecimento de match.Mais características desta solução software: deve ser um sistema especialista inteligente que usa análises endereço específico (fonética, a lógica fuzzy) e regulamentos de cada país. Parametrizações individuais dos algoritmos de correspondência também é importante, de modo que um alto grau de flexibilidade esteja prevista.

A LIMPEZA INICIAL E LIMPEZA BANCO DE DADOS DA EMPRESA DE DADOS
A meta inicial de um clean-up de rotina e de limpeza da base de dados é a validação de todas as pessoas, organizações e os endereços do sistema contra a versão mais recente da lista de sanção. O resultado desta validação é um arquivo de "aviso" que é posteriormente processado manualmente ou electronicamente. Todos os potenciais hits positivos do match são mostrados neste ficheiro de advertência. Os registos de dados devem ser revistos em cada caso. É recomendável que a limpeza da base de dados seja realizada regularmente.

LISTAS EXTERNAS (ALUGUER OU COMPRA)
Se os dados de endereço são adquiridos a partir de fontes externas, quer por aluguer ou compra, estes endereços devem também ser validados contra as listas de sanção. Cada lista deve ser verificada antes de ser usada. Casos suspeitos não deveriam estar disponíveis para processamento adicional, independentemente dos processos a jusante.
Exemplos de processos incluem a jusante transferência desses endereços para o sistema in house ou sua utilização em actividades de publicidade.

PROCESSAMENTO INDIVIDUAL PARA OS TRABALHADORES NUM CALL CENTER
Considerando os dados da empresa e listas de endereços externos pode ser validado contra listas de sanções em processos batch, os dados são validados registo a registo, nos call centers. Aqui, por exemplo, o software valida cada novo endereço para verificar se se trata de uma pessoa nas listas de sanção. Se há uma suspeita fundamentada, o funcionário administrativo recebe uma mensagem que o endereço não pode ser inserido no sistema, neste ponto. O endereço é disponibilizado para processamento em separado. No caso do processamento electrónico de registos únicos, os endereços suspeitos da empresa de jogos contra as listas de sanções são marcados de forma totalmente automática e / ou integração no sistema que impediu.

PROCESSAMENTO ELECTRÓNICO DE REGISTOS UNICOS
A correspondência automática, que não é activamente perceptível, é executada em background durante a aceitação de dados.
Potenciais matchs são marcados neste processo, assim podem ser processados por pessoal autorizado na fase posterior (veja abaixo). A vantagem da aplicação deste cenário é que os empregados não se irritam por possíveis avisos durante o contacto com o cliente e podem continuar a seguir os seus respectivos processos.

PROCESSAMENTO EM BATCH POR FUNCIONÁRIOS AUTORIZADOS
O processamento batch de casos suspeitos pode ser confiada a funcionários especialmente qualificados da empresa. Aqui os casos suspeitos provenientes da limpeza e validação de listas externas são carregados no sistema e apresentados aos trabalhadores para sua decisão. Uma ferramenta em tempo real é utilizada para a própria decisão, que realiza as validações mesmo para os casos suspeitos como para os processos batch, mas mostra-los individualmente no ecrã.
É, assim, garantido que os resultados de cada validação batch sejam executados manualmente, validados e decididos.

No que respeita à aplicação prática do regulamento anti-terrorismo da UE, a questão da qualidade dos dados não deve ser negligenciada. São quatro os pontos na qualidade dos dados e nas características dos processos que são relevantes:
Devem sempre ser tomadas em consideração estas preocupações com a qualidade dos dados e nos processos internos. A qualidade e o processo de criação das respectivas listas de sanções não vão ser postas em causa ou discutidas aqui.

TRANSPARÊNCIA
Transparência é definida aqui como o conhecimento e à rastreabilidade de todos os processos em causa com aquisição de dados, combinados contra as listas de sanção, registando e processando a jusante em caso de encontrar correspondências.As seguintes questões são levantadas a este respeito:
- Como, exactamente, são inseridos os dados na base de dados (Master)?
- Qual é a fonte de dados?
- Como é o que se encontram correspondências contra as listas de sanção?
- Existem logs gerados pelas operações de correspondência e como são administrados?
- Qual é o processo de actualização das listas de sanção?
- Como são tratadas as correspondências?

A legislação já fornece informações para algumas destas questões. No entanto, a pergunta é sempre sobre se os respectivos regulamentos são cumpridos.

CREDIBILIDADE
A credibilidade é definida como a idoneidade e fiabilidade do registo de dados de particulares. Esta definição pode ser estendida para a credibilidade dos processos com a correspondência entre os registos da base de dados (Master) contra as listas de sanções.- Pode ser a fonte de dados confiável?
- É a fonte de dados conhecida?
- É o processo para combinação dos dados contra a listas de sanções confiável?
- É a fonte das listas de sanção conhecida e é confiável?- Os algoritmos de correspondência são adequados?

LIBERDADE DE ERROS
A informação está livre de erros, se corresponde à realidade.
No que respeita à questão da liberdade de erros, As seguintes perguntas devem ser feitas sobre os dados in-house e do processo de correspondência:
- Está o master de dados livre de erros? (E se os dados têm qualidade controlada e otimizada, caso seja necessário?)
- O processo de aquisição de dados (master) foram definidos, de modo que as regras adequadas possam ser respeitadas?

No caso destas questões, torna-se evidente que uma certa qualidade do master de dados já está assumida. Se nada se sabe sobre a qualidade dos dados ou se não foram tomadas medidas para garantir uma qualidade de dados, que seja suficientemente alta para haver confiança na comparação contra as listas de sanção, o resultado da correspondência deve ser posto em causa.

ACTUALIZAÇÃO
A informação é actualizada se representar o real carácter do objecto descrito em tempo real.
Aqui também existem várias perguntas sobre como fazer a comparação com as listas de sanção, que devem ser levantadas:
- É a qualidade dos dados do master adequada para combinar os dados contra a lista de sanção?- As listas de sanções estão actualizadas?
- A execução técnica do processo para a combinação dos dados contra a sanção lista está actualizada?

Finalmente, a qualidade dos dados não diz respeito só à alta qualidade do master dos dados, mas também à qualidade dos processos. Isto refere-se aos processos que garantam a alta qualidade dos dados da empresa e processos que asseguram efectiva implementação de conformidade com o regulamento anti-terrorismo da EU. Torna-se claro aqui que a qualidade dos dados da empresa desempenha um grande papel quando ele é comparado com as listas de sanção.

A este respeito, não devemos ter só as preocupações com as componentes individuais do endereço, mas também os elementos do nome.
Este facto será considerado posteriormente com alguns exemplos.
Como não há a obrigação de fornecer uma verificação de conformidade com o regulamento anti-terrorismo da UE, é aconselhável para garantir que as provas documentais de correspondência são arquivadas, de modo que o processo totalmente "transparente" seja fornecido.

Acção Penal

Vale a pena conhecer as consequências do incumprimento com o regulamento anti-terrorismo da UE.

De referir que mesmo que de forma indirecta podemos ser afectados por esta lei cujas penas podem ir até aos 15 anos de prisão.

Artigo 5.º -A

Financiamento do terrorismo
1 — Quem, por quaisquer meios, directa ou indirectamente, fornecer, recolher ou detiver fundos ou bens de qualquer tipo, bem como produtos ou direitos susceptíveis de ser transformados em fundos, com a intenção de serem utilizados ou sabendo que podem ser utilizados, total ou parcialmente, no planeamento, na preparação ou para a prática dos factos previstos non.º 1 do artigo 2.º, ou praticar estes factos com a intenção referida no n.º 1 do artigo 3.º ou no n.º 1 do artigo 4.º, é punido com pena de prisão de 8 a 15 anos.
2 — Para que um acto constitua a infracção prevista no número anterior, não é necessário que os fundos provenham de terceiros, nem que tenham sido entregues a quem se destinam, ou que tenham sido efectivamente utilizados para cometer os factos nele previstos.
3 — A pena é especialmente atenuada ou não tem lugar a punição, se o agente voluntariamente abandonar a sua actividade, afastar ou fizer diminuir consideravelmente o perigo por ele provocado ou auxiliar concretamente na recolha de provas decisivas para a identificação ou a captura de outros responsáveis.

Mesmo as contra-ordenações são elevadas, podendo chegar aos 2.500.000€.

Artigo 54.º

Coimas
As contra-ordenações previstas no artigo anterior são puníveis nos seguintes termos:
a) Quando a infracção for praticada no âmbito da actividade de uma entidade financeira:
    i) Com coima de € 25 000 a € 2 500 000, se o agentefor uma pessoa colectiva;
    ii) Com coima de € 12 500 a € 1 250 000, se o agentefor uma pessoa singular;
b) Quando a infracção for praticada no âmbito da actividade de uma entidade não financeira, com excepção dos advogados e solicitadores:
    i) Com coima de € 5000 a € 500 000, se o agente for uma pessoa colectiva;
    ii) Com coima de € 2500 a € 250 000, se o agente for uma pessoa singular.

Depois ainda acrescem as sanções acessórias que podem significar interdição ou inibição do exercício de funções até 3 anos

Artigo 55.º

Sanções acessórias
Conjuntamente com as coimas, podem ser aplicadas ao responsável por qualquer das contra-ordenações previstas no artigo 53.º as seguintes sanções acessórias, em função da gravidade da infracção e da culpa do agente:
a) Interdição, por um período até três anos, do exercício da profissão ou da actividade a que a contra-ordenação respeita;
b) Inibição, por um período até três anos, do exercício de cargos sociais e de funções de administração, direcção, chefia e fiscalização em pessoas colectivas abrangidas pela presente lei, quando o infractor seja membro dos órgãos sociais, exerça cargos de direcção, chefia ou gestão ou actue em representação legal ou voluntária da pessoa colectiva;
c) Publicação da punição definitiva, a expensas do infractor, num jornal de larga difusão na localidade da sede ou do estabelecimento permanente do infractor ou, se este for uma pessoa singular, na localidade da sua residência.

O legislador logo no artigo 20º, cria uma salvaguarda de forma a proteger a identidade de quem fornece informações

Artigo 20.º

Protecção na prestação de informações
1 — As informações prestadas de boa fé pelas entidades sujeitas, no cumprimento dos deveres enumerados nos artigos 16.º, 17.º e 18.º, não constituem violação de qualquer dever de segredo, imposto por via legislativa,regulamentar ou contratual, nem implicam, para quem as preste, responsabilidade de qualquer tipo.
2 — Quem, ainda que com mera negligência, revelar ou favorecer a descoberta da identidade de quem forneceu informações, ao abrigo dos artigos referidos no número anterior, é punido com pena de prisão até três anos ou com pena de multa.

No próximo post vamos ver qual a relação de tudo isto com a qualidade de dados.