Qualidade de Dados / Data Quality

A bala de prata para o valor acrescentado
A qualidade dos dados é hoje uma tarefa fundamental nas empresas de todos os tamanhos, como resultado do aumento das quantidades de dados, o seu armazenamento numa ampla variedade de sistemas de fonte, um ambiente global competitivo, mercados cada vez mais complexos, e também como um resultado de novos regulamentos legais.

Dados harmonizados e optimizados têm uma importante contribuição para o valor acrescentado dos processos de negócio e são a base para melhores decisões de negócio. Os pré-requisitos são a análise de dados, padronização de dados e limpeza de dados, verificação pró-activa e monitorização contínua, a fim de evitar erros de dados na medida do possível, a longo prazo.

O foco na qualidade dos dados do cliente
As iniciativas de qualidade apoiadas, até agora, principalmente focada em aplicações operacionais no ambiente de dados do cliente, muitas vezes, exclusivamente, a nível nacional. Estas abordagens básicas são sustentadas principalmente por considerações de orientação para o cliente, de vendas e as perspectivas de comercialização. Como resultado, a qualidade dos dados é deliberadamente demarcada para efeitos do "customer" data quality (CDQ), que se concentra principalmente na visão única do cliente em aplicações de CRM, e é uma grande preocupação em marketing directo e um-para-um.

Iniciativa que procura cada vez mais a qualidade dos dados
Actualmente, a exigência de actualização e dados precisos está claramente a evoluir para os importantes sistemas de gestão e visões de processos de unidades de negócios individuais. Como resultado, o centro de interesses é sobre a busca de uma qualidade de dados abrangente para a empresa na globalidade. O volume de dados está realmente a crescer e cada organização é confrontada com o desafio de gerir uma quantidade enorme de "não-clientes", dados de produto, de operação, financeiros, dados de pedidos, informações sobre preços, etc
INICIATIVAS DE ALTA QUALIDADE DE DADOS SÃO PRÉ-REQUISITO...
- para o sucesso das aplicações que são críticas para o sucesso, tais como ERP, CRM ou modelos de negócio electrónico
- para satisfazer as normas legais,denominada por Compliance
- para a utilização de conceitos técnicos, como a gestão de dados ou armazenamento de dados

Criando a qualidade dos dados internacionais
Os dados não reconhecem fronteiras. Internacionalização e globalização cria novos desafios para soluções de qualidade de dados e processos em virtude das diferentes culturas, linguagens, padrões, formatos de dados, entre outras coisas. Ambos os aspectos formais e uma valorização cultural são aqui abordados, o conhecimento dos países e regiões do mundo é indispensável.
Além deste, outros dois aspectos importantes que devem ser cobertos por uma solução de qualidade de dados são de destacar: lidar com todos os scripts do mundo e da internacionalmente standartizada Unicode , bem como a disponibilidade de versões específicas de cada país de blocos de função e suas bases de conhecimento.

A qualidade dos dados feita pela Uniserv
Especialização em Qualidade dos dados
A Uniserv especializou-se em soluções de qualidade de dados. Desenvolvemos e comercializamos soluções de software padrão que satisfaçam os mais elevados padrões de qualidade dos dados. A nossa oferta inclui todas as importantes funções da qualidade dos dados do Ciclo de Vida. O Customer Data Quality Process (CDQ) em grandes bases de dados é uma área particular em foco. Um objectivo importante é permitir que a "visão única de cliente" possa tornar-se realidade nas empresas.

As soluções de software Uniserv podem ser integradas nos seus processos de negócio, arquitecturas de TI e aplicações.
Como resultado de extensas opções de personalização e da experiência das melhores práticas dos nossos consultores e parceiros, uma solução de qualidade de dados individuais pode ser criada optimizando seus processos de negócio e permite-lhe explorar ainda mais sucesso no mercado.

E assim você reduz os custos e riscos através da detecção de defeitos de qualidade nos seus dados mais rapidamente, a tomada de decisões tem como base em dados de alta qualidade e assegura que a qualidade elevada dos dados é fornecida em processos e aplicações, como resultado da monitorização contínua.

Informações úteis

Como é que a verificação da morada do Post para mySAP™ Business Suite difere de uma verificação "normal" look-up?

• Verificação automática e correcção de todos os elementos da morada.
• A verificação tolerante ao erro, de modo que muitos erros são corrigidos automaticamente, ou seja, sem intervenção do utilizador.
• Atribuição do código postal correcto baseado na rua, número da casa ou informações do apartado.
• Exibição das alternativas mais prováveis no caso de ambiguidades.

Como é que a verificação da morada, com o Post para mySAP™ Business Suite difere de outros sistemas de verificação de moradas?

• Versões nacionais do programa estão disponíveis para os mais importantes países europeus, assim como o Canadá e os EUA.
• Sempre que possível, os produtos Uniserv foram certificadas pelas autoridades postais nacionais.
• Uma verificação da rua e número de porta a nível nacional é possível num alto grau em todos os países.
• Uma maior actualização dos dados é fornecida por meio de actualizações regulares.
• Suporte de todas as características particulares postais nacionais.
• Suporta a funcionalidade de entrada rápida nos Países Baixos e Reino Unido.
• Os componentes do endereço digitado nos campos errados são automaticamente colocados nos campos correctos (importante para utilizadores inexperientes e endereços estrangeiros).
• Adição das coordenadas geográficas está disponível mediante subscrição, permitindo a atribuição automática de detalhes de dados até o nível de número da rua ou da porta ao introduzir ou mudar endereços.
• Disponibilização da "limpeza mensal" incluída na função básica. Como resultado, qualquer alteração na base de dados de endereços que se torne necessária devido à reorganização do governo local, mudanças em nomes de rua, a estrutura do código postal ou a classificação geográfica podem ser automaticamente detectadas e corrigidas na medida do possível.

Como é que o sistema de recuperação Mail para mySAP™ Business Suite difere do padrão de pesquisa com "wildcards" disponível no mySAP™ Business Suite?

• Os resultados são gerados muito mais rapidamente. Mesmo com bases de dados contendo vários milhões de endereços, o tempo de resposta é geralmente menos de um segundo.
• Pesquisas realizadas com Mail para mySAP™ Business Suite são tolerantes ao erro, mesmo sem "wildcards". Isto é importante mencionar, porque se fizer a entrada com "wildcards" presume-se que o utilizador suspeita que poderia haver um desvio!
• Resultados de qualidade elevada à saída, mesmo que a busca seja executada com registos incorrectos ou apenas com fragmentos do registo.
• A pesquisa pode ser executada automaticamente, sem a acção do utilizador para novas entradas e mudanças. Como resultado, a criação de duplicados é evitada na medida do possível sem uma busca intensa do utilizador.
• Os resultados são gerados de acordo com o grau de certeza.
• As inscrições podem ser feitas em ordem aleatória.
• Cada tipo de palavra, seja por exemplo o nome ou número de porta, podem ser especialmente ponderados na parametrização.

Quais as vantagens que o redesenho dos dois componentes Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite fornecem para o utilizador?

• Estrutura modular com baixo acoplamento dos componentes para o Business Address Services (BAS).
• Dissociação das funções de GUI para suportar aplicações web.
• Aplicação do princípio-guia ”Customizing instead of programming, user exits instead of modification”.
• Paralelização e optimização do desempenho, principalmente para clientes com bases de dados grandes.
• Capacidade de funcionamento a 100 por cento em unicode em aplicações e dados.
• Melhoria da reciclabilidade e uniformização, manutenção simplificada dos componentes.
• Disponibilização extensiva de extensões individuais e integração.

Como é que a solução completa da Uniserv difere de outros produtos no ambiente de solução SAP®?

• A experiência: Com mais de 3.300 instalações de servidor, as soluções de qualidade de dados da Uniserv são uma das soluções mais utilizadas internacionalmente.
• A Uniserv é um SAP® Software Partner.
• As soluções da Uniserv Post para mySAP™ Business Suite e Mail para mySAP™ Business Suite tem uma integração certificada SAP®.
• A Uniserv não só fornece componentes autónomos, mas também uma solução completa.
• Como resultado da arquitectura de layers, os componentes podem ser integrados no Business Address Services (BAS) e fora do BAS em aplicativos desenvolvidos in-house, AddOns ou aplicações web, como o Webclient IC. Uma conexão web permite o uso móvel das funções independente da localização.
• Verificação da morada e a verificação de duplicados geralmente são combinadas, conseguindo assim uma qualidade melhor de resultados na detecção de duplicados. Ambas as soluções são concebidas como pedidos de diálogo. Elas são complementadas pelo sistema de limpeza em batch (BCS), um batch de alta performance para a integração e depuração de dados em massa.
• As soluções Uniserv não fazem compromissos e foram desenvolvidos exclusivamente para a gestão de endereços e optimização da qualidade de dados on-line ou em processamento em batch.
• Alta escalabilidade, mesmo com muitos "power users", através da distribuição flexível em diferentes servidores físicos e lógicos.
• As soluções disponíveis são de orientação internacional, de aplicação neutra e independente da indústria e da plataforma.
• Elementos que se pagam imediatamente e resultam num ROI positivo, porque apoiam a gestão integrada do cliente do início ao fim e ajudam a desenvolver relacionamentos com os clientes de forma lucrativa.
• A partir de SAP® R/3® versão 4.6 C, os sistemas estão disponíveis como componentes para integração simples e extremamente rápida "plug & play".

Produtos Data Quality Uniserv: opções eficazes para a integração no seu sistema MDM

No que diz respeito à alta qualidade dos dados e à eficiência do sistema MDM associado, é irrelevante qual a arquitectura escolhida. A qualidade dos dados deve ser sempre de alto nível, não importa se a abordagem base a uma listagem variante ou a um master data completamente consolidado ou às fases intermédias de ambas as variantes sejam seleccionadas. Neste sentido, a questão mais interessante é como as medidas de garantia de qualidade podem ser mais efectivamente integradas no fluxo de dados.O uso do Data Quality Explorer na fase de planeamento da gestão de dados é uma boa ideia. O perfil das diferentes fontes de dados acima descritos podem ser realizado de forma rápida e simples por meio do DQ Explorer. Funções de fluxo de trabalho bem desenvolvido numa arquitectura cliente / servidor permite a optimização de longo prazo dos sistemas de dados de origem. Qualquer irregularidade pode ser anexada aos autos dos respectivos dados na forma de notas. Trabalhos em dados problemáticos também podem ser atribuído ao pessoal por e-mail. Optimização contínua e a preparação para a transferência inicial dos dados para o sistema MDM pode assim ser prosseguido durante o prazo do projecto.

O Data Quality Monitor suporta o monitorizar de KPIs. Como resultado, a optimização dos sistemas de origem pode ser verificada por meio de regras de negócio. Também pode ser utilizado nos sistemas de gestão de dados mestre existentes. Trabalhos de monitorização podem ser configurados de forma muito fácil e automaticamente iniciados. Além disso, a notificação automática do status do trabalho de monitorização também é possível.

Quando a consolidação inicial de diferentes sistemas e uma limpeza inicial dos dados estão em causa, o Data Quality Batch Suite da Uniserv fornece uma excelente opção para preparar os dados dos sistemas de várias fontes para entrada no sistema MDM.

Não são apenas validados os endereços e, se necessário, corrigidos no DQ Batch Suite, como os dados dos sistemas de diversas fontes também podem ser organizados em grupos e classificados num processo individual adaptado às regras de negócio.

Depois dos dados serem agrupados, podem ser consolidados. É, assim, garantido que nenhum dado importante seja perdido e as fontes de dados sejam devidamente ligadas. Escusado será dizer que as chaves primárias também podem ser geradas para a correspondência posterior na recuperação dos dados.

Sistemas de gestão de dados são também caracterizados pelo facto dos registos de dados serem constantemente alterados por meio da criação inicial de dados, informações suplementares ou correcções. O rápido retorno de um registo de dados chamado também deve ser garantida pela arquitectura do sistema.

Um conceito para executar essas mudanças e chamadas de dados é a integração de uma Arquitectura Orientada ao Serviço (SOA). As regras de negócio podem ser implementadas usando aplicativos por meio de SOA. Relativamente à qualidade dos dados e o uso do Uniserv Real-Time Services, isto significa que os registos duplicados de dados podem ser evitados. A correcção automática de endereços está garantida.

É hora de subir a bordo: A Auditoria de Qualidade de Dados DQ Audit da Uniserv pode ser usada para fazer declarações sobre o status quo dos dados in-house.
O DQ Audit é o primeiro passo fundamental para a tomada de decisões confiáveis - e marca a sua apresentação pessoal para o projecto "Qualidade de Dados no seu sistema MDM».
Durante a auditoria, a qualidade dos endereços é primariamente avaliada com o apoio das ferramentas da qualidade dos dados da Uniserv. Numa segunda etapa, há a possibilidade de ir à raiz das possíveis causas da deficiente qualidade dos dados numa análise dos processos. Portanto, a melhor coisa a fazer é entrar em contacto connosco imediatamente!

É possível ter a(s) nossa(s) bases de dados com qualidade de dados, mantendo acesso às mesmas e com elevada qualidade de dados, poupando dinheiro?

A primeira pergunta a ser feita caso existam várias Bases de dados, é se é necessário coexistirem essas diferentes Bases de dados e se não será vantajoso fazer uma integração. É sempre mais fácil de manter uma base de dados que muitas, sendo que em alguns casos os dados são coincidentes. Se tivermos duas bases de dados com dados dos nossos clientes e sejamos informados da alteração de morada, o mais certo é que essa alteração apenas seja feita em uma das bd's. Caso os dados estejam integrados, normalizados e deduplicados isso já não acontece. É tempo que não se perde e é a qualidade das BD's que aumenta por estarem sempre com os registos actualizados.

Depois desta integração ser ou não executada, uma vez que pode ser executada em service bureau e reintegrada nos moldes actuais, existem outras questões que convém estarem bem presentes, especialmente nos tempos de contenção de despesas que estamos a viver. É necessário manter uma estrutura interna para manter as bases de dados? Em muitos casos estamos a falar não apenas de servidores, como de recursos humanos que estão muitas vezes parcialmente alocados a este área, mas por norma não têm tempo, nem conhecimentos, nem as ferramentas para manterem uma BD com qualidade. Como tal a melhor opção é entregar a BD a uma empresa especializada.

Actualmente e com a velocidade que se consegue ter nas ligações de Internet, é possível ter acesso à BD quase como se estivesse dentro da própria rede da empresa. Com isto e através de web services consegue-se desenvolver programas que permitam ter acesso remoto, não apenas pelos meios tradicionais, mas permite ainda colocar os novos meios a comunicar com a BD. Nestes novos meios estou a falar por exemplo dos smartphones.

Tudo isto incluído pode ser desenvolvido à medida das especificidades de cada uma das empresas, com um custo que é certamente muito inferior ao custo que se tem em manter as BD's dentro da organização. Em muitos casos sem qualquer custo inicial de desenvolvimento/adaptação de plataformas. Usando assim as novas possibilidades de Saas.

Estamos numa fase de grandes transformações nesta complexa área de actividade e existem novos caminhos que estão a ser trilhados. O grande destaque é sem duvida a diversificação dos pontos de contacto suportados em múltiplos canais.

Se até aqui existia uma grande diversidade de pontos de contacto com as Bases de dados, agora estamos numa fase em que se multiplicam as interacções das Bases de dados de Marketing em canais tão diferentes como os call centers, Sites, plataformas sociais e muitos outros, muitos deles em tempo real. E é essa a grande alteração que existe nos dias que correm, e que dificulta ainda mais manter uma base de dados com qualidade.

Se até aqui se conseguia controlar os pontos de interacção com a Base de dados, nos dias que correm muitas dessas interacções são executadas pelo utilizador final, directamente na Base de dados sem qualquer verificação.

Por isso em muitas bases de dados os updates mensais são coisa do passado e os updates já são diários. Este aumento na frequência tem efeitos em inúmeras áreas dentro da empresa. As respostas têm de ser muito mais rápidas e precisas.

E o grande desafio é manter uma base de dados com elevados níveis de integração/higienização. Conflitos nos dados podem trazer não apenas perdas de eficiência dos dados, que é um custo para a empresa, mas igualmente pode ter efeitos na confiança dos utilizadores da base de dados, assim como dos clientes.

O grande desafio neste momento é conseguir ter uma elevada qualidade dos dados na captura ou alteração dos dados.

Isso apenas é possível com ferramentas que consigam fazer a normalização/correcção de forma automática e logo no momento mais critico, que é na introdução/alteração dos dados.