Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Uma discussão interessante que vai surgindo é o que é mais importante, se a Qualidade dos Dados (Data Quality) ou se Business Inteligence.

Antes de mais considero que a Qualidade de Dados deve existir mesmo sem BI, mas BI não deve existir sem Qualidade de Dados. Se tivermos uma base com dados de qualidade, normalizados, deduplicados, completos e precisos, certamente que com grande facilidade se retira informações pertinentes desses dados, mesmo sem ferramentas de BI. Ao contrario, se tivermos as melhores ferramentas de BI do mundo, mas a base de dados está sem qualidade porque os dados não estão normalizados, existem duplicados, os dados estão incompletos e são pouco precisos, nunca se conseguirá tirar informações válidas dessa informação.

No final e em conclusão não se deve fazer a discussão qual das ferramentas é mais importante, mas pelo contrário o que se deve é somar uma com a outra para que se possa assim ter melhores resultados. As ferramentas de DQ muito úteis, mas apenas em conjunto com as ferramentas de BI se consegue ter os melhores resultados, tal como o inverso também é válido. As ferramentas de Qualidade de Dados podem não ter resultados apresentações tão bonitas para enviar aos quadros superiores das empresas, podem até passar totalmente despercebidas em alguns casos, mas são fundamentais para se conseguir ter os melhores resultados.

Lucre com todas as soluções de Qualidade de Dados da Uniserv para Corporate Performance Management (CPM), incluindo:

• Excelente qualidade de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Data Profiling) e através do acompanhamento regular (Data Quality Monitoring)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, dados geográficos) no processamento em batch ou em tempo real. Os dados actuais e correctos, como base para uma correspondência precisa e confiável contra alvos de planeamento e indicadores de performance (Key Performance Indicators / KPI)
• Melhoria do desempenho dos vários departamentos e de toda a empresa através da optimização dos processos de negócio rápido
• Previsões realistas para o desenvolvimento das empresas que levam a decisões informadas negócios operacionais e estratégicas
• Reacção mais rápida às novas condições de mercado e desenvolvimentos internos
• Gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos dados armazenados

As soluções Uniserv Data Quality para o Corporate Performance Management (CPM) - elevada qualidade dos dados para melhorar o desempenho da sua empresa

As soluções de qualidade de dados da Uniserv vão ajudá-lo a gerar indicadores de desempenho precisos através da qualidade de dados máxima e projectar seus processos de negócio de forma mais eficiente e mais flexível, visualizar o desenvolvimento empresarial de forma mais realista e melhorar o desempenho da sua empresa.

Explorer. Qualidade dos dados para o CPM: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Batch Suite. Qualidade de dados para CPM: A suite completa de produtos para a transferência em batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Real-Time Services. Qualidade dos dados para CPM: Para a protecção imediata da sua qualidade de dados durante a transferência de dados para o Data Warehouse em (quase) em tempo real.

Monitor. Qualidade dos dados para CPM: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta sempre que os valores limite especificados sejam ultrapassados.

A nossa contribuição para o sucesso de Corporate Performance Management:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma ampla gama de sistemas e, caso seja necessário a reconversão do formato dos dados. Reconhecimento automático de duplicados e de agrupamento de dados de nome e endereço.
• A validação de dados, melhorando as funções e a consolidação e o acompanhamento dos valores-limite para as regras de negócio especificadas complementadas pelas ferramentas de qualidade de dados para CPM. Uniserv DQ Explorer, DQ Batch Suite, DQ Real-Time Services e DQ Monitor são a nossa contribuição para o sucesso do seu sistema CPM. Apenas os dados confiáveis ​​e válidos podem ser condensados ​​em informação e conhecimento que é usado para derivar recomendações para a acção.

As soluções de Business Intelligence (BI) são indispensáveis ​para os decisores das empresas como base para decisões de negócios. Considerando que estes normalmente usam ferramentas de relatórios para analisar e avaliar acontecimentos passados​​, a evolução desfavorável e problemas, Corporate Performance Management (CPM) e Business Performance Management (BPM) são abordagens orientadas para o futuro para a optimização operacional e estratégica de processos corporativos. Neste contexto, o planeamento de dados é comparado com os indicadores-chave do processo real, a fim de verificar a eficiência dos processos de negócio e adaptá-los o mais rapidamente possível, sempre com o objectivo de aumentar o desempenho e valor acrescentado da empresa. Não é à toa que a chave do sucesso é a qualidade máxima de dados em Data Warehouse como uma fonte de soluções de CPM.

Dados incorretos, desactualizados ou dados duplicados falsificam importantes figuras-chave
CPM está focada em figuras-chave (Key Performance Indicators / KPI) da empresa. Elas representam o desempenho quantitativo de um departamento ou toda a empresa e formam a base para o permanente acompanhamento, análise e optimização dos processos de negócio. Em contraste com o Business Intelligence, outras dimensões, tais como a satisfação do cliente, o valor de marcas e patentes, ou a motivação dos funcionários desempenham um papel no CPM, e não apenas indicadores financeiros e os tempos de produção. Uma vez que inúmeros sistemas de TI de diferentes departamentos teram que fornecer dados aqui, dados incorrectos, desactualizados ou duplicados podem ter um efeito devastador sobre a precisão e confiabilidade das avaliações.

Indicadores de desempenho inadequados levam a decisões incorrectas
Se os seus indicadores de desempenho são baseados em dados de baixa qualidade no Data Warehouse, resultados incorrectos podem ser obtidos quando os seus objectivos de planeamento são comparados com o desempenho actual da empresa. Isso pode significar que esteja a avaliar incorrectamente o desempenho dos vários departamentos, processos de negócios ou de toda a empresa e realizar a necessária optimização das actividades operacionais ou estratégicas demasiado tarde ou não de todo. Neste caso, as suas previsões podem estar erradas e rapidamente ficará atrás da concorrência. Gestão do risco também é afectado, se avaliar incorrectamente actuais pontos fracos, o que também pode causar dificuldades para cumprir os regulamentos de conformidade.

Falta de confiança no CPM - menor eficiência no planeamento empresarial
Se o sistema de CPM não atender as expectativas dos decisores como resultado da fraca qualidade dos dados e avaliações imprecisas, as excelentes oportunidades oferecidas pelo CPM não podem ser usadas de forma consistente. Mau planeamento e previsões ruins são o resultado inevitável aqui, já que as decisões não são feitas com base em análises de indicadores-chave, mas com base em informações insuficientes ou até no instinto.

Limpeza manual de dados atrasa decisões e aumenta os custos
Se os dados necessários para a análise estão incompletos, incorrectos e inconsistentes no Data Warehouse, têm que ser compilados manualmente, avaliados e preparados em relatórios. Isso impede que sejam comparados rapidamente contra metas planeadas e surjam ajustes nos prazos urgentes dos processos críticos de negócio. É assim gasta uma grande quantidade de dinheiro em recursos de TI que poderiam ser usados por exemplo para projectos de TI críticos para o negócio.