Qualidade de Dados / Data Quality

Um video com um exemplo do funcionamento das ferramentas de qualidade de dados no Salesforce.

http://www.data-quality-on-demand.com/media/en/film/salesforce.swf

Neste video podemos ver numa primeira fase a normalização das moradas, no caso moradas americanas.

Como se pode ver igualmente no video executar a normalização a mais de uma morada.

Na fase seguinte temos a busca de duplicados dentro da base existentes de registos com a possibilidade de complementarização consoante os melhores dados existentes.

Com integração "plug and play" estas ferramentas apresentam resultados excelentes conforme pode ser demonstrado no demo online, mesmo com os erros comuns de digitação, fonéticos e outros.

Como ponto de partida temos de dividir os esforços para melhoramento da qualidade de dados entre projectos e soluções.

Nos projectos poderemos ter custos que dificilmente se consegue encontrar benefícios para eles, ou porque os projectos são mal concebidos, complexos e falham o ataque às causas da má qualidade dos dados.

Tradicionalmente as soluções de melhoramento de qualidade de dados têm retorno no investimento e impacto na organização com o aumento nos lucros tanto no aumento da facturação, como na redução de custos e redução de riscos vários.

Quando por exemplo num call center se reduz o numero de teclas necessárias para ter uma morada válida, ou para se encontrar um registo, isso tem um retorno visível e praticamente imediato nos custos. Se no final do dia se conseguir atender mais 10% das pessoas por que as ferramentas de qualidade de dados ajudaram na velocidade de atendimento, isso é facilmente detectável nas métricas do call center.

Por outro lado se nos devolvidos das campanhas, tivermos uma taxa de devolução reduzida relativamente aos dados anteriores, também representa valores mesuráveis e que ajudam a validar a implementação destas soluções.

Muitas vezes perguntam como consegue aferir a qualidade dos dados das empresas. Existem algumas ferramentas que o possibilitam, mas existe uma forma ainda mais simples. Ordenar os diferentes campos que compõem a base de dados e normalmente os erros aparecem de forma "natural". Provavelmente no campo do código postal podem aparecer em alguns casos códigos postais tipo "0000-000". Caso o sistema já esteja preparado para evitar estes casos podem existir muitos "X000-000" ou "X000-999". Os utilizadores encontram sempre forma de "dar a volta" ao sistema.

Por outro lado, ordenando os campos código postal e morada, vão encontrar muitos erros nas moradas, que estão escritas de formas totalmente distintas. Ruas como a Rua Calouste Gulbenkian devem existir versões de todas as formas. E é aqui que existe a distinção entre os projectos e as soluções de melhoria de qualidade de dados. Num projecto no dia seguinte os dados estão correctos, mas uma semana depois já existe "lixo" no sistema. É que se na Rua Calouste Gulbenkian pode não criar muitas duvidas na entrega da correspondência existem outros exemplos em que a escrita pode ser totalmente impeditiva da entrega da mesma.

Não estou com isto a dizer que os projectos de qualidade de dados não devem ser feitos, estou sim a dizer que devem ser complementados com a implementação de soluções de qualidade de dados. Apenas assim conseguimos assegurar a manutenção da qualidade dos dados e mais que isso, a redução dos custos.

Lucre com todas as soluções de Qualidade de Dados da Uniserv para Corporate Performance Management (CPM), incluindo:

• Excelente qualidade de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Data Profiling) e através do acompanhamento regular (Data Quality Monitoring)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, dados geográficos) no processamento em batch ou em tempo real. Os dados actuais e correctos, como base para uma correspondência precisa e confiável contra alvos de planeamento e indicadores de performance (Key Performance Indicators / KPI)
• Melhoria do desempenho dos vários departamentos e de toda a empresa através da optimização dos processos de negócio rápido
• Previsões realistas para o desenvolvimento das empresas que levam a decisões informadas negócios operacionais e estratégicas
• Reacção mais rápida às novas condições de mercado e desenvolvimentos internos
• Gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos dados armazenados

As soluções Uniserv Data Quality para o Corporate Performance Management (CPM) - elevada qualidade dos dados para melhorar o desempenho da sua empresa

As soluções de qualidade de dados da Uniserv vão ajudá-lo a gerar indicadores de desempenho precisos através da qualidade de dados máxima e projectar seus processos de negócio de forma mais eficiente e mais flexível, visualizar o desenvolvimento empresarial de forma mais realista e melhorar o desempenho da sua empresa.

Explorer. Qualidade dos dados para o CPM: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Batch Suite. Qualidade de dados para CPM: A suite completa de produtos para a transferência em batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Real-Time Services. Qualidade dos dados para CPM: Para a protecção imediata da sua qualidade de dados durante a transferência de dados para o Data Warehouse em (quase) em tempo real.

Monitor. Qualidade dos dados para CPM: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta sempre que os valores limite especificados sejam ultrapassados.

A nossa contribuição para o sucesso de Corporate Performance Management:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma ampla gama de sistemas e, caso seja necessário a reconversão do formato dos dados. Reconhecimento automático de duplicados e de agrupamento de dados de nome e endereço.
• A validação de dados, melhorando as funções e a consolidação e o acompanhamento dos valores-limite para as regras de negócio especificadas complementadas pelas ferramentas de qualidade de dados para CPM. Uniserv DQ Explorer, DQ Batch Suite, DQ Real-Time Services e DQ Monitor são a nossa contribuição para o sucesso do seu sistema CPM. Apenas os dados confiáveis ​​e válidos podem ser condensados ​​em informação e conhecimento que é usado para derivar recomendações para a acção.

As soluções de Business Intelligence (BI) são indispensáveis ​para os decisores das empresas como base para decisões de negócios. Considerando que estes normalmente usam ferramentas de relatórios para analisar e avaliar acontecimentos passados​​, a evolução desfavorável e problemas, Corporate Performance Management (CPM) e Business Performance Management (BPM) são abordagens orientadas para o futuro para a optimização operacional e estratégica de processos corporativos. Neste contexto, o planeamento de dados é comparado com os indicadores-chave do processo real, a fim de verificar a eficiência dos processos de negócio e adaptá-los o mais rapidamente possível, sempre com o objectivo de aumentar o desempenho e valor acrescentado da empresa. Não é à toa que a chave do sucesso é a qualidade máxima de dados em Data Warehouse como uma fonte de soluções de CPM.

Dados incorretos, desactualizados ou dados duplicados falsificam importantes figuras-chave
CPM está focada em figuras-chave (Key Performance Indicators / KPI) da empresa. Elas representam o desempenho quantitativo de um departamento ou toda a empresa e formam a base para o permanente acompanhamento, análise e optimização dos processos de negócio. Em contraste com o Business Intelligence, outras dimensões, tais como a satisfação do cliente, o valor de marcas e patentes, ou a motivação dos funcionários desempenham um papel no CPM, e não apenas indicadores financeiros e os tempos de produção. Uma vez que inúmeros sistemas de TI de diferentes departamentos teram que fornecer dados aqui, dados incorrectos, desactualizados ou duplicados podem ter um efeito devastador sobre a precisão e confiabilidade das avaliações.

Indicadores de desempenho inadequados levam a decisões incorrectas
Se os seus indicadores de desempenho são baseados em dados de baixa qualidade no Data Warehouse, resultados incorrectos podem ser obtidos quando os seus objectivos de planeamento são comparados com o desempenho actual da empresa. Isso pode significar que esteja a avaliar incorrectamente o desempenho dos vários departamentos, processos de negócios ou de toda a empresa e realizar a necessária optimização das actividades operacionais ou estratégicas demasiado tarde ou não de todo. Neste caso, as suas previsões podem estar erradas e rapidamente ficará atrás da concorrência. Gestão do risco também é afectado, se avaliar incorrectamente actuais pontos fracos, o que também pode causar dificuldades para cumprir os regulamentos de conformidade.

Falta de confiança no CPM - menor eficiência no planeamento empresarial
Se o sistema de CPM não atender as expectativas dos decisores como resultado da fraca qualidade dos dados e avaliações imprecisas, as excelentes oportunidades oferecidas pelo CPM não podem ser usadas de forma consistente. Mau planeamento e previsões ruins são o resultado inevitável aqui, já que as decisões não são feitas com base em análises de indicadores-chave, mas com base em informações insuficientes ou até no instinto.

Limpeza manual de dados atrasa decisões e aumenta os custos
Se os dados necessários para a análise estão incompletos, incorrectos e inconsistentes no Data Warehouse, têm que ser compilados manualmente, avaliados e preparados em relatórios. Isso impede que sejam comparados rapidamente contra metas planeadas e surjam ajustes nos prazos urgentes dos processos críticos de negócio. É assim gasta uma grande quantidade de dinheiro em recursos de TI que poderiam ser usados por exemplo para projectos de TI críticos para o negócio.

A percepção que existem problemas na qualidade dos dados é em muitos casos uma realidade nas empresas, a maior dificuldade é a percepção da dimensão do problema.

Aqui surgem dois aspectos que normalmente impedem a percepção da dimensão: uma é a forma e a outra é a vontade de conseguir quantificar problema.

É sempre complicado conseguir uma forma de medir a qualidade ou falta de qualidade dos dados porque não existem métricas exactas que possam ser aplicadas directamente, embora como mostrei nos posts relativos ao conceito, definição de qualidade de dados (Data Quality) e na segunda parte do mesmo, há sempre formas de conseguir quantificar, todos conhecem sintomas que surgem quando a qualidade dos dados não está em condições, porque há sempre qualquer coisa que corre mal devido a essa falta de qualidade de dados. Casos em que uma resposta demora mais tempo que o deveria ser suposto porque houve necessidade de "limpeza" dos dados. Um exemplo simples, uma simples contagem por Concelho é adiada porque afinal nem todos os registos tinham Concelho atribuído, ou porque existiam muitos em que os Concelhos atribuídos estavam errados. E para tal, em vez de se esperar 5 minutos por uma contagem, os dados chegam uma semana depois. Em casos urgentes em que sejam necessários esses dados na hora, quando chegam, já é tarde demais. Depois sim é "ordenada" uma vistoria a todos os dados dos Concelhos, para que não volte a ocorrer tal situação.

Mas muitas vezes o mais complicado é mesmo a vontade de conseguir quantificar o problema. Porquê? Porque isso implica o assumir da existência de um problema. Devido aos afazeres do dia-a-dia, estar a "criar" mais um problema é sempre complicado. Quando aparece um problema especifico fazem-se as necessárias correcções. É um exemplo que dou vezes sem conta, mas é uma pergunta que faço invariavelmente e que tem a mesma resposta também invariavelmente. Para se saber o estado da base de dados pergunto o numero de devolvidos que são recebidos e a resposta é sempre um rotundo "não fazemos a mínima ideia".

Volto a referir para que não tirem conclusões precipitadas das minhas palavras. A perfeição em termos de qualidade de dados é impossível de alcançar, mas é possível minimizar os problemas nos dados numa base permanente e constante, evitando grandes alterações nas condições dos dados.

Depois de uma semana um pouco complicada, aqui estou de volta já praticamente curado e com novidades.

Já está disponível o novo formulário para os testes online, embora ainda não esteja totalmente optimizado, ainda estamos com problemas com a ligação ao Google Maps.

Novidade mesmo é que agora se pode alterar o país de origem da morada que se quer normalizar directamente.

Estão disponíveis todos os países, embora com níveis de normalização totalmente diferentes. Logicamente que o ficheiro de arruamentos de Portugal é muito mais completo que o do Burkina Faso.

Infelizmente recomeçamos a ouvir falar no falhanço dos projectos de BI por esse mundo fora, tal como no final dos anos 90 até ao inicio do século se foi ouvindo falar do falhanços dos projectos de CRM, nos quais se investiram milhões e se retiraram tostões. Esta frase foi utilizada no primeiro post aqui deste blog já lá vão quase dois anos e mantém-se actual.

Tenho andado a adiar este post, mas ontem depois de mais algumas mensagens relacionadas com o tema, decidi que finalmente era hora de falar deste tema.

Os valores ainda são muito dispares e vão desde os 70 a 80% apontados pela Gartner, penso que poucos podem duvidar da independência dos estudos da Gartner. Quando falamos de previsões, falham como todos, mas em termos de estudos. por norma são a grande referencia internacional.

Outros ainda falam de 50%, mas são sempre valores elevados que estamos a falar e mais elevados ainda se tivermos em consideração os valores monetários.

Do muito que se pode ler relacionado com o tema por esses sites e blogs, um tema é comum. A Qualidade dos Dados está sempre no top dos motivos que levam ao falhanço dos projectos de BI.

Como estou a colocar números, vamos a mais alguns, pena que já tenham alguns anos, mas continuam certamente muito actuais. Num estudo de 2005 da Business Week chegou-se à conclusão que 43% dos utilizadores dizem não ter a certeza que os dados internos estão correctos, que 77% dizem que más decisões foram tomadas devido à falta de informação e 4 em cada 5 não acredita nas estatísticas das apresentações. Um outro estudo do Data Warehousing Institute diz que a falta de qualidade nos dados dos consumidores custaram às empresas Norte Americanas $611 mil milhões de dólares por ano. No entanto quase metade das empresas inquiridas admitiram que não têm planos para incrementar a qualidade dos dados.

O incremento da qualidade dos dados não é a solução final e absoluta para o sucesso dos projectos de BI, mas ajuda significativamente para evitar o falhanço dos projectos de BI. Não querendo de forma nenhuma colocar a foice em seara alheia, diria que o principal factor para o sucesso, será o factor humano, seguido pela qualidade dos dados.

Tal como prometido no post anterior aqui ficam algumas soluções para minimizar os problemas de qualidade de dados.

Vamos ver se consigo abranger todos os tópicos colocados, mas tenho desde já de fazer uma ressalva. A limpeza dos dados é tudo menos um processo estético. Não se deve fazer uma limpeza de dados apenas para que fiquem "mais bonitos", até porque a isso não se deve chamar limpeza de dados, muito menos processo de qualidade de dados. Isto vem na sequência de uma mensagem que recebi e como não quero que restem duvidas acerca deste aspecto venho aqui reiterar a importância dos processos de qualidade de dados.

Vou tentar mostrar como os processos de qualidade de dados podem ajudar a melhorar, não apenas os dados em si, mas especialmente conseguir em primeira analise a melhoria imediata dos dados, de forma a rentabilizar os mesmos, podendo dessa forma ter um retorno no investimento rapidamente.

Muitos são os estudos e todos apontam para valores assustadores de custos. Vamos desde os 5% do PIB Norte-Americano, aos 10% das receitas das empresas Australianas e da Nova Zelândia para alem de muitos outros valores todos eles como foi dito... assustadores.

Em Portugal nunca foi feito nenhum estudo concreto dos valores que a falta de qualidade dos dados nas nossas empresas representam. Provavelmente porque é um problema que se vai adiando, porque os custos não são medidos, como tal não existem. Os devolvidos são colocados num armazém e nem sequer são contados e quando são contados por norma não se faz contas ao custo total desses devolvidos. Fiz uma pequena "calculadora" onde se pode calcular o custo aproximado total destes devolvidos, com valores a que tive acesso de uma campanha de um prospect. Não é nada muito elaborado nem tenta ser. É apenas para que se possa ter uma forma simples de ter uma noção dos custos.

Estes processos de qualidade de dados podem ser mais ou menos complexos dependendo muito não apenas dos problemas existentes, mas também da disponibilidade de mudança da empresa. Idealmente estes processos deveriam iniciar-se com um data profiling.

Nesta primeira fase, será feita uma representação das fontes de dados, com os nomes dos campos, a sua descrição, os máximos e mínimos. Ter uma representação dos valores, mostrando os padrões, com as frequências para que rapidamente se possam detectar erros nos dados existentes. Verificar a informação das tabelas ligadas, a existência de registos órfãos, detecção de sobreposições, verificação dos dados dos campos por entradas válidas, detecção de tabelas não normalizadas, entre outras verificações de todos os campos existentes permitindo assim que se tenha uma noção rapida e concreta de todas as dificuldades existentes. Este trabalho pode ser executado manualmente, mas com a execução destes softwares o tempo de execução é reduzido para 15% em norma.

Numa segunda fase temos os processos batch. Para alem da correcção dos problemas nos dados que tenham sido encontrados anteriormente deverão ser igualmente executadas a normalização de moradas e a procura de duplicados, que são uma ajuda fundamental para incrementar a qualidade dos dados, mas apenas servem para melhorar no imediato essa qualidade. Depois são necessários softwares que mantenham essa qualidade. Caso contrario passados uns meses já se perdeu novamente a confiança nos dados.

Essa terceira fase que deve ser colocada em implementação conjuntamente com esta segunda fase, é constituída pela implementação de softwares online que permitem que todas as interacções entre os utilizadores e a base de dados sejam feitas de forma a manter os dados limpos.

Este processo tem 3 vertentes, uma a normalização/correcção das moradas, impedindo que moradas erradas entrem no sistema, outra vertente a deduplicação/desduplicação dos registos, evitando que registos duplicados entrem em BD e por fim uma monitorização de todos os outros campos da BD, impedindo que erros já detectados voltem a ocorrer.

Todos estes processos já foram de alguma forma aqui demonstrados neste blog. Temos por exemplo o profiling, os processos batch, a parte da normalização/correcção de moradas e finalmente a monitorização.

Nestes últimos dias tenho recebido de algumas de empresas, das quais sou cliente pedidos de actualização de morada e cartas com moradas que me fazem aumentar algumas preocupações.

Dos exemplos que tenho comigo, são 2 cartas, que só não foram devolvidas por "carolice" do carteiro, e uma outra empresa que me pede para reenviar os dados da morada, sinal que ou os perderam, que acho estranho com os processos de backup existentes e que as grandes empresas por norma têm, ou depois de um processo de qualidade de dados, com um normalização /tratamento /higienização de moradas, como lhe queiram chamar, foram adulterados de tal forma que já não é possível que as cartas cheguem ao destino.

Isto preocupa-me duplamente porque se por um lado existem empresas que estão a tratar os meus dados desta forma, a outra preocupação é a imagem que estes falsos processos de normalização /tratamento /higienização vão deixar nas empresas que os fizeram. Isto porque alguns destes até são executados por empresas bem cotadas na nossa "praça".

Como fiz a adaptação de um software para Portugal, sei quais são as principais dificuldades com que nos fomos deparando ao longo desse processo e que vou tentar aqui resumir um pouco para que se possa ter noção do porquê da existência destes problemas. Já lá vão mais de 10 anos mas até aqui pouco mudou. O que existia eram bases de dados de moradas com o histórico de erros. No que consiste esta técnica? Cada vez que se encontra uma rua escrita de forma diferente, essa forma é anexada ao histórico e na próxima vez que surja é corrigida automaticamente. Logicamente que isto é um processo muito complicado e muito falível, como tal não seria uma solução para o problema, mas um remendo. Existia a hipótese de desenvolver internamente uma ferramenta, mas se a roda já foi inventada... Como solução existia a colocação de ferramentas internacionais, mas aí chegados outros problemas surgiram:
- A primeira dificuldade encontrada aquando da busca de um software no mercado internacional foi a disponibilidade de adaptação à realidade Portuguesa. Se por um lado temos especificidades que não se encontram em mais nenhum país da Europa e algumas mesmo do mundo, por outro temos uma dimensão de Portugal que nem sempre permite às grandes multinacionais investir uma vez que podem não ter grandes possibilidades de retorno.
- A falta de informação existente em Portugal relativa a esta matéria. Não existe um organismo ou instituição responsável pelas moradas em Portugal. Assistimos a "crimes" como a numeração que foi colocada na zona da Expo, que não se compreende como é possível num país europeu se permite que tal exista na sua capital. Somos talvez o unico país na Europa que tem na mesma localidade a Rua, Travessa e o Largo da Liberdade entre muitos outros.

Por tudo isto e muito mais, o que recomendo é que antes de investirem em processos de normalização/ tratamento / higienização de moradas, é que peçam um teste a um numero razoável de dados, numero que apenas possa tratado de forma automatizada.

Desta forma, consegue-se separar o trigo do joio, uma vez que já existem algumas empresas a apregoar a normalização /tratamento /higienização de moradas, mas que tem por base pseudo-ferramentas desenvolvida em cima do joelho e que são testadas com os dados dos clientes, com todos os problemas que isso acarreta.

Para finalizar tenho ainda que esclarecer a diferença entre vários conceitos que andam misturados neste tema.

Normalização de dados: A normalização de dados é uma definição um pouco subjectiva. Se por um lado poderemos considerar a Normalização de dados como todo o processo qualidade de dados, existe ainda quem pense que a normalização de dados é colocar todas as Ruas como R., todas as Avenidas como Av. etc.
A normalização /tratamento /higienização de moradas é mais que isso, este processo até acaba por ser o processo mais simples. O mais complicado é a parte da comparação/correcção da morada com o ficheiro de arruamentos de referencia. Aqui sim existem inúmeros problemas que podem surgir. Como exemplo, ruas Alfredo da Costa em Sintra existem 3 ruas diferentes, se não existir um software preparado para estas situações, o mais certo é haver problemas no final.

Como tal, volto a alertar para o teste dos softwares antes de colocarem os dados dos Vossos clientes em risco. São poucas as empresas que têm confiança no seu software, de forma a colocarem no site um demo do mesmo.

Podem existir muitas razões, mas em grande parte dos casos a resposta é simples. Falta de qualidade de dados!

Como se pode ter bons resultados se os dados, que são os alicerces de toda a estrutura não estão consolidados, têm erros, existe falta de dados essenciais e muitos outros problemas?

A maioria das empresas acha que os seus dados estão excelentes, porque os devolvidos não são contabilizados, são apenas "despejados" para uma arrecadação da empresa, ou chegam aos destinatários apenas porque o carteiro já conhece o nome da pessoa. Mas, estamos a assistir a uma renovação dos carteiros e isso vai levar à existência de mais devolvidos. mais uma vez como voltam para a tal arrecadação, continua a não existir o problema.

Os custos de uma devolução não podem ser contabilizados, porque para alem dos custos dos portes, do envelope, da carta ou peça publicitaria existente no envelope, existem depois outros que são impossíveis de contabilizar. Por exemplo o custo da imagem. Um cliente que não recebe uma comunicação importante, ou que recebe um folheto publicitário várias vezes, pode ser um cliente perdido.

Alguns dos problemas que se encontram muitas vezes e que impedem os sistemas de ter bons resultados são:

• o mesmo cliente existe em vários registos porque não existe um processo fiável de verificação de duplicados, fazendo com que um excelente cliente, seja considerado apenas várias vezes como clientes medianos.
• os dados da morada do cliente não são normalizados/ verificados/ corrigidos, fazendo com que por exemplo não seja atribuído à respectiva área geográfica. Em muitos casos apenas existe o campo do Endereço Postal, não existindo também o campo Localidade, que em Portugal pode ser o suficiente para a devolução de correspondência.
• Como os dados não estão correctos, não é possível geo-referenciar. A georeferenciação é hoje em dia uma ferramenta muito importante para quase todos os negócios.
• existem erros em dados fulcrais por falta de um sistema de monitorização, que impeça esses erros de continuarem no sistema, muitas vezes ad eternum.
• Dados dos vários sistemas não são cruzados porque os sistemas usam ID's diferentes para o mesmo cliente e como tal falta informação no sistema principal para que se possa ter uma melhor noção da situação real.

Tudo isto pode ser ser evitado, tomando alguns cuidados.

• Existir apenas um responsável pelos dados da empresa. A noção que os dados são responsabilidade de todos é sem duvida teoricamente uma boa politica, mas na realidade acaba por desresponsabilizar todos, tendo um efeito contrario na qualidade dos dados.
• Fazer um profiling dos dados de forma a saber quais os erros que existem em BD. Desta forma é possível não apenas corrigir os erros existentes, mas também tomar medidas para prevenir que voltem a ocorrer.
• Fazer uma normalização/ correcção/ verificação dos dados e uma deduplicação de forma a consolidar os dados em modo batch. Desta forma os dados ficam com qualidade.
• Ter a noção que a perfeição em qualidade de dados é impossível de alcançar. Todos os dias trabalhamos para nos aproximar, mas todos os dias há novos dados, dados alterados. O problema mais uma vez é o pensar que os dados estão correctos. Isso nunca acontece. Há formas de minimizar os erros, umas melhores (online), outras com altos e baixos (batch periódico).
• Colocação de um software de monitorização dos dados, para que possam existir alarmes quando um erro está a ser colocado no sistema e não traga problemas posteriormente.

Lucre com todas as Soluções de Qualidade de dados da Uniserv para Business Intelligence, incluindo:

• Excelente qualidde de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Perfil de Dados) e através de um acompanhamento regular (dados de controlo de qualidade)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone)
• A consolidação dos dados do cliente, mesmo se não houver um número de referência estável, ou a formação de households, mesmo que esta informação não seja mantida nos sistemas operacionais.
• Ganhar novas dimensões de análise a de avaliação de dados, aumentando os dados do seu cliente, por exemplo com referências geográficas, os indicadores de antecedentes, Códigos do sector, etc e, portanto, informações completamente novas no que diz respeito aos "espaços vazios" no seu mapa de vendas e marketing ou as potencialidades do segmento de clientes individuais
• decisões de negócio e maior capacidade de reagir às mudanças do mercado e novas exigências do sector específico, industrial ou comercial, por meio da elaboração de uma informação correcta, completa e up-to-date e a sua disponibilidade para a gestão e pessoal.
• Alta qualidade de dados como base para o uso eficiente de todos os formatos de análise e visualização da solução de BI, como painéis, cockpits, OLAP e avisos
• De planeamento empresarial mais rápido, mais flexível através de uma visão actual, confiável de todas as áreas da empresa
• previsão mais confiável e orientada para o futuro através do uso de soluções adicionais para aumentar o desempenho da empresa, como Corporate Performance Management
• gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos (governamentais, de risco e conformidade) por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos stocks de dados

Soluções de Qualidade dos dados da Uniserv para Business Intelligence - elevada qualidade dos dados para uma melhor tomada de decisão

Uniserv Data Quality Solutions ajuda a tomar as suas decisões de negócio com base em dados fiáveis e actualizados, minimizar os riscos e projectar a gestão operacional e estratégica de negócios de forma mais flexível e mais rapidamente.

Data Quality Explorer para BI: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Data Quality Batch Suite para BI: A suite completa de produtos para a transferência batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Data Quality Real-Time Services para BI: Para a protecção imediata da sua qualidade de dados durante a transferência de dados dos sistemas operacionais para o data warehouse em tempo real.

Data Quality Monitor para BI: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta que se os valores limite especificados são ultrapassados.

A nossa contribuição para a eficiência do Business Intelligence:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma grande variedade de flat files e bases de dados, onde a conversão do campo ou formato de gravação é necessária. Reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, a fim de fundir, por exemplo dados do cliente no grupo de empresas, mesmo se as delegações funcionam com os dados não sincronizados (sistemas de numeração diferente do cliente), ou uma visão única da família (household) está a ser formada no Data Warehouse, mas esta informação não é fornecida pelos sistemas operativos.
• A validação de dados, melhorando as funções e a consolidação, o acompanhamento dos valores-limite para as regras de negócio especificadas completando a tool box de qualidade dos dados para BDW e BI. O DQ Explorer, DQ Batch Suite, DQ Real-Time Services e o DQ Monitor são a nossa contribuição para o sucesso do uso dos seus sistemas de Business Data Warehouse e BI. Para que informação confiável seja obtida a partir dos dados.

Proximo post: Qualidade de dados BI: Vantagens

Lucre com todas Soluções de Qualidade de Dados da Uniserv para e-commerce e portais da Internet, incluindo:

• Óptima qualidade dos dados através do acompanhamento permanente na criação inicial de dados e alterações (Data Quality Firewall)
• Revisão confiável dos dados (Data Cleansing) de acordo com as regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone) no processamento em batch ou em tempo real.
• Entregas rápidas e confiáveis de bens com os clientes satisfeitos, criando laços fortes.
• Baixa os custos de postagem para correspondência em massa por meio de dados de alta qualidade endereço
• Extensas análises do comportamento do consumidor para o uso eficiente dos potenciais upselling e cross-selling numa base up-to-date, corrigida e livre de clientes duplicados e de dados de transacções fiável.
• Fluxo de caixa com receitas de confiança, planeável e uma minimização dos riscos de atrasos nos pagamentos ou não pagamentos por meio de dados precisos de pedido e de clientes

Máxima qualidade dos dados para transacções suaves

As Soluções de Qualidade de Dados da Uniserv ajudam a operar as suas aplicações de comércio electrónico e compras online com sucesso. Dados correctos, actualizados e consistentes a partir de uma entrada de dados confiável que garanta as entregas de mercadorias, rápido fluxo de caixa, receitas planeáveis e clientes satisfeitos.

Data Quality Batch Suite para CRM: A suite completa de produtos para a verificação em batch totalmente automatizadas e limpeza de dados de clientes em aplicações de comércio electrónico.

Data Quality Real-Time Services para CRM: Para protecção imediata da Qualidade dos seus Dados na entrada de dados nos sistemas on-line pelos seus clientes.

A nossa contribuição para aplicações bem sucedidas de e-Commerce e portais Web: Pesquisa rápida, tolerante ao erro, o reconhecimento automático de duplicados e de agrupamentos de dados por nome e morada, validação de dados e aumento ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ Real-Time Services - a nossa contribuição para o sucesso do uso das suas aplicações de e-commerce.

Qualidade de Dados no e-commerce mantém o fluxo de caixa em movimento

As aplicações de negócios em e-commerce ou aplicações Web portal têm uma grande diferença de outras aplicações de negócios: a operação e entrada de dados são realizadas directamente pelo cliente ou potencial cliente e não por pessoal treinado. Erros de entrada - intencionais ou acidentais - são uma ocorrência diária. Esses erros afectam a qualidade dos dados e podem ter um impacto significativo nas transacções rápidas, sem sobressaltos e num fluxo de caixa confiável.

DESAFIOS
Endereços incorrectos ou não entregues - os custos sobem, as vendas caem

Existem muitas razões para a existência de endereços incorrectos ou não entregues. Todos têm uma coisa em comum: custos adicionais desnecessários e perda de vendas para as empresas de catálogos por Internet e os operadores das lojas online com entregas pelos correios.

• Evitar erros de digitação que evitem que a mercadoria chegue ao cliente fazendo com que haja elevados custos de pesquisa adicional. Descontos nos portes postais podem ser reduzidos ou cancelados pelo transportador porque os mails em massa incluem um grande número de endereços incorrectos.
• Erros de entrada de dados causados por máscaras de entrada incertas ou não disponíveis que tornam mais difícil a entrada correcta ou forneçam dados de forma incorrecta - este é um problema particular em aplicações internacionais, com estruturas de endereço diferente. Estes têm de ser limpos manualmente com um alto investimento de tempo e custos operacionais. A satisfação do cliente e retenção de clientes também são afectados.
• Entradas incorrectas deliberadamente (endereços fictícios) iniciando processos de expedição, que custam dinheiro e que tem de ser revertido com grande esforço.
• A mercadoria não pode ser entregue como resultado de endereços antigos que não são actualizados pelo cliente, gerando altos custos para devolução e reenvio.

Duplicados - custos adicionais desnecessários, não utilizando up / cross-selling
Vários registos de dados (duplicados) também são problemáticos:

• Logons aos portais da Web são executados sem querer várias vezes e levam à duplicação de dados.
• Criação intencional de novas contas, por exemplo, para comentários indesejados ou ilegais em fóruns, auto-promoção, SPAM ou pedidos que são regularmente não aceites ou não pagos.

Eles não só causam custos para a limpeza dos dados, mas também falsificam a visão única do cliente. Análises por exemplo, em aplicações de CRM são executadas mais dificilmente, e potenciais upsellings e cross-sellings não podem ser usadas de forma rentável.

Lucre com todas as Soluções de Data Quality para ERP, incluindo:

• Óptima qualidade dos dados em todos os componentes do ERP através da monitorização permanente na criação inicial dos dados e alterações (Data Quality Firewal)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra dados de referência (por exemplo, morada, dados geográficos, ...) no processamento em batch ou em tempo real
• Ambiente "Anti-envelhecimento" para o seu cliente / fornecedor de dados através da integração automática de informações sobre as mudanças do endereço ou da empresa tanto no B2B e B2C
• Planeamento corporativo mais confiável e mais flexível em todas as áreas da empresa
• O controle efectivo do seu negócio operacional de processos através do fornecimento de informações detalhadas sobre a base actualizada, correcta e sem dados duplicados
• A gestão eficiente de riscos e com conformidade garantida através de correspondência regular, de dados fiáveis com as listas de embargo (listas de bloqueio)
• Redução do risco de crédito através do aprimoramento automático de dados com informações externas.

Soluções Data Quality da Uniserv para ERP - elevada qualidade dos dados em todas as áreas da empresa

As soluções de Data Quality da Uniserv vai ajudá-lo a desenhar o seu planeamento empresarial e controlar de modo que seja mais flexível, mais transparente e mais confiável. Corrigir os dados de forma consistente e completa no seu sistema ERP para garantir a eficácia, os processos de negócio operacionais e decisões de negócio mais informadas.

Data Quality Batch Suite da Uniserv para ERP: A suite completa de produtos para a verificação em batch de forma totalmente automática e limpeza dos dados de cliente e de fornecedor, material e os dados do produto e para o acompanhamento regras de negócio no seu sistema ERP.

Data Quality Real Time Service para ERP: Para a protecção imediata da sua qualidade de dados ao criar contas de clientes e fornecedores e para fazer a comparação com listas de embargo da UE.

A nossa contribuição para o sucesso do seu ERP: Rápido, tolerante ao erro na pesquisa, o reconhecimento e agrupamento automático de duplicados por nome e morada, validação de dados e complementarização ou sincronização com outros sistemas são apenas algumas das funções do DQ Batch Suite e do DQ-Real Time Services da Uniserv - a nossa contribuição para o uso eficiente do seu sistema ERP.

Quanto mais flexível e mais confiável for o planeamento corporativo e as funções de controle, maior será o potencial para identificar oportunidades de negócios com mais rapidez e acompanhar a evolução do mercado, sem quaisquer problemas. Isso exige um eficiente sistema de Enterprise Resource Planning (ERP), que fornece uma visão única de todas as áreas da empresa, tais como finanças e controle, produção e logística, gestão de materiais, marketing, vendas e gestão de pessoal.

Muito frequentemente, contudo, master data inconsistente e sua má qualidade significa que os processos de negócio cooperativo não podem ser adequadamente implementados e as decisões estratégicas devem ser feitas sem uma base de informação forte.

Desafios
Informações incorrectas de clientes na master data - maior consumo de recursos, custos elevados
A má qualidade dos dados do cliente na base de dados pode significar que as mercadorias não sejam entregues, e é preciso grande esforço para investigar os endereços. Sistematicamente, o planeamento de rotas rentável para a logística, torna-se uma loteria, e detalhes de contas bancárias incorreras, fornecidas de forma intencional ou inadvertidamente, pode levar a atrasos no pagamento ou mesmo o não-pagamento.

Dados incorrectos fornecedor - mal informados, maior risco
Endereços de fornecedor correctos e os números de telefone têm um papel importante, especialmente na compra, contratualização, engenharia de qualidade e logística. Num caso extremo, dados de baixa qualidade podem causar problemas de abastecimento que pode até resultar no parar de uma produção de custos elevados - com consequências imprevisíveis para o relacionamento com o cliente. Por outro lado, informações adicionais, por exemplo, sobre a credibilidade dos fornecedores, podem elevar consideravelmente a gestão do risco.

Aplicação inadequada de dados - o risco de consequências jurídicas
Todas as empresas na União Europeia são obrigadas a comparar todos os parceiros de negócios em relação à lista embargo da UE para produtos e operações de pagamento e, por exemplo a informar as autoridades se suspeita de terrorismo. Pesadas multas pode ser a consequência, se este não for cumprido em virtude da fraca qualidade dos dados. A reputação da empresa também sofre, pelo que a confiança dos clientes e parceiros é afectada, o que coloca as actividades da empresa em risco.

Master data de produtos e materiais inconsistente - um travão no processo efectivo
Os registos de dados de produtos e materiais em bases de dados das grandes empresas frequentemente chegam aos cinco dígitos. Isso torna difícil para os funcionários seleccionarem o produto correcto de forma inequívoca e as descrições de materiais que cumpram com as directrizes ao criar os dados. Isso resulta em descrições individuais que só podem ser encontrados por outros funcionários, após prolongada procura ou quando não em todos, em alguns casos. Base de dados com pobre qualidade dos dados diminui a produtividade das empresas, atrasos dos processos e fazem com que haja custos de investigação desnecessários.

Processos ineficientes de negócio - um terreno fértil para as decisões empresariais incertas
Os dados de um sistema ERP não são apenas necessários para os processos de negócio cooperativo, mas também servem como base para análises e decisões estratégicas (Business Intelligence). Má qualidade dos dados pode comprometer o cumprimento das regras de negócios, reduzir a utilidade das análises e adiar decisões de negócio importantes ou significar que sua base está doente.

Validação de endereços e verificação duplicados estão disponíveis para os utilizadores do Salesforce através do AppExchange Salesforce como uma solução certificada para qualidade de dados da empresa líder de mercado Uniserv.

Utilizadores do sistema de CRM Salesforce agora podem melhorar significativamente a qualidade de seus clientes e prospecção de dados com uma nova solução da Uniserv GmbH de Pforzheim. A Uniserv é a primeira empresa a oferecer a validação de endereços e a verificação de duplicados plenamente integrado no salesforce.com de uma única fonte. A correcção de endereços podem ser verificados e corrigidos automaticamente quando os dados são inseridos, uma selecção de duplicados é possível, ao mesmo tempo. A solução foi certificada pela salesforce.com e está projectada para uso internacional: todos os países importantes, linguagens e scripts estão cobertos.

A solução está disponível para uso imediato na AppExchange Salesforce. Como no caso de todos os aplicativos de terceiros certificados pela salesforce.com, a instalação só requer alguns cliques e está activo em cinco minutos. O sistema também pode ser testado gratuitamente. Além disso, os utilizadores do Salesforce podem usar a nova oferta da Uniserv Software como Serviço (SaaS) para a optimização completa de bases de dados. Dados arquivados podem ser periodicamente trazidos à "superficie" em www.data-quality-on-demand.com. Grandes arquivos e bases de dados completas também são processados e optimizadas por Data Quality on Demand. Validação de Endereços e harmonização duplicados também estão disponíveis para bases de dados. Funções para analisar dados e correspondentes deslocalizações, lutos ou pessoas que não desejem receber publicidade. Além de tudo isso, o reforço de dados também está disponível.

"A nova solução para os utilizadores do Salesforce é mais um passo consistente, por meio do qual a Uniserv sistematicamente vai executando a sua estratégia de entrega de soluções de qualidade de dados a partir da nuvem. Este é o segundo passo após o lançamento do novo portal de SaaS www.data-quality-on-demand.com - outros se seguirão", disse o CEO da Uniserv, Roland Pfeiffer.

Qualidade dos dados através da "metodologia de acertar à primeira"
Segundo os últimos estudos, o actual estado de coisas na qualidade de dados de clientes em empresas alemãs também não é melhor: Dependendo do sector, uma média de entre 5,7 e 16,1 por cento dos endereços foi assinalado para ser devolvido e entre 0,3 e 8,9 por cento de duplicados existiam num ensaio representativo. Veja aqui um pequeno exercício dos custos que isto pode trazer para as empresas. Se os utilizadores descobrem que a qualidade dos dados em seu sistema de CRM não é perfeito, normalmente tomam menos cuidado ao entrar e a manter os dados. O resultado é uma espiral descendente e uma diminuição constante da qualidade dos dados, que finalmente coloca a utilidade do sistema completo de CRM em risco. Com este cenário, os utilizadores do salesforce.com têm agora a oportunidade, pela primeira vez de aumentar consideravelmente a qualidade de seus clientes e prospecção de dados através da solução Uniserv para validação de endereços e evitar o duplicar de correspondência: ele garante que apenas os dados correctos entram no sistema de CRM logo de início, em vez de dados não verificados, que têm de ser posteriormente levado a um nível aceitável ao elaborar operações de limpeza.

Acesso confortável, se necessário
Depois de alguns passos de personalização em AppExchange, a validação de endereços e deduplicação de registos são executadas automaticamente no Salesforce CRM para a criação inicial de dados ou alterações às ligações, contactos ou contas. Os serviços integrados são baseados em serviços da Web da Uniserv que os vem fornecendo aos seus clientes com sucesso desde à muitos anos.

Existem ainda os conectores disponibilizados pela Uniserv para outros importantes sistemas de CRM, como SAP, Microsoft Dynamics, Siebel, PeopleSoft e Update.