Qualidade de Dados / Data Quality

Um video com um exemplo do funcionamento das ferramentas de qualidade de dados no Salesforce.

http://www.data-quality-on-demand.com/media/en/film/salesforce.swf

Neste video podemos ver numa primeira fase a normalização das moradas, no caso moradas americanas.

Como se pode ver igualmente no video executar a normalização a mais de uma morada.

Na fase seguinte temos a busca de duplicados dentro da base existentes de registos com a possibilidade de complementarização consoante os melhores dados existentes.

Com integração "plug and play" estas ferramentas apresentam resultados excelentes conforme pode ser demonstrado no demo online, mesmo com os erros comuns de digitação, fonéticos e outros.

Finalmente para finalizar esta temática aqui fica o ultimo post com o link para download do withe paper de compliance.

Lucre com as Soluções de Qualidade de Dados da Uniserv para compliance, incluindo:

• Revisão confiável dos dados (Data Cleansing) através da deduplicação automática dos actuais clientes, fornecedores e dados sócio contra listas de embargo nacionais e internacionais (em processamento em batch ou em tempo real)
• São necessários recursos e custos mínimos para garantir o compliance, como resultado de uma deduplicação de dados automatizada
• A protecção da sua competitividade e protecção contra as consequências legais e vendas perdidas causadas por incumprimento

Tal como prometido aqui fica igualmente o link para o white papper referente a esta matéria.

Soluções de qualidade de dados da Uniserv - o Compliance de confiança com um mínimo de esforço

As soluções de qualidade de dados da Uniserv vão apoiá-lo em garantir o Compliance de forma confiável ​​e transparente, através da máxima qualidade dos dados. Coerência dos dados em formatos normalizados, bem como soluções completas para a correspondência automática dos actuais clientes, fornecedores e parceiros de dados com as listas de embargo proteger você e sua empresa contra as consequências financeiras e jurídicas.

Data Quality Batch Suite para Compliance: A suíte completa de produtos para a verificação em batch totalmente automático para limpeza dos dados do cliente e para a deduplicação automatizada de dados em batch contra listas de embargo (listas de bloqueio).

Data Quality Real-Time Services para Compliance: Para a protecção da qualidade dos seus endereços directamente nos sistemas operativos assim como a deduplicação em tempo real de dados contra listas de bloqueio.

A nossa contribuição para o cumprimento de Compliance: Deduplicação automatizada dos dados do cliente contra as listas de embargo (listas de bloqueio) de forma rápida, com pesquisa tolerante ao erro, com reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, validação de dados e aumentando ou sincronizando com outros sistemas são apenas algumas das as funções do DQ Batch Suite e DQ Real Time Services da Uniserv- a nossa contribuição para a observância de confiança de requisitos de Compliance.

Hoje em dia o Compliance abrange não só a observância de leis ou regulamentos comerciais, mas também a proibição e obrigação de notificar as autoridades das transacções envolvendo pessoas suspeitas e empresas. Multas severas e a ameaça consequências jurídicas, no caso de não cumprimento. A adequação permanente de clientes, fornecedores e parceiros de dados com as listas de embargo nacional e internacional (listas de bloqueio) é, portanto, uma obrigação para cada empresa. O problema: Má qualidade de dados como resultado de dados incorrectos, inconsistentes pode inviabilizar este processo de harmonização.

Desafios

Dados de clientes e fornecedores inconsistentes - A principal fonte de perigo

Cada transacção comercial deve ser comparada com as listas de embargo. Isso já é bastante difícil com uma base pequena de clientes e de fornecedores, é um verdadeiro desafio com dezenas de milhares ou mesmo milhões de transacções. Mas os custos de buscas de correspondentes feitas de forma manual equivale a muito tempo e dinheiro. O resultado mais comum: a harmonização só é realizada parcialmente ou não de todo, o que pode ter consequências fatais tanto financeiramente como em temos responsabilidade. A confiança dos parceiros e clientes também é afectada se ele tiver feito negócios com pessoas suspeitas - deliberadamente ou inadvertidamente. Existe o perigo de perda de vendas aqui, o que pode ameaçar a existência da sua empresa na pior das hipóteses.

Segurança, sem garantias - Mudando listas de embargo

As listas de embargo próprias também podem ser um desafio para os seus processos de harmonização. Listas actualizadas regularmente exigem a comparação permanente contra a base de dados actual, em constante mutação. E as listas de bloqueio próprias também não são seguras contra inconsistências:

• Suspeitos são listados com aliases e outras informações que podem ser pouco claras
• Convenções específicas de cada país levam a uma variedade de grafias que tornam o processo de identificação mais difícil
• Os dados das pessoas suspeitas alteram conforme a proveniência e de lista para lista, como resultado por exemplo de deslocalizações ou de novas informações
• Os dados foram inseridos de forma incorrecta ou ambígua pelo compilador da lista

A percepção que existem problemas na qualidade dos dados é em muitos casos uma realidade nas empresas, a maior dificuldade é a percepção da dimensão do problema.

Aqui surgem dois aspectos que normalmente impedem a percepção da dimensão: uma é a forma e a outra é a vontade de conseguir quantificar problema.

É sempre complicado conseguir uma forma de medir a qualidade ou falta de qualidade dos dados porque não existem métricas exactas que possam ser aplicadas directamente, embora como mostrei nos posts relativos ao conceito, definição de qualidade de dados (Data Quality) e na segunda parte do mesmo, há sempre formas de conseguir quantificar, todos conhecem sintomas que surgem quando a qualidade dos dados não está em condições, porque há sempre qualquer coisa que corre mal devido a essa falta de qualidade de dados. Casos em que uma resposta demora mais tempo que o deveria ser suposto porque houve necessidade de "limpeza" dos dados. Um exemplo simples, uma simples contagem por Concelho é adiada porque afinal nem todos os registos tinham Concelho atribuído, ou porque existiam muitos em que os Concelhos atribuídos estavam errados. E para tal, em vez de se esperar 5 minutos por uma contagem, os dados chegam uma semana depois. Em casos urgentes em que sejam necessários esses dados na hora, quando chegam, já é tarde demais. Depois sim é "ordenada" uma vistoria a todos os dados dos Concelhos, para que não volte a ocorrer tal situação.

Mas muitas vezes o mais complicado é mesmo a vontade de conseguir quantificar o problema. Porquê? Porque isso implica o assumir da existência de um problema. Devido aos afazeres do dia-a-dia, estar a "criar" mais um problema é sempre complicado. Quando aparece um problema especifico fazem-se as necessárias correcções. É um exemplo que dou vezes sem conta, mas é uma pergunta que faço invariavelmente e que tem a mesma resposta também invariavelmente. Para se saber o estado da base de dados pergunto o numero de devolvidos que são recebidos e a resposta é sempre um rotundo "não fazemos a mínima ideia".

Volto a referir para que não tirem conclusões precipitadas das minhas palavras. A perfeição em termos de qualidade de dados é impossível de alcançar, mas é possível minimizar os problemas nos dados numa base permanente e constante, evitando grandes alterações nas condições dos dados.

Depois de uma semana um pouco complicada, aqui estou de volta já praticamente curado e com novidades.

Já está disponível o novo formulário para os testes online, embora ainda não esteja totalmente optimizado, ainda estamos com problemas com a ligação ao Google Maps.

Novidade mesmo é que agora se pode alterar o país de origem da morada que se quer normalizar directamente.

Estão disponíveis todos os países, embora com níveis de normalização totalmente diferentes. Logicamente que o ficheiro de arruamentos de Portugal é muito mais completo que o do Burkina Faso.

São várias as procuras que aqui chegam com as keywords "definição/conceito de qualidade de dados/data quality". A qualidade de dados não é um atributo que se consiga definir com um simples sim ou não. É composto por vários parâmetros, uns mensuráveis outros totalmente subjectivos e todos eles podem ser alterados de empresa para empresa, embora existam alguns pontos que são comuns.

Como tal, alguns dos atributos que são mais usados quando se fala de qualidade de dados, são:
- Validade e integridade, os dados existentes estão correctos?
- Acessibilidade, quando são necessários os dados estão disponíveis, ou é necessário fazer vários pedidos até se poder ter acesso aos dados?
- Cobertura, os dados cobrem todos os aspectos do negócio? Podem existir valores absolutos, mas também podem existir valores relativos.
- Pontualidade, Os dados estão sempre disponíveis ou é necessário esperar algum tempo pela sua disponibilização?
- Contexto/Precisão, os dados reproduzem com precisão o que é suposto descreverem?
- Confiabilidade, a todo o momento pode haver confiança nos dados, ou existe alturas do ano em que essa confiança é maior e outras alturas em que é menor?
- Integralidade, os dados contêm toda a informação relevante?

Relativamente a estes atributos, são válidos para praticamente todos os tipos de dados de todos os tipos de industrias, mas aqui e por uma questão de facilidade, vou "puxar a brasa à minha sardinha" e vou centrar os exemplos na área onde tenho maior experiência e maiores exemplos, as moradas e as deduplicações.

Iniciando pela Validade e integridade dos dados, as moradas são um dos casos em que o problema é precisamente esse. Em Portugal muitas empresas têm em muitos registos apenas os 4 dígitos do código postal ou com os 3 últimos dígitos apenas com 000 ou com 999, e muitas vezes com problemas ainda maiores, que já dei como exemplo casos que agora me têm surgido com alguma regularidade, é com 4 dígitos que nada têm a ver com o Endereço Postal. Tenho pelo menos dois fornecedores que neste momento têm na minha morada pessoal, algo como, 2675 LISBOA, tal como dito num post anterior, o mais certo é que, infelizmente, isto foi resultado de um processo de qualidade de dados falhado.

A Acessibilidade é um dos pontos subjectivos. Apenas no dia-a-dia das empresas se pode ter noção da existência/inexistência de problemas de acesso a dados. Embora em algumas organizações seja muito fácil detectar estes problemas. Ainda não há muito tempo estava numa repartição publica e ficou tudo parado porque a pessoa que estava a ser atendida, não sabia o seu código postal e o funcionário não tinha acesso aos códigos postais.

Cobertura é outro dos aspectos subjectivos na maior parte dos casos. Um dos exemplos mais simples é a distribuição geográfica das áreas de negócio. Existem distribuições por Distrito, outras por Concelhos, outras por código postal e é aqui que muitas vezes os problemas de cobertura podem surgir. Novos códigos postais que surgem com novos clientes, podem não estar associados a nenhuma zona.

Quanto à Pontualidade está relacionada não apenas com a acessibilidade como também com a duplicação de registos que existem. Quantas vezes já aconteceu dentro da organização ser necessário uma contagem de registos de uma zona especifica do país e não ser possível fazer essa contagem? Ou porque os dados estavam incorrectos porque essas zonas não estavam atribuídas a todos os registos, ou porque existiam muitos registos duplicados.

Contexto/Precisão, um dos exemplos é o campo da morada que em muitos casos contem outras informações fora de contexto, como o contacto (exemplo: "entregar à D. Alexandra"). Em termos de moradas é possível ter uma noção da precisão dos registos. Dependendo do software, deverá existir um campo em que está colocada a precisão da normalização efectuada e com este campo poderemos saber qual a percentagem total de dados que está normalizado. Temos em Portugal com os nossos softwares clientes a trabalharem com percentagens de qualidade acima dos 93%, o que é um valor excelente. Logicamente que o objectivo é aproximar-mo-nos mais dos 100%, embora sabendo que esse valor é impossível de atingir. Casos como moradas "Casa amarela ao lado da escola Primária" não há street file que resista a estes casos, não sendo como tal possível ter um valor de qualidade como correcto, embora seja um registo que é entregue sem problemas.

Relativamente à Confiabilidade um dos exemplos que me é mais familiar, é se houver a necessidade de enviar uma carta urgente de extrema importância para o cliente, mas não há a certeza que a morada está correcta, porque apenas tem o código postal de 4 dígitos e não se tem a certeza que a morada existe e se a carta irá chegar ao destino. O mesmo relativo aos duplicados, imaginemos um caso extremo em que existe uma queixa já em tribunal de um cliente, mas como existem dois registos em base de dados vai ser feito um contacto com o cliente para lhe oferecer o mesmo produto que motivou a queixa, mas com os dados do outro registo, sem que se tenha noção dessa queixa. Desse momento em diante esse departamento nunca mais vai ter confiança nos dados.

A Integralidade está um pouco relacionada com os pontos anteriores, em que se for necessário por exemplo aceder aos dados de um cliente até que ponto se pode ter a certeza que os dados existentes são de confiança e estão completos. Imaginemos que existe uma queixa por parte do cliente que entretanto já foi resolvida, mas ainda não foi lançada no sistema e é necessário fazer um contacto. Não havendo dados no sistema e não tendo a certeza que essa resolução foi executada com a satisfação do cliente, esse contacto vai ser um contacto sempre feito a medo.

No próximo post vou tentar mostrar como podemos minimizar ao máximo estes problemas.

Nestes últimos dias tenho recebido de algumas de empresas, das quais sou cliente pedidos de actualização de morada e cartas com moradas que me fazem aumentar algumas preocupações.

Dos exemplos que tenho comigo, são 2 cartas, que só não foram devolvidas por "carolice" do carteiro, e uma outra empresa que me pede para reenviar os dados da morada, sinal que ou os perderam, que acho estranho com os processos de backup existentes e que as grandes empresas por norma têm, ou depois de um processo de qualidade de dados, com um normalização /tratamento /higienização de moradas, como lhe queiram chamar, foram adulterados de tal forma que já não é possível que as cartas cheguem ao destino.

Isto preocupa-me duplamente porque se por um lado existem empresas que estão a tratar os meus dados desta forma, a outra preocupação é a imagem que estes falsos processos de normalização /tratamento /higienização vão deixar nas empresas que os fizeram. Isto porque alguns destes até são executados por empresas bem cotadas na nossa "praça".

Como fiz a adaptação de um software para Portugal, sei quais são as principais dificuldades com que nos fomos deparando ao longo desse processo e que vou tentar aqui resumir um pouco para que se possa ter noção do porquê da existência destes problemas. Já lá vão mais de 10 anos mas até aqui pouco mudou. O que existia eram bases de dados de moradas com o histórico de erros. No que consiste esta técnica? Cada vez que se encontra uma rua escrita de forma diferente, essa forma é anexada ao histórico e na próxima vez que surja é corrigida automaticamente. Logicamente que isto é um processo muito complicado e muito falível, como tal não seria uma solução para o problema, mas um remendo. Existia a hipótese de desenvolver internamente uma ferramenta, mas se a roda já foi inventada... Como solução existia a colocação de ferramentas internacionais, mas aí chegados outros problemas surgiram:
- A primeira dificuldade encontrada aquando da busca de um software no mercado internacional foi a disponibilidade de adaptação à realidade Portuguesa. Se por um lado temos especificidades que não se encontram em mais nenhum país da Europa e algumas mesmo do mundo, por outro temos uma dimensão de Portugal que nem sempre permite às grandes multinacionais investir uma vez que podem não ter grandes possibilidades de retorno.
- A falta de informação existente em Portugal relativa a esta matéria. Não existe um organismo ou instituição responsável pelas moradas em Portugal. Assistimos a "crimes" como a numeração que foi colocada na zona da Expo, que não se compreende como é possível num país europeu se permite que tal exista na sua capital. Somos talvez o unico país na Europa que tem na mesma localidade a Rua, Travessa e o Largo da Liberdade entre muitos outros.

Por tudo isto e muito mais, o que recomendo é que antes de investirem em processos de normalização/ tratamento / higienização de moradas, é que peçam um teste a um numero razoável de dados, numero que apenas possa tratado de forma automatizada.

Desta forma, consegue-se separar o trigo do joio, uma vez que já existem algumas empresas a apregoar a normalização /tratamento /higienização de moradas, mas que tem por base pseudo-ferramentas desenvolvida em cima do joelho e que são testadas com os dados dos clientes, com todos os problemas que isso acarreta.

Para finalizar tenho ainda que esclarecer a diferença entre vários conceitos que andam misturados neste tema.

Normalização de dados: A normalização de dados é uma definição um pouco subjectiva. Se por um lado poderemos considerar a Normalização de dados como todo o processo qualidade de dados, existe ainda quem pense que a normalização de dados é colocar todas as Ruas como R., todas as Avenidas como Av. etc.
A normalização /tratamento /higienização de moradas é mais que isso, este processo até acaba por ser o processo mais simples. O mais complicado é a parte da comparação/correcção da morada com o ficheiro de arruamentos de referencia. Aqui sim existem inúmeros problemas que podem surgir. Como exemplo, ruas Alfredo da Costa em Sintra existem 3 ruas diferentes, se não existir um software preparado para estas situações, o mais certo é haver problemas no final.

Como tal, volto a alertar para o teste dos softwares antes de colocarem os dados dos Vossos clientes em risco. São poucas as empresas que têm confiança no seu software, de forma a colocarem no site um demo do mesmo.

Lucre com todas as Soluções de Qualidade de dados da Uniserv para Business Intelligence, incluindo:

• Excelente qualidde de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Perfil de Dados) e através de um acompanhamento regular (dados de controlo de qualidade)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone)
• A consolidação dos dados do cliente, mesmo se não houver um número de referência estável, ou a formação de households, mesmo que esta informação não seja mantida nos sistemas operacionais.
• Ganhar novas dimensões de análise a de avaliação de dados, aumentando os dados do seu cliente, por exemplo com referências geográficas, os indicadores de antecedentes, Códigos do sector, etc e, portanto, informações completamente novas no que diz respeito aos "espaços vazios" no seu mapa de vendas e marketing ou as potencialidades do segmento de clientes individuais
• decisões de negócio e maior capacidade de reagir às mudanças do mercado e novas exigências do sector específico, industrial ou comercial, por meio da elaboração de uma informação correcta, completa e up-to-date e a sua disponibilidade para a gestão e pessoal.
• Alta qualidade de dados como base para o uso eficiente de todos os formatos de análise e visualização da solução de BI, como painéis, cockpits, OLAP e avisos
• De planeamento empresarial mais rápido, mais flexível através de uma visão actual, confiável de todas as áreas da empresa
• previsão mais confiável e orientada para o futuro através do uso de soluções adicionais para aumentar o desempenho da empresa, como Corporate Performance Management
• gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos (governamentais, de risco e conformidade) por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos stocks de dados

Soluções de Qualidade dos dados da Uniserv para Business Intelligence - elevada qualidade dos dados para uma melhor tomada de decisão

Uniserv Data Quality Solutions ajuda a tomar as suas decisões de negócio com base em dados fiáveis e actualizados, minimizar os riscos e projectar a gestão operacional e estratégica de negócios de forma mais flexível e mais rapidamente.

Data Quality Explorer para BI: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Data Quality Batch Suite para BI: A suite completa de produtos para a transferência batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Data Quality Real-Time Services para BI: Para a protecção imediata da sua qualidade de dados durante a transferência de dados dos sistemas operacionais para o data warehouse em tempo real.

Data Quality Monitor para BI: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta que se os valores limite especificados são ultrapassados.

A nossa contribuição para a eficiência do Business Intelligence:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma grande variedade de flat files e bases de dados, onde a conversão do campo ou formato de gravação é necessária. Reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, a fim de fundir, por exemplo dados do cliente no grupo de empresas, mesmo se as delegações funcionam com os dados não sincronizados (sistemas de numeração diferente do cliente), ou uma visão única da família (household) está a ser formada no Data Warehouse, mas esta informação não é fornecida pelos sistemas operativos.
• A validação de dados, melhorando as funções e a consolidação, o acompanhamento dos valores-limite para as regras de negócio especificadas completando a tool box de qualidade dos dados para BDW e BI. O DQ Explorer, DQ Batch Suite, DQ Real-Time Services e o DQ Monitor são a nossa contribuição para o sucesso do uso dos seus sistemas de Business Data Warehouse e BI. Para que informação confiável seja obtida a partir dos dados.

Proximo post: Qualidade de dados BI: Vantagens

Somente dados de qualidade tornam um Business Data Warehouse (BDW) e Business Intelligence (BI) numa vantagem competitiva real

Os tomadores de decisão na gestão, marketing, vendas, finanças, serviços de controle e outros exigem dados e informações actualizados e completos, a fim de serem capazes de monitorizar e analisar as operações de negócios, como base para decisões operacionais e estratégicas bem orientadas. O pré-requisito para isto é uma empresa de escala Business Data Warehouse (BDW), que combina dados e operações de todos os sistemas de TI. Além disso, outras soluções para melhorar o desempenho empresarial (Corporate Performance Management) e para o cumprimento dos regulamentos legais e requisitos internos podem ser usados nesta base (Business Intelligence).

Os dados são analisados ad hoc com o pressionar de um botão ou por um sistema automatizado e disponibilizado para os utilizadores finais e tomadores de decisão numa variedade de tipos de avaliação, tal como os painéis de gestão, relatórios e análises OLAP. Para que isso seja possível, os dados devem estar disponíveis no Business Data Warehouse livres de erros e duplicados, coerentes e de forma padronizada. Em outras palavras: a eficácia de qualquer solução de Business Intelligence depende da qualidade dos dados. Mas muitas vezes esse é precisamente o ponto fraco.

Desafios

Dados incorrectos, desactualizados ou com duplicados - a base para más decisões
Dados incorrectos, desactualizados ou com duplicados em diferentes sistemas de TI é o maior obstáculo para uma análise global, as avaliações confiáveis e soluções relacionados BI como o CPM. Isso também pode significar que você não identifique oportunidades de negócio em tempo útil, uma vez que o comportamento de compra do cliente é analisado de forma incorrecta. Só pode identificar e avaliar os riscos de maneira inadequada e coloca pressão sobre a gestão de risco, já que seus números de vendas estão desactualizados. Também é possível estar a ignorar os pontos fracos de sua empresa, por exemplo, estrangulamento material ou de fornecimento, até que seja tarde demais. Má qualidade dos dados é responsável por isso - com consequências possivelmente fatais, que podem variar de uma queda na receita e perda de quota de mercado para uma ameaça crescente para a competitividade.

Silos Business Intelligence evitam análises de toda a empresa
As soluções de BI ainda são usadas pelos departamentos com seus próprios data marts ou Data Warehouses em muitas empresas e a qualidade dos dados pode, portanto, variar. O resultado: os dados são armazenados de forma redundante, ou em formatos diferentes. E enquanto os dados podem estar correctos numa base de dados, podem estar incorrectos ou desactualizados em outro conjunto de dados. Análises confiáveis em toda a empresa só são possíveis aqui com uma quantidade considerável de correcção manual. Sem mencionar os custos adicionais e a redução da capacidade de reagir aos resultados incertos da análise.

Potenciais do BI não são usados por haver possibilidades limitadas para avaliação
Quanto melhor a qualidade dos dados no Data Warehouse, mais opções de avaliação são abertas para os decisores e outros utilizadores das soluções de BI. Por exemplo, os gestores devem ser capazes de definir níveis individuais de detalhe nos seus painéis. Funcionários do departamento de finanças tem que ser capaz de elaborar relatórios próprios específicos. Os utilizadores devem ser capazes de desenvolver análises de diferentes perspectivas por meio de análises OLAP, por exemplo, números de vendas de acordo com região, grupo de produtos, o volume de vendas, etc, e os indicadores de alerta com base em regras definidas, por exemplo, pouco stock de produtos, deve ser garantido que chega ao pessoal respectivo.

Falta de confiança leva a decisões baseadas na intuição
Se as informações e analises fornecidas levarem várias vezes a más decisões devido à fraca qualidade dos dados, a confiança nas capacidades do sistema de BI fica reduzida. Isto pode significar que as funções de Business Intelligence não são mais utilizadas e são substituídas por uma avaliação subjectiva. Mais más decisões são apenas uma questão de tempo.

Má qualidade dos dados coloca as exigências de conformidade em risco
Inadequada qualidade dos dados coloca o rigor e fiabilidade das avaliações BI em risco. Isto pode ter consequências jurídicas e podem implicar custos elevados para a empresa.

Limpeza de dados manual como um travão sobre as decisões e um gerador de custos
Se dados urgentes não estão completos, sem erros e consistentes, têm que ser compilados, analisados e preparados manualmente. Isto leva a atrasos desnecessários que não deveria ter de pagar, especialmente no caso de decisões de negócio de tempo crítico. E isso custa dinheiro e recursos que podem ser usados muito melhor para outros projectos importantes.

Amanhã as soluções e as vantagens dos nossos sistemas.

A qualidade dos dados faz o seu Customer Relationship Management (CRM) mais eficaz

Fortalecer o relacionamento com os clientes existentes e angariação de novos clientes de forma rentável, é o alfa e o omega para garantir uma fatia maior do bolo das vendas. A base para isso é um Customer Relationship Management (CRM) forte com os dados do cliente correctos e completos, que possam ser usados no marketing, vendas, call centers e serviço pós-venda, mas a qualidade dos dados é precisamente onde a porca torce o rabo em muitas empresas.

Endereços incorrectos - vendas menores, custos maiores
Endereços de correio não entregues fazem com que campanhas de mailing descarrilem e causam custos desnecessários com portes e pesquisas. As facturas não podem ser entregues, o que resulta no não-pagamento, para não mencionar a perda de oportunidades de vendas, porque a sua mensagem promocional não atingem os potenciais compradores.

Duplicados - clientes insatisfeitos, planeamento incerto, up / cross-selling não são utilizados
Vários registos de dados (duplicados) são, possivelmente, ainda mais problemáticos:

• Os importantes dados dos clientes estão incorrectos durante uma chamada de serviço ao cliente. O cliente fica desapontado e pode ir para a concorrência. Perda nas vendas são o resultado inevitável aqui.
• O planeamento de vendas e marketing sofre, porque duplicados evitam uma classificação automática e correcta de clientes e exigem uma correcção manual cara.
• As previsões são distorcidas, o que pode levar a decisões de negócios atrasado ou incorretas que atingiu a sua empresa rígido.
• A selecção de endereços para as campanhas de marketing torna-se extremamente complicada, que é por isso que só consegue colocar suas ofertas depois da concorrência.

Falta de confiança - o sinal de partida para ter cada vez uma qualidade dos dados mais pobre
A prática tem demonstrado que, se os utilizadores não podem aceder às informações necessárias no sistema de CRM de forma rápida e com alta qualidade, a quantidade de cuidados tomados durante a entrada de dados e manutenção é normalmente reduzida. O resultado é uma espiral descendente de uma diminuição constante da qualidade dos dados, que só pode ser interrompida por um completo - e caro - relançamento do sistema de CRM, num caso extremo. Não deixe as coisas chegarem a esse ponto e começar a fazer o processo de melhorias necessárias antes que seja tarde demais.

Lucre com todas as Soluções de Data Quality para ERP, incluindo:

• Óptima qualidade dos dados em todos os componentes do ERP através da monitorização permanente na criação inicial dos dados e alterações (Data Quality Firewal)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra dados de referência (por exemplo, morada, dados geográficos, ...) no processamento em batch ou em tempo real
• Ambiente "Anti-envelhecimento" para o seu cliente / fornecedor de dados através da integração automática de informações sobre as mudanças do endereço ou da empresa tanto no B2B e B2C
• Planeamento corporativo mais confiável e mais flexível em todas as áreas da empresa
• O controle efectivo do seu negócio operacional de processos através do fornecimento de informações detalhadas sobre a base actualizada, correcta e sem dados duplicados
• A gestão eficiente de riscos e com conformidade garantida através de correspondência regular, de dados fiáveis com as listas de embargo (listas de bloqueio)
• Redução do risco de crédito através do aprimoramento automático de dados com informações externas.

Validação de endereços e verificação duplicados estão disponíveis para os utilizadores do Salesforce através do AppExchange Salesforce como uma solução certificada para qualidade de dados da empresa líder de mercado Uniserv.

Utilizadores do sistema de CRM Salesforce agora podem melhorar significativamente a qualidade de seus clientes e prospecção de dados com uma nova solução da Uniserv GmbH de Pforzheim. A Uniserv é a primeira empresa a oferecer a validação de endereços e a verificação de duplicados plenamente integrado no salesforce.com de uma única fonte. A correcção de endereços podem ser verificados e corrigidos automaticamente quando os dados são inseridos, uma selecção de duplicados é possível, ao mesmo tempo. A solução foi certificada pela salesforce.com e está projectada para uso internacional: todos os países importantes, linguagens e scripts estão cobertos.

A solução está disponível para uso imediato na AppExchange Salesforce. Como no caso de todos os aplicativos de terceiros certificados pela salesforce.com, a instalação só requer alguns cliques e está activo em cinco minutos. O sistema também pode ser testado gratuitamente. Além disso, os utilizadores do Salesforce podem usar a nova oferta da Uniserv Software como Serviço (SaaS) para a optimização completa de bases de dados. Dados arquivados podem ser periodicamente trazidos à "superficie" em www.data-quality-on-demand.com. Grandes arquivos e bases de dados completas também são processados e optimizadas por Data Quality on Demand. Validação de Endereços e harmonização duplicados também estão disponíveis para bases de dados. Funções para analisar dados e correspondentes deslocalizações, lutos ou pessoas que não desejem receber publicidade. Além de tudo isso, o reforço de dados também está disponível.

"A nova solução para os utilizadores do Salesforce é mais um passo consistente, por meio do qual a Uniserv sistematicamente vai executando a sua estratégia de entrega de soluções de qualidade de dados a partir da nuvem. Este é o segundo passo após o lançamento do novo portal de SaaS www.data-quality-on-demand.com - outros se seguirão", disse o CEO da Uniserv, Roland Pfeiffer.

Qualidade dos dados através da "metodologia de acertar à primeira"
Segundo os últimos estudos, o actual estado de coisas na qualidade de dados de clientes em empresas alemãs também não é melhor: Dependendo do sector, uma média de entre 5,7 e 16,1 por cento dos endereços foi assinalado para ser devolvido e entre 0,3 e 8,9 por cento de duplicados existiam num ensaio representativo. Veja aqui um pequeno exercício dos custos que isto pode trazer para as empresas. Se os utilizadores descobrem que a qualidade dos dados em seu sistema de CRM não é perfeito, normalmente tomam menos cuidado ao entrar e a manter os dados. O resultado é uma espiral descendente e uma diminuição constante da qualidade dos dados, que finalmente coloca a utilidade do sistema completo de CRM em risco. Com este cenário, os utilizadores do salesforce.com têm agora a oportunidade, pela primeira vez de aumentar consideravelmente a qualidade de seus clientes e prospecção de dados através da solução Uniserv para validação de endereços e evitar o duplicar de correspondência: ele garante que apenas os dados correctos entram no sistema de CRM logo de início, em vez de dados não verificados, que têm de ser posteriormente levado a um nível aceitável ao elaborar operações de limpeza.

Acesso confortável, se necessário
Depois de alguns passos de personalização em AppExchange, a validação de endereços e deduplicação de registos são executadas automaticamente no Salesforce CRM para a criação inicial de dados ou alterações às ligações, contactos ou contas. Os serviços integrados são baseados em serviços da Web da Uniserv que os vem fornecendo aos seus clientes com sucesso desde à muitos anos.

Existem ainda os conectores disponibilizados pela Uniserv para outros importantes sistemas de CRM, como SAP, Microsoft Dynamics, Siebel, PeopleSoft e Update.

As opções extensas do DQ Batch Suite são especialmente convincentes. A Uniserv oferece aos utilizadores do DQ Batch Suite uma solução de TI com definições de trabalho integrado, que podem ser adaptados às necessidades de negócio existentes como característica standard. Estes incluem tarefas como a validação, correcção, actualização e aprimoramento de endereços e dados. Todos os processos e operações podem ser facilmente manipulados intuitivamente numa interface gráfica de utilizador.

O novo Hostconnector para o DQ Batch Suite significa que este está agora disponível para os utilizadores do sistema mainframe z /OS. Aqui a master data é mantida no host, como de costume, enquanto o Job Control Language cuida das transferências de dados entre o host e o DQ Batch Suite e controla as operações de processamento no DQ Batch Suite.

Isso significa o seguinte para os utilizadores do z/OS:

• Disponibilidade das funções de qualidade de dados do DQ Batch Suite para a master data no mainframe - portanto o uso contínuo de novos produtos, versões de outros países, até mesmo uma melhor qualidade de deduplicação em processos batch
• Nenhum trabalho de apoio in-house por parte do utilizador - Os processos fundamentais permanecem no mainframe
• Grande facilidade de uso - definição das operações de tratamento por meio da interface gráfica do utilizador.
• Alivio do sistema host das operações de processamento de batch de grande intensidade, por exemplo em períodos de pico de carga.
• ganho de flexibilidade para o trabalho de programação e economia no uso de recursos do host
• Uso dos fluxos de processos de alta performance do DQBT em sistemas Windows e Unix

Se tiver alguma dúvida sobre a interface batch DQ Hostconnector da Uniserv, entre em contacto connosco!

Circulante aos processos de qualidade de dados
Alta qualidade de dados é critica para o sucesso da sua empresa, independentemente de pertencer ao sector industrial ou comercial e das suas aplicações.
É importante ainda que se diga que não se deve esperar por uma actualização anual porque necessitamos todos os dias de ter os dados actualizados e não apenas uma vez por ano. Uma gestão de qualidade consistentemente tem como objectivo permanente submeter a verificação da qualidade dos dados num ciclo em que há uma verificação automática, matching, enhancing e possível consolidação dos dados logo no input.

Construa uma firewall de qualidade de dados
O modo mais eficaz e eficiente de eliminar problemas de qualidade de dados é a prevenção antes que os problemas surjam. Contaminação "rastejante" dos dados pode ser evitada com a implementação de verificações de qualidade directamente nos pontos de entrada no sistema. O utilizador recebe feedback directo dos problemas e pode directamente intervir nos casos em que uma intervenção automática não seja possível.

Para alem de verificar se os dados estão completos e de uma validação contra listas de referencia, a manutenção permanente deve ser providenciada verificando todos os inputs contra os dados existentes na base de dados de forma a prevenir o aparecimento de duplicados. Dependendo do modelo de negocio, complementar com dados internos ou e externos é igualmente recomendado.

Encontrar em vez de procurar
No dia a dia do negocio, pedidos de informações de clientes, o serviço ao cliente ou a aceitação de pedidos via telefone, frequentemente geram situações, em que as informações do cliente e do fornecedor, dados de conta ou de contrato tem de ser acedida rapidamente e com segurança sem que existam referencias disponíveis. No que diz respeito a isto o desafio é encontrar dados específicos numa base de dados, ainda que em grande parte dos casos apenas informação parcial está disponível ou que a soletração seja pouco clara.

O DQ Real-Time Services da Uniserv fornece-lhe a informação necessária no pressionar de um botão, mesmo que as palavras de procura estejam incompletas, imprecisas ou incorrectamente soletradas. No fim de tudo, o seu staff deve ser especialistas nos seus processos de negocio e não na procura em bases de dados.

Qualidade de dados e e-Business
O input de dados incorrectos e incompletos é uma questão recorrente em e-Business. Atenção especial deve ser prestada a este aspecto da qualidade de dados num ambiente no qual os clientes colocam eles próprios os seus dados. Frequentemente apenas dados abreviados, desestruturados ou dados totalmente incorrectos são introduzidos, ou ainda com erros não intencionais de digitação.

Funções adequadas para garantir a consistência da qualidade dos dados não foi ainda integrada nas aplicações web de muitas empresas. Isto é indispensável, contudo, porque o sucesso do negócio online anda de mãos dadas com a qualidade dos dados.

Tenho mostrado aqui as ferramentas de qualidade de dados, mas estas não são por si um garante de que a qualidade dos nossos dados está assegurada em completo. O processo de qualidade de dados é algo interminável. Se por um lado estas ferramentas permitem ter altos níveis de qualidade, por outro necessitam de ser constantemente alimentadas.

Ao adquirirmos estas ferramentas, elas contêm tabelas que ao longo do tempo se vão desactualizando. Se estivermos a falar nas tabelas dos nomes que são usadas no Mail e nas tabelas fonéticas, a desactualização não será muito evidente, nem muito rápida. Mas se estivermos a falar por exemplo da tabela dos arruamentos, a actualização é sem duvida uma das coisas mais fundamentais. Com as alterações urbanísticas que existem, praticamente todas as semanas temos ruas novas, renomeações de ruas, novos números de porta, já para não falar nas alterações dos códigos postais.

Com as actualizações trimestrais conseguimos garantir que estes "problemas" são minimizados. Todos os trimestres temos mais de 5.000 alterações nas tabelas. O que significa que no final do ano podemos ter uma percentagem significativa de alterações nas tabelas de referencia. Logicamente que esta percepção depende em muito não apenas da experiência, mas também da forma como se usam estas aplicações. Se por um lado existem clientes que se apercebem da existência de ruas novas ainda antes da chegada do update, por outro existem outros que mesmo depois da chegada do update, ainda demoram algum tempo até que façam a instalação do mesmo.

Mas a importância das tabelas não se fica pela sua actualização, mas logicamente também pela sua qualidade intrínseca. Se existirem muitos códigos postais que estejam desactualizados, ou se não existirem arruamentos, ou ainda se existirem duplicados de ruas, tudo isto pode contribuir para uma fraca experiência de trabalho com as ferramentas por parte não apenas dos administradores do sistema, mas também pelos utilizadores.

A bala de prata para o valor acrescentado
A qualidade dos dados é hoje uma tarefa fundamental nas empresas de todos os tamanhos, como resultado do aumento das quantidades de dados, o seu armazenamento numa ampla variedade de sistemas de fonte, um ambiente global competitivo, mercados cada vez mais complexos, e também como um resultado de novos regulamentos legais.

Dados harmonizados e optimizados têm uma importante contribuição para o valor acrescentado dos processos de negócio e são a base para melhores decisões de negócio. Os pré-requisitos são a análise de dados, padronização de dados e limpeza de dados, verificação pró-activa e monitorização contínua, a fim de evitar erros de dados na medida do possível, a longo prazo.

O foco na qualidade dos dados do cliente
As iniciativas de qualidade apoiadas, até agora, principalmente focada em aplicações operacionais no ambiente de dados do cliente, muitas vezes, exclusivamente, a nível nacional. Estas abordagens básicas são sustentadas principalmente por considerações de orientação para o cliente, de vendas e as perspectivas de comercialização. Como resultado, a qualidade dos dados é deliberadamente demarcada para efeitos do "customer" data quality (CDQ), que se concentra principalmente na visão única do cliente em aplicações de CRM, e é uma grande preocupação em marketing directo e um-para-um.

Iniciativa que procura cada vez mais a qualidade dos dados
Actualmente, a exigência de actualização e dados precisos está claramente a evoluir para os importantes sistemas de gestão e visões de processos de unidades de negócios individuais. Como resultado, o centro de interesses é sobre a busca de uma qualidade de dados abrangente para a empresa na globalidade. O volume de dados está realmente a crescer e cada organização é confrontada com o desafio de gerir uma quantidade enorme de "não-clientes", dados de produto, de operação, financeiros, dados de pedidos, informações sobre preços, etc
INICIATIVAS DE ALTA QUALIDADE DE DADOS SÃO PRÉ-REQUISITO...
- para o sucesso das aplicações que são críticas para o sucesso, tais como ERP, CRM ou modelos de negócio electrónico
- para satisfazer as normas legais,denominada por Compliance
- para a utilização de conceitos técnicos, como a gestão de dados ou armazenamento de dados

Criando a qualidade dos dados internacionais
Os dados não reconhecem fronteiras. Internacionalização e globalização cria novos desafios para soluções de qualidade de dados e processos em virtude das diferentes culturas, linguagens, padrões, formatos de dados, entre outras coisas. Ambos os aspectos formais e uma valorização cultural são aqui abordados, o conhecimento dos países e regiões do mundo é indispensável.
Além deste, outros dois aspectos importantes que devem ser cobertos por uma solução de qualidade de dados são de destacar: lidar com todos os scripts do mundo e da internacionalmente standartizada Unicode , bem como a disponibilidade de versões específicas de cada país de blocos de função e suas bases de conhecimento.

A qualidade dos dados feita pela Uniserv
Especialização em Qualidade dos dados
A Uniserv especializou-se em soluções de qualidade de dados. Desenvolvemos e comercializamos soluções de software padrão que satisfaçam os mais elevados padrões de qualidade dos dados. A nossa oferta inclui todas as importantes funções da qualidade dos dados do Ciclo de Vida. O Customer Data Quality Process (CDQ) em grandes bases de dados é uma área particular em foco. Um objectivo importante é permitir que a "visão única de cliente" possa tornar-se realidade nas empresas.

As soluções de software Uniserv podem ser integradas nos seus processos de negócio, arquitecturas de TI e aplicações.
Como resultado de extensas opções de personalização e da experiência das melhores práticas dos nossos consultores e parceiros, uma solução de qualidade de dados individuais pode ser criada optimizando seus processos de negócio e permite-lhe explorar ainda mais sucesso no mercado.

E assim você reduz os custos e riscos através da detecção de defeitos de qualidade nos seus dados mais rapidamente, a tomada de decisões tem como base em dados de alta qualidade e assegura que a qualidade elevada dos dados é fornecida em processos e aplicações, como resultado da monitorização contínua.

Focus: Orientação para o cliente

Reforçar relações com os clientes
A concorrência para o auxilio ao cliente é uma questão central no planeamento estratégico de negócios no que diz respeito à transparência do mercado e da permutabilidade dos produtos e serviços. Orientação sistemática para o cliente e a gestão de informações abrangentes são indispensáveis quando se trata de ganhar vantagens competitivas decisivas.
Como resultado, a actualidade dos dados com alta qualidade e a preparação da informação desempenham hoje em dia um papel cada vez mais importante no incremento do desempenho empresarial e na criação de valor.
Isto aplica-se particularmente à administração profissional e manutenção de informações de endereço, porque estes são os sustentáculos de qualquer relacionamento com o cliente e com o mercado.

O potencial de sucesso do endereço
Os especialistas concordam que bases de dados correctas, actualizadas, completas e, acima de tudo, livres de duplicados são um factor crítico para o sucesso e para a aplicação uniforme de uma comunicação individualizada no atendimento ao cliente em toda a empresa.
Além disso, são indispensáveis para uma gestão profissional dos clientes, orientadas para a qualidade com uma base de dados qualificada um-para-um no Ponto de Venda. Só nesta base se pode desenvolver e implementar estratégias de sucesso para a ligação com o cliente e incrementar o mercado. O mesmo se aplica às avaliações aos clientes, envio de cheques de crédito, consignações ou envios de facturas e transacções que são diferenciadas de acordo com o cliente ou destinatário. As informações do endereço com qualidade optimizada é um pré-requisito em todos os casos.

Valor acrescentado para mySAP™ Business Suite

Address Management no ambiente do mySAP™ Business Suite
Sistemas integrados globais, tais como o mySAP™ Business Suite têm o objectivo de actualizar e disponibilizar informações transparentes em toda a empresa por meio de aplicativos de negócios abrangentes e flexíveis com funções altamente desenvolvidas.Com seu conceito de aplicação aberta, o mySAP™ Business Suite suporta a integração de soluções de software externas complementares. Como resultado, os endereços de clientes potenciais, clientes, fornecedores ou parceiros administrados no mySAP™ Business Suite podem ser perfeitamente geridos e mantidos "up-to-date".
As soluções desenvolvidas pela Uniserv para verificação de endereços em toda a empresa, tolerantes ao erro, procuram com acesso directo à base de dados de endereços atender à demanda de optimizar tanto a interacção como o diálogo com os parceiros de negócios.

mySAP™ Business Suite - Maximização dos benefícios
Ampliamos o âmbito da actividade do SAP® R/3®, da solução mySAP ERP e da aplicação mySAP™ CRM, funções de front-end que são essenciais para os seus processos de negócio. Como resultado, pode optimizar a utilização do mySAP™ CRM para gestão de relacionamento de forma global e sistemática.
Além disto, a integração em aplicações web, como o Webclient IC é possível. Isto permite o uso móvel da função independentemente da localização.
As soluções de software independentes da Uniserv, assumem, assim, um papel-chave na sua estratégia de TI focada em parceiros de negócios e de mercado, independentemente do sistema operativo utilizado e dos antecedentes da aplicação.

Uma característica do sistema MDM é que o fluxo de dados flui em duas direções: os dados são transferidos para o sistema (por exemplo, a criação inicial de um registo do cliente) e os dados são recuperados a partir do sistema pelo utilizador. Desnecessário será dizer que esses dados também têm de ser correctamente ligados a todos os outros dados no âmbito respectivo. Deve, portanto, ser garantido que, quando os dados do cliente Osvaldo Godinho são recuperados, o sistema não só fornece seus dados de contacto, mas também, por exemplo os produtos que ele adquiriu por um determinado preço num determinado ponto no tempo, todas as queixas que ele fez e que material publicitário recebeu (visão única do cliente).

Dois pontos em particular, devem ser considerados para garantir alta eficiência no manuseio dos dados:
- Em primeiro lugar, toleracia ao erro na procura de registos de dados. Quando um novo registo de dados é criada uma busca para o mesmo ou semelhantes.
A busca pode ser iniciada activamente com o pressionar de um botão. No entanto, a pesquisa também funciona em segundo plano, sem que seja activamente iniciada. Se o sistema encontrar registos idênticos ou potenciais duplicados, os registos de dados semelhantes são exibidos para o utilizador final na forma de uma lista de selecção, para que ele possa decidir se o cliente actual é na verdade um novo cliente ou um cliente existente.

- Outro factor importante é a velocidade e a tolerância ao erro desta pesquisa. O utilizador final é dependente do tempo de resposta rápida do sistema. Se ele tem que esperar muito tempo para que os resultados de um teste, este teste é contornado e a qualidade dos dados mestre irá deteriorar-se.

No entanto, a tolerância ao erro na procura de registos não é apenas um critério importante na criação dos dados iniciais. A pesquisa também deve ocorrer rapidamente e fornecer resultados confiáveis, quando, por exemplo registos de dados são pesquisados num centro de serviço.