Qualidade de Dados / Data Quality

É sem dúvida um dos grandes temas do momento e como tal vamos falar um pouco da qualidade de dados na nuvem. É possível? Existem casos de sucesso?

Para ambas as perguntas a resposta é afirmativa. Falando de Address Management e Deduplicação, que são os meus temas de eleição, há vários casos de sucesso em inúmeras plataformas igualmente na nuvem, como por exemplo o salesforce.com, update.seven, Talend mas igualmente em outras plataformas, mas recorrendo aos serviços na nuvem, como MS Dynamics CRM, Oracle Siebel CRM, SAP Business Suite entre muitos outros.

Segundo as previsões da Gartner em 2015, 10% dos pacotes de implementações MDM serão entregues em forma de SaaS na nuvem.

A passagem das plataformas empresariais para a nuvem, conjuntamente com um mercado laboral onde cada vez é mais complicado encontrar / manter um staf que não dê muitos erros nas inserções de moradas e / ou nomes inseridos, as aplicações de normalização / correcção / verificação / deduplicação de nomes e moradas são cada vez mais essenciais. O mesmo se passa em termos de e-commerce onde moradas mal escritas, com erros de grafia, com erros fonéticos são cada vez mais comuns e pode originar devoluções ou atrasos nas entregas com todos os custos financeiros e de imagem que tal pode acarretar.

Qualidade de Dados no e-commerce mantém o fluxo de caixa em movimento

As aplicações de negócios em e-commerce ou aplicações Web portal têm uma grande diferença de outras aplicações de negócios: a operação e entrada de dados são realizadas directamente pelo cliente ou potencial cliente e não por pessoal treinado. Erros de entrada - intencionais ou acidentais - são uma ocorrência diária. Esses erros afectam a qualidade dos dados e podem ter um impacto significativo nas transacções rápidas, sem sobressaltos e num fluxo de caixa confiável.

DESAFIOS
Endereços incorrectos ou não entregues - os custos sobem, as vendas caem

Existem muitas razões para a existência de endereços incorrectos ou não entregues. Todos têm uma coisa em comum: custos adicionais desnecessários e perda de vendas para as empresas de catálogos por Internet e os operadores das lojas online com entregas pelos correios.

• Evitar erros de digitação que evitem que a mercadoria chegue ao cliente fazendo com que haja elevados custos de pesquisa adicional. Descontos nos portes postais podem ser reduzidos ou cancelados pelo transportador porque os mails em massa incluem um grande número de endereços incorrectos.
• Erros de entrada de dados causados por máscaras de entrada incertas ou não disponíveis que tornam mais difícil a entrada correcta ou forneçam dados de forma incorrecta - este é um problema particular em aplicações internacionais, com estruturas de endereço diferente. Estes têm de ser limpos manualmente com um alto investimento de tempo e custos operacionais. A satisfação do cliente e retenção de clientes também são afectados.
• Entradas incorrectas deliberadamente (endereços fictícios) iniciando processos de expedição, que custam dinheiro e que tem de ser revertido com grande esforço.
• A mercadoria não pode ser entregue como resultado de endereços antigos que não são actualizados pelo cliente, gerando altos custos para devolução e reenvio.

Duplicados - custos adicionais desnecessários, não utilizando up / cross-selling
Vários registos de dados (duplicados) também são problemáticos:

• Logons aos portais da Web são executados sem querer várias vezes e levam à duplicação de dados.
• Criação intencional de novas contas, por exemplo, para comentários indesejados ou ilegais em fóruns, auto-promoção, SPAM ou pedidos que são regularmente não aceites ou não pagos.

Eles não só causam custos para a limpeza dos dados, mas também falsificam a visão única do cliente. Análises por exemplo, em aplicações de CRM são executadas mais dificilmente, e potenciais upsellings e cross-sellings não podem ser usadas de forma rentável.

Validação de endereços e verificação duplicados estão disponíveis para os utilizadores do Salesforce através do AppExchange Salesforce como uma solução certificada para qualidade de dados da empresa líder de mercado Uniserv.

Utilizadores do sistema de CRM Salesforce agora podem melhorar significativamente a qualidade de seus clientes e prospecção de dados com uma nova solução da Uniserv GmbH de Pforzheim. A Uniserv é a primeira empresa a oferecer a validação de endereços e a verificação de duplicados plenamente integrado no salesforce.com de uma única fonte. A correcção de endereços podem ser verificados e corrigidos automaticamente quando os dados são inseridos, uma selecção de duplicados é possível, ao mesmo tempo. A solução foi certificada pela salesforce.com e está projectada para uso internacional: todos os países importantes, linguagens e scripts estão cobertos.

A solução está disponível para uso imediato na AppExchange Salesforce. Como no caso de todos os aplicativos de terceiros certificados pela salesforce.com, a instalação só requer alguns cliques e está activo em cinco minutos. O sistema também pode ser testado gratuitamente. Além disso, os utilizadores do Salesforce podem usar a nova oferta da Uniserv Software como Serviço (SaaS) para a optimização completa de bases de dados. Dados arquivados podem ser periodicamente trazidos à "superficie" em www.data-quality-on-demand.com. Grandes arquivos e bases de dados completas também são processados e optimizadas por Data Quality on Demand. Validação de Endereços e harmonização duplicados também estão disponíveis para bases de dados. Funções para analisar dados e correspondentes deslocalizações, lutos ou pessoas que não desejem receber publicidade. Além de tudo isso, o reforço de dados também está disponível.

"A nova solução para os utilizadores do Salesforce é mais um passo consistente, por meio do qual a Uniserv sistematicamente vai executando a sua estratégia de entrega de soluções de qualidade de dados a partir da nuvem. Este é o segundo passo após o lançamento do novo portal de SaaS www.data-quality-on-demand.com - outros se seguirão", disse o CEO da Uniserv, Roland Pfeiffer.

Qualidade dos dados através da "metodologia de acertar à primeira"
Segundo os últimos estudos, o actual estado de coisas na qualidade de dados de clientes em empresas alemãs também não é melhor: Dependendo do sector, uma média de entre 5,7 e 16,1 por cento dos endereços foi assinalado para ser devolvido e entre 0,3 e 8,9 por cento de duplicados existiam num ensaio representativo. Veja aqui um pequeno exercício dos custos que isto pode trazer para as empresas. Se os utilizadores descobrem que a qualidade dos dados em seu sistema de CRM não é perfeito, normalmente tomam menos cuidado ao entrar e a manter os dados. O resultado é uma espiral descendente e uma diminuição constante da qualidade dos dados, que finalmente coloca a utilidade do sistema completo de CRM em risco. Com este cenário, os utilizadores do salesforce.com têm agora a oportunidade, pela primeira vez de aumentar consideravelmente a qualidade de seus clientes e prospecção de dados através da solução Uniserv para validação de endereços e evitar o duplicar de correspondência: ele garante que apenas os dados correctos entram no sistema de CRM logo de início, em vez de dados não verificados, que têm de ser posteriormente levado a um nível aceitável ao elaborar operações de limpeza.

Acesso confortável, se necessário
Depois de alguns passos de personalização em AppExchange, a validação de endereços e deduplicação de registos são executadas automaticamente no Salesforce CRM para a criação inicial de dados ou alterações às ligações, contactos ou contas. Os serviços integrados são baseados em serviços da Web da Uniserv que os vem fornecendo aos seus clientes com sucesso desde à muitos anos.

Existem ainda os conectores disponibilizados pela Uniserv para outros importantes sistemas de CRM, como SAP, Microsoft Dynamics, Siebel, PeopleSoft e Update.

A cereja no topo do bolo.

O objectivo da introdução de um sistema CRM (Customer Relationship Management) é optimizar e estabilizar as relações com os actuais e futuros clientes a longo prazo. A chave para um relacionamento satisfatório de ambos os lados não depende apenas um sistema inteligente de CRM, mas também da alta qualidade dos dados que ele contém.

Há indícios de falta de qualidade dos dados do cliente, se a taxa de retorno de mailings é relativamente elevada, como resultado de dados incorrectos ou endereços incompletos ou clientes queixam-se sobre várias entregas do mesmo correio publicitário. É constrangedor se uma linha de endereço de um cliente, contiver erros, porque não foi dada importância à "higiene" dos componentes do nome e endereço.

Mesmo que a equipe interna tenha falta de confiança na base de dados e tenha de verificar manualmente cada registo antes de contactar os clientes, isto também deve ser considerado como uma indicação de baixa qualidade dos dados. Com base nos pontos aqui mencionados, torna-se evidente que a qualidade dos dados no sistema de CRM é tão importante quanto o próprio sistema. Se este não for o caso, o esperado efeito da ligação do cliente a longo prazo combinado com um aumento eficiência do trabalho realizado com os dados do cliente não irá surgir.

Vários cenários de utilização de um sistema de CRM vão ser considerados nos próximos posts.

As áreas de actuação são a relação da qualidade dos dados e as consequências da fraca qualidade dos dados. Além disso, iremos abordar uma solução prática para a prestação de alta qualidade de dados de um recém-criado ou existente sistema de CRM e como manter esse status quo em diferentes sistemas e plataformas.

É possível ter a(s) nossa(s) bases de dados com qualidade de dados, mantendo acesso às mesmas e com elevada qualidade de dados, poupando dinheiro?

A primeira pergunta a ser feita caso existam várias Bases de dados, é se é necessário coexistirem essas diferentes Bases de dados e se não será vantajoso fazer uma integração. É sempre mais fácil de manter uma base de dados que muitas, sendo que em alguns casos os dados são coincidentes. Se tivermos duas bases de dados com dados dos nossos clientes e sejamos informados da alteração de morada, o mais certo é que essa alteração apenas seja feita em uma das bd's. Caso os dados estejam integrados, normalizados e deduplicados isso já não acontece. É tempo que não se perde e é a qualidade das BD's que aumenta por estarem sempre com os registos actualizados.

Depois desta integração ser ou não executada, uma vez que pode ser executada em service bureau e reintegrada nos moldes actuais, existem outras questões que convém estarem bem presentes, especialmente nos tempos de contenção de despesas que estamos a viver. É necessário manter uma estrutura interna para manter as bases de dados? Em muitos casos estamos a falar não apenas de servidores, como de recursos humanos que estão muitas vezes parcialmente alocados a este área, mas por norma não têm tempo, nem conhecimentos, nem as ferramentas para manterem uma BD com qualidade. Como tal a melhor opção é entregar a BD a uma empresa especializada.

Actualmente e com a velocidade que se consegue ter nas ligações de Internet, é possível ter acesso à BD quase como se estivesse dentro da própria rede da empresa. Com isto e através de web services consegue-se desenvolver programas que permitam ter acesso remoto, não apenas pelos meios tradicionais, mas permite ainda colocar os novos meios a comunicar com a BD. Nestes novos meios estou a falar por exemplo dos smartphones.

Tudo isto incluído pode ser desenvolvido à medida das especificidades de cada uma das empresas, com um custo que é certamente muito inferior ao custo que se tem em manter as BD's dentro da organização. Em muitos casos sem qualquer custo inicial de desenvolvimento/adaptação de plataformas. Usando assim as novas possibilidades de Saas.

Hoje em dia já existem várias hipóteses para que se possa assegurar a manutenção da qualidade dos dados em níveis elevados. Não apenas com a compra das mais avançadas ferramentas de qualidade de dados, mas igualmente adoptando as mais modernas e económicas versões de Saas. Dependendo do numero de registos a serem tratados, existem inúmeras hipóteses: desde a compra da normalização de um valor predeterminado de registos, quer sejam 10.000 anuais quer sejam muitos milhões. Tudo isto num "tratamento" que é feito no momento mais importante de qualquer operação que envolve dados. O momento da inserção/alteração/modificação.

Imaginemos que na inserção de um registo é colocado apenas "Liberdade, 14 3 Esq" e que nessa cidade existem a Rua a Travessa e o Largo da Liberdade. Este registo muito dificilmente ficará correcto na Base de dados. Sendo que o mais certo é que venha a trazer custos para a empresa com a devolução de toda a correspondência que for enviada. Por outro lado e mesmo que seja feito um trabalho de ETL em cima desta BD, não há software nenhum que possa normalizar esta rua e caso algum o faça tem apenas 33% de hipóteses de acertar na "correcção". Mas por norma é assinalado e não é corrigido.

Tudo isto poderia ser evitado, caso no momento de inserção dos dados o utilizador recebesse uma mensagem que dissesse: "Existem 3 hipóteses de normalização: Rua da Liberdade, Travessa da Liberdade e Largo da Liberdade". Com estas hipóteses e com a possibilidade de perguntar directamente ao cliente, caso estejamos a falar de um Call Center, ou de um atendimento directo ao publico, o problema seria de imediato resolvido.

Neste caso estamos mais uma vez a falar de moradas, mas o mesmo se aplica relativamente aos duplicados e a muitos outros campos em que temos erros mais ou menos frequentes, mas que estão certamente identificados. Sempre que um determinado erro frequente ocorra há a hipótese de criar um alerta para que imediatamente se possa resolver o problema.

Cloud, nuvem, ASP, SaaS, Software como Serviço e muitas outras designações que se vão ouvindo para definir o mesmo conceito. O conceito poderemos definir de forma muito simples como o aluguer de um software sempre via internet.

Teoricamente em termos de vantagens é uma relação win-win. O comprador tem como vantagens não necessitar de fazer a manutenção do sistema, não necessitar de se preocupar com os upgrades e tem ainda a vantagem crucial, que é o baixo custo de investimento inicial. Existe ainda a vantagem de que o investimento total fica sempre muito aquém, em caso de uma utilização moderada, do preço total da compra da aplicação. Existem ainda muitas outras vantagens, como por exemplo poder ter sempre um controle sobre os custos, ter acesso imediato a actualizações/alterações, serem sempre soluções flexíveis e evolutivas.

Por outro lado, para o fornecedor, a principal vantagem é poder chegar a mercados que de outra forma lhe estariam inacessíveis.

No caso da qualidade de dados é possível aceder aos processos de normalização de dados, falados anteriormente via SaaS. Em vez de aceder ao servidor local para poder normalizar a morada, com o SaaS esta normalização vai ser efectuada num servidor via web. Esta possibilidade está disponível, e pode ser uma solução não apenas para clientes que tenham um volume de dados que não justifique a compra das aplicações, mas também para clientes que tenham moradas estrangeiras em numero mais reduzido, mas que pretendam fazer a normalização das mesmas. Desta forma localmente fazem a normalização das moradas nacionais e via SaaS fazem a normalização das moradas estrangeiras. Neste serviço podem ser incluídas as coordenadas geográficas.