Qualidade de Dados / Data Quality

Existem algumas ferramentas de qualidade de dados que dizem funcionar em Portugal. Algumas dizem ser muito avançadas por terem um dicionário de sinónimos com muitos milhões de entradas. Outras dizem que têm ferramentas internacionais que funcionam para Portugal, apenas necessitam de pequenos ajustamentos consoante a BD a tratar. Mas na realidade quais a diferenças entre as ferramentas existentes no mercado Português?

Vamos por partes, as que referi em primeiro lugar, são ferramentas que facilmente se percebe as suas limitações. Todos sabemos que a quantidade de erros que é possível dar é totalmente ilimitada. Ou seja por cada BD que seja tratada, certamente que novas "versões" das diferentes ruas vão ser criadas. Isto apenas para referir as já existentes. Porque se houver um trabalho de actualização com novas ruas e alterações de ruas, todo um histórico de "versões" de erros tem de ser criado. Nunca se conseguem grandes resultados com estas ferramentas, porque simplesmente as actualizações são diárias e virtualmente infinitas.

Depois existem ainda outras de origem normalmente Americana ou Anglo-Saxónica e às quais foi "anexado" um street file (ficheiro com os arruamentos) e que supostamente, trabalham sem problemas. Aqui temos um outro problema, que são as especificidades de um país como Portugal. Nestes mercados não existem a Rua, Travessa, Largo e Beco da Liberdade, tudo na mesma cidade. Logo aqui em muitos casos existem problemas na identificação/normalização das ruas.

Conheço este problema muito bem porque há pouco mais de 10 anos, andei a fazer um estudo para a "importação" de ferramentas disponíveis no mercado internacional e foram estes alguns dos problemas com que me deparei e hoje mais de 10 anos depois, continuam actuais como nesse tempo.

Então no final qual a solução?

A solução é um misto das duas, ou seja uma ferramenta que consiga "gerar" automaticamente esse histórico de erros, contando com mais de uma dezena de algoritmos internos, entre os quais o fuzzy logic, Patricia structure, Levenshtein distance e muitos outros, mas que por outro lado esteja adaptado ao mercado Português. Essa adaptação demorou quase dois anos, mas os resultados finais que conseguimos obter falam por si.

A confiança neste software é tão grande que o disponibilizamos na internet para que se possa testar. Mais nenhum outro está disponível desta forma e isso diz um pouco da confiança que se tem nos produtos. Para comprovar o que digo basta fazer um teste aqui, onde podem testar com uma morada com erros e por exemplo apenas com o código postal de 4 dígitos.

É possível ter a(s) nossa(s) bases de dados com qualidade de dados, mantendo acesso às mesmas e com elevada qualidade de dados, poupando dinheiro?

A primeira pergunta a ser feita caso existam várias Bases de dados, é se é necessário coexistirem essas diferentes Bases de dados e se não será vantajoso fazer uma integração. É sempre mais fácil de manter uma base de dados que muitas, sendo que em alguns casos os dados são coincidentes. Se tivermos duas bases de dados com dados dos nossos clientes e sejamos informados da alteração de morada, o mais certo é que essa alteração apenas seja feita em uma das bd's. Caso os dados estejam integrados, normalizados e deduplicados isso já não acontece. É tempo que não se perde e é a qualidade das BD's que aumenta por estarem sempre com os registos actualizados.

Depois desta integração ser ou não executada, uma vez que pode ser executada em service bureau e reintegrada nos moldes actuais, existem outras questões que convém estarem bem presentes, especialmente nos tempos de contenção de despesas que estamos a viver. É necessário manter uma estrutura interna para manter as bases de dados? Em muitos casos estamos a falar não apenas de servidores, como de recursos humanos que estão muitas vezes parcialmente alocados a este área, mas por norma não têm tempo, nem conhecimentos, nem as ferramentas para manterem uma BD com qualidade. Como tal a melhor opção é entregar a BD a uma empresa especializada.

Actualmente e com a velocidade que se consegue ter nas ligações de Internet, é possível ter acesso à BD quase como se estivesse dentro da própria rede da empresa. Com isto e através de web services consegue-se desenvolver programas que permitam ter acesso remoto, não apenas pelos meios tradicionais, mas permite ainda colocar os novos meios a comunicar com a BD. Nestes novos meios estou a falar por exemplo dos smartphones.

Tudo isto incluído pode ser desenvolvido à medida das especificidades de cada uma das empresas, com um custo que é certamente muito inferior ao custo que se tem em manter as BD's dentro da organização. Em muitos casos sem qualquer custo inicial de desenvolvimento/adaptação de plataformas. Usando assim as novas possibilidades de Saas.

Hoje em dia já existem várias hipóteses para que se possa assegurar a manutenção da qualidade dos dados em níveis elevados. Não apenas com a compra das mais avançadas ferramentas de qualidade de dados, mas igualmente adoptando as mais modernas e económicas versões de Saas. Dependendo do numero de registos a serem tratados, existem inúmeras hipóteses: desde a compra da normalização de um valor predeterminado de registos, quer sejam 10.000 anuais quer sejam muitos milhões. Tudo isto num "tratamento" que é feito no momento mais importante de qualquer operação que envolve dados. O momento da inserção/alteração/modificação.

Imaginemos que na inserção de um registo é colocado apenas "Liberdade, 14 3 Esq" e que nessa cidade existem a Rua a Travessa e o Largo da Liberdade. Este registo muito dificilmente ficará correcto na Base de dados. Sendo que o mais certo é que venha a trazer custos para a empresa com a devolução de toda a correspondência que for enviada. Por outro lado e mesmo que seja feito um trabalho de ETL em cima desta BD, não há software nenhum que possa normalizar esta rua e caso algum o faça tem apenas 33% de hipóteses de acertar na "correcção". Mas por norma é assinalado e não é corrigido.

Tudo isto poderia ser evitado, caso no momento de inserção dos dados o utilizador recebesse uma mensagem que dissesse: "Existem 3 hipóteses de normalização: Rua da Liberdade, Travessa da Liberdade e Largo da Liberdade". Com estas hipóteses e com a possibilidade de perguntar directamente ao cliente, caso estejamos a falar de um Call Center, ou de um atendimento directo ao publico, o problema seria de imediato resolvido.

Neste caso estamos mais uma vez a falar de moradas, mas o mesmo se aplica relativamente aos duplicados e a muitos outros campos em que temos erros mais ou menos frequentes, mas que estão certamente identificados. Sempre que um determinado erro frequente ocorra há a hipótese de criar um alerta para que imediatamente se possa resolver o problema.

Estamos numa fase de grandes transformações nesta complexa área de actividade e existem novos caminhos que estão a ser trilhados. O grande destaque é sem duvida a diversificação dos pontos de contacto suportados em múltiplos canais.

Se até aqui existia uma grande diversidade de pontos de contacto com as Bases de dados, agora estamos numa fase em que se multiplicam as interacções das Bases de dados de Marketing em canais tão diferentes como os call centers, Sites, plataformas sociais e muitos outros, muitos deles em tempo real. E é essa a grande alteração que existe nos dias que correm, e que dificulta ainda mais manter uma base de dados com qualidade.

Se até aqui se conseguia controlar os pontos de interacção com a Base de dados, nos dias que correm muitas dessas interacções são executadas pelo utilizador final, directamente na Base de dados sem qualquer verificação.

Por isso em muitas bases de dados os updates mensais são coisa do passado e os updates já são diários. Este aumento na frequência tem efeitos em inúmeras áreas dentro da empresa. As respostas têm de ser muito mais rápidas e precisas.

E o grande desafio é manter uma base de dados com elevados níveis de integração/higienização. Conflitos nos dados podem trazer não apenas perdas de eficiência dos dados, que é um custo para a empresa, mas igualmente pode ter efeitos na confiança dos utilizadores da base de dados, assim como dos clientes.

O grande desafio neste momento é conseguir ter uma elevada qualidade dos dados na captura ou alteração dos dados.

Isso apenas é possível com ferramentas que consigam fazer a normalização/correcção de forma automática e logo no momento mais critico, que é na introdução/alteração dos dados.

• DQ-Connector update.seven Real-Time proporciona uma maior qualidade dos dados do cliente no ambiente de actualização CRM
• Integração de componentes de alta qualidade para a validação dos serviços postais e deduplicação e pesquisa através de "plug and play"

O componente fundamental de qualquer sistema de CRM (Customer Relationship Management) é o armazenamento dos dados do cliente. A sua qualidade é o requisito fundamental para o sucesso das medidas e projectos com base na solução de CRM. Neste contexto, a Uniserv GmbH de Data Quality Solutions oferece a integração das funções de qualidade para a validação de dados e deduplicação de registos, para todas as principais soluções de CRM.

Os componentes post e mailRetrieval para a otimização dos dados do cliente agora também podem ser facilmente e confortavelmente integrados e ativados na suíte CRM da atualização de Software AG, por meio do update.seven-Time-Connector Real DQ via "plug and play". Como resultado, mudanças de endereço ou novas entradas de endereços de correio podem ser automaticamente verificadas no ambiente web do CRM update.seven por meio da validação da função Post de validação postal com uma cobertura quase global. Além disso, com a função de busca tolerante ao erro mailRetrieval, é mais fácil encontrar empresas e dados pessoais, bem como eventuais duplicados, possibilitando mesmo a identificação mais precisa de duplicados, considerando as necessidades individuais de processos de negócios existentes, nomeadamente através da possibilidade de integração em áreas críticas do negócio e um complexo sistema de regras de exclusão.

"Dados de cliente incorrectos geram custos adicionais e podem ser responsáveis por uma perda perceptível de imagem. Duplicados em registos de dados diferentes implicam um elevado esforço administrativo e são grandes consumidores de tempo - é por isso que uma completa, única visão 360° do cliente de todas as áreas da empresa não é possível no ambiente sensível de CRM. DQ-Connector, que também já está disponível para os utilizadores da web update.seven, foi desenvolvido pela Uniserv para aumentar a qualidade dos dados: É fácil e rapidamente activado, ajuda as empresas a cortar custos, proporciona-lhes uma visão única dos seus clientes e permite uma implementação bem sucedida das suas medidas de CRM ", diz o CEO da Uniserv, Roland Pfeiffer.

A alta qualidade para os dados do cliente também para Oracle Siebel CRM: Com DQ Connector Real-Time Siebel CRM, a Uniserv integra validação postal e deduplicação em Oracle Siebel CRM

A solução de qualidade de dados da Uniserv GmbH tem as funções de validação postal e deduplicação disponíveis para os utilizadores do Oracle Siebel CRM da versão 8.0 através do conector DQ Real-Time. Como resultado, a qualidade dos dados das soluções post e mailRetrieval podem ser integradas no cliente Oracle Siebel Relationship Management (CRM) sistema para Siebel Enterprise Applications e Siebel Industry Applications. Uma validação postal tolerante ao erro tal como a deduplicação podem ser ativadas para a entrada de novos contactos e para alterar informações de endereço de dados de clientes existentes. Desta forma, teremos informação sempre up-to-date, correta, coerente e completa de informações relacionadas com cliente e que podem ser fornecidas para todos os utilizadores de um sistema de CRM, permitindo assim uma gestão eficiente e bem sucedida de todos os trabalhos, vendas e marketing, assim como de todos os processos controlados por este. Nenhuma programação manual por parte do cliente é necessária para ativar o conector DQ no ambiente Siebel CRM da Oracle: Os plug-ins são integrados através de processos automatizados, utilizando os recursos padrão disponíveis no Siebel.

"Com o conector DQ Real-Time Siebel CRM, estamos agora também a apoiar as empresas que utilizam o Siebel CRM para uma gestão eficiente dos dados dos seus clientes, garantindo assim o sucesso de solução de gestão de clientes, principalmente através de uma alta qualidade, de forma consistente, das informações armazenadas do cliente. Após a apresentação da integração Plug&Play no Microsoft Dynamics CRM em Novembro de 2009, o DQ Connector Real-Time Siebel CRM é um passo decisivo para tornar os serviços de qualidade de dados da Uniserv disponíveis para os principais sistemas de CRM", diz o CEO da Uniserv Roland Pfeiffer, comentando sobre a nova oferta.

• Especialista em qualidade de dados viu bem sucedida a re-certificação nas últimas versões SAP das suas ferramentas de validação de endereços e de limpeza de duplicados
• "SAP Certified Integration with SAP Netweaver" atesta a capacidade de integração consistente e a capacidade de ser altamente user-friendly.

A Uniserv GmbH é o maior fornecedor especializado de soluções de qualidade de dados na Europa, com um portfólio de software utilizável a nível internacional e, em colaboração com o parceiro estratégico SAP Paricon, mais uma vez, recebeu o certificado "SAP Certified Integration with SAP Netweaver" para as últimas versões SAP, demonstrando assim as capacidades das ferramentas Unicode para validação de endereços (Uniserv post SAP) e limpeza de duplicados (Uniserv mail SAP). O parceiro de longa data da SAP, tem provado a capacidade de integração consistente das suas soluções de software para a garantia da qualidade e melhoria da qualidade na gestão de dados de clientes e negócios em aplicações SAP, pela terceira vez consecutiva. Além disso, a SAP enfatizou que a manipulação das soluções foi "user friendly" no processo de certificação para os aspectos técnicos e funcionais nas soluções de normalização e deduplicação com base em testes padronizados.

"Com mais de 40 anos experiência como especialista em qualidade de dados, especialmente no ambiente SAP, combinamos as vantagens de um fornecedor de produtos com os de uma empresa de projecto experiente e fornecedor de soluções, podendo oferecer aos utilizadores de soluções SAP, que são precisamente adaptadas aos seus processos de ERP ou CRM através dos efeitos de sinergia decorrentes no nosso Centro de Competência ", diz Georg Seitz, diretor da SAP Uniserv DQ Competence Center , sumariando os benefícios. "Estudos realizados por analistas de renome mostram que a questão da qualidade dos dados está sendo cada vez mais levado em linha de conta no mercado SAP existindo cada vez mais pedidos de informação- a este respeito, nós oferecemos tanto aos especialistas como aos utilizadores finais neste ambiente conceitos convincentes e transparentes de qualidade de dados medidas de uma única fonte. "

A Uniserv SAP DQ Competence Center tem pacotes especiais de baixo custo, à disposição das empresas com utilizadores SAP. Cada oferta inclui uma análise da qualidade da base de dados, incluindo uma descrição dos défices, o desenvolvimento das estratégias necessárias para a sua eliminação e prevenção, bem como a aplicação das ferramentas que serão posteriormente implementadas para garantir a qualidade dos dados. Ferramentas utilizáveis internacionalmente estão disponíveis como uma solução in-house, mas também podem ser usadas on-demand como Software as a Service (SaaS); combinação das duas formas de implementação também é possível.

____________________________________________________________________________

*SAP, R/3, SAP NetWeaver, Duet, PartnerEdge, ByDesign, SAP Business ByDesign e outros produtos e serviços SAP mencionados no texto assim como os respectivos logos são registados ou marca registada da SAP AG na Alemanha e outros países. Todos os outros nomes de produtos e serviços são marca registada das respectivas empresas.

Fonte

A qualidade dos dados e da informação é a base do sucesso de todos os processos de negócio de uma empresa. Mesmo em contextos com processos de negócio em aplicações heterogéneas, existem soluções completas que permitem uma visão única e inequívoca dos clientes da empresa.

Nestes contextos sempre complexos em que existem inúmeras plataformas para cada um dos departamentos da empresa, apenas realçam as capacidades das soluções da Uniserv. Iniciando sempre com necessidades especificas e individualizadas nas diversas áreas da empresa, consegue preencher os requisitos dos diferentes processos de negócio, sem lacunas.

Com estas aplicações orientadas para qualidade de dados, com as funcionalidades das mesmas e com as melhores práticas de consultadoria, as aplicações para análise, vigilância e limpeza dos dados, garantem uma melhoria considerável na qualidade dos dados em aplicações de negócios e projectos, tais como MDM, Business Data Warehouse, CRM, ERP ou e-business. Pode descobrir mais sobre as soluções de qualidade de dados aqui.

Existem como foram sendo descritas ao longo dos posts anteriores várias formas de normalização, correcção, actualização e validação das moradas, sendo o tratamento em modo batch sem dúvida o mais económico, para quem não tem volume de dados que comporte a compra das aplicações que funcionam logo na entrada dos dados. Embora seja essa a forma em que sem dúvida vamos ter os melhores resultados, nem sempre é possível fazer esse investimento.

Esta forma de tratamento obriga a um ciclo de tratamentos, mais ou menos frequentes consoante o volume de dados e de alterações que existam nos dados.

Neste tratamento de dados é feita a comparação dos dados existentes, com os dados existentes no ficheiro que contem as localidades, as respectivas ruas com, em muitos casos, os respectivos números de porta. Desta forma e recorrendo aos mais avançados algoritmos combinados, conseguimos ter resultados que são em muito superiores ao que por norma se consegue verificar. A segurança e qualidade dos dados e das aplicações é tal que é possível fazer testes neste demo online.

Esta é a melhor demonstração que podemos fazer da qualidade das nossas aplicações.

Na vertente Batch, vão existir no ficheiro final campos com uma descrição de todas as alterações que tenham sido efectuadas a cada um dos registos. Existem igualmente códigos que assinalam se os registos foram ou não alterados ou se não foi possível fazer a normalização / correcção / validação dos mesmos. Existem casos em que simplesmente não é possível fazer a normalização. Podem ser inúmeras as causas para essa não normalização, especialmente num país com as particularidades de Portugal. Mas mesmo com estas particularidades, estaremos sempre a falar em percentagens de normalização muito elevadas.

Como se pode ver com ferramentas adequadas não é necessária muita informação para que se consiga obter uma morada normalizada e mais que isso, com código postal de 7 dígitos e caso seja necessário ainda com as coordenadas geográficas anexadas. Tudo isto feito de forma sistematizada e no momento mais importante e crucial de toda a vida dos dados dentro de qualquer companhia: logo na sua criação.

Ainda mais que para estes casos em que as informações são poucas, estas ferramentas servem igualmente para os casos em que há dificuldades na percepção do interlocutor, seja qual for o motivo. Para alem dos erros de percepção quer seja escrita ou de dicção, estes softwares ainda são tolerantes aos erros de digitação.

Tudo isto pode ser comprovado online neste link. Esta é a melhor demonstração que se pode dar na confiança que existe nestas aplicações.

A qualidade da informação é um conceito que tem vindo a mudar ao longo dos anos. A definição de qualidade desde os anos 70 até aos dias de hoje tem vindo a ser alterada.

Se até ao final do século passado, poderíamos considerar uma BD com qualidade, se tivesse normalizada. O que entendo aqui por normalizada? Todas as moradas por exemplo, tinham sempre "R DR XXXXX", ou "AV PROF XXXXXX".

Depois disso a definição de qualidade passou a ir um pouco mais longe e passamos apenas a considerar registos com qualidade, os registos que tivessem com uma morada totalmente correcta, em alguns casos já por extenso, algo como "Rua Doutor Xxxxxxx" ou "Avenida Professor Xxxxxxx". Mais importante, no caso Português, que tivessem também os 7 dígitos do código postal correctos. Infelizmente ainda hoje há muitas BD's que nem isto conseguem ter, existindo inúmeros registos com a terminação em 000 ou 999.

Mas agora a definição de qualidade da informação vai ainda mais longe, sendo que a tudo o que existia anteriormente, ainda temos que acrescentar as coordenadas geográficas e em muitos casos chaves comportamentais.

As necessidades de termos informação de qualidade hoje, não têm comparação com as necessidades que tínhamos há uns anos, nem certamente com as necessidades que teremos num futuro próximo.

As ferramentas Real Time de qualidade de dados funcionam tal como foi já anteriormente referido a todo o momento permitindo assim que os dados estejam sempre actualizados e que a qualquer momento a qualidade dos dados possa ser assegurada de forma a que quando a informação seja necessária ela esteja correcta e actualizada.

Desta forma podemos confiar na informação existente nas nossas BD's evitando assim os picos que surgem nos processos de ETL que vimos anteriormente. Imaginado que o ciclo implementado para os processos de ETL era de um ano, se depois de nove meses de ter sido executado um processo de ETL fosse feita uma contagem, o que iria acontecer era que provavelmente os dados não seriam de todo fiáveis. Com as aplicações a funcionar em Real Time nunca chegamos a ter dados muito incorrectos. Podem haver algumas discrepâncias nos dados, mas será sempre valores residuais.

Este gráfico mostra a diferença entre as metodologias. Se a um dado momento nos for por exemplo pedido uma contagem de residentes numa determinada rua, com as aplicações Real Time em funcionamento não necessitamos de grandes esforços de normalização para conseguirmos dar esses valores porque sabemos que essa rua está sempre escrita da mesma forma e como tal não necessitamos de queries muito complexas para obter um resultado correcto. No exemplo dado anteriormente em que um processo de ETL tenha sido executado nove meses antes, o normal será procurar uma "Rua Principal"; "R Principal"; "R. Principal" e mesmo assim não existe a certeza de termos uma contagem com todos os registos da Rua Principal. Se no lugar da Rua Principal colocarmos uma Avenida Calouste Gulbenkian as hipóteses crescem exponencialmente.

A informação cada vez mais é um bem essencial a todas a empresas e não ter acesso a essa informação rapidamente pode ter consequências catastróficas.

Muito superior ao custo de qualquer projecto de qualidade de dados, é o custo da falta de qualidade de dados. Os custos são os mais variados, desde custos directos a custos indirectos.

Nos custos directos podemos alocar os custos desde logo com a existência de duplicados e com todas as implicações que daí advêm para as companhias. O envio de correio, ou o contacto telefónico em duplicado, triplicado... alem dos custos directos, são também nos custos indirectos, uma vez que são uma má imagem de qualquer companhia. Quantos de nós não recebemos já estes contactos duplicados e sabemos que deixa uma imagem muito má de qualquer empresa. Nos custos directos ainda podemos em muitos casos colocar os custos de tempo para os vendedores para encontrarem uma morada, os custos de distribuição, os custos com as devoluções.

Nos custos indirectos temos essencialmente os custos de imagem que podem vir como anteriormente referidos pela duplicação de comunicação, mas podem ser também por dificuldade no encontrar uma ficha de cliente que quer apresentar uma reclamação porque nem se consegue encontrar a ficha ou porque como existem registos duplicados, foi encontrada uma ficha, mas não era nessa ficha que a queixa tinha anteriormente sido registada. Estes custos são os mais difíceis de contabilizar uma vez que por norma não se consegue saber o motivo que leva um cliente a sair da empresa. Se por insatisfação se por qualquer outro motivo.

Na grande maioria dos casos os projectos de limpeza de dados ou qualidade de dados, são projectos simples de ETL, em que existem várias abordagens.

Há projectos que são "simples". É feita a Extracção dos dados, o seu tratamento (Transform) e posteriormente o seu carregamento em BD (Load). Com estes projectos há uma aproximação a uma verdadeira qualidade de dados, mas se "olharem" com mais atenção vão verificar que na realidade, os dados nunca chegaram realmente a ficar limpos nos valores que são apresentados. Estes processos de ETL demoram algum tempo, e durante esse tempo, alguns dos dados que estão a ser tratados, estão a ser alterados pelos utilizadores. Ou seja, quando a BD é reposta, esses dados para alem de não poderem ser carregados, as alterações que entretanto foram efectuadas trouxeram mais "lixo" para o sistema.

E depois? Na semana seguinte a este projecto há novos dados, alterações e todo um conjunto de processos que fazem os dados voltar ao seu estado de falta de qualidade.

Existem outras abordagens, que já vi serem implementadas por grandes empresas em Portugal, que são ainda mais chocantes, que é a execução de projectos de ETL de forma progressiva. Ou seja, primeiro por exemplo tratam os registos que têm o código postal 1000. Depois os 1050 e assim sucessivamente. Este processo apenas permite que uma empresa fique eternamente a fazer a limpeza de dados, porque quando chegam ao fim do processo, estão os dados iniciais já totalmente "sujos". Apenas continuam o processo Ad aeternum.

Os processos ETL devem ser o principio de qualquer projecto de qualidade de dados. Durante o processo de ETL deve ser implementada uma solução online que permita a manutenção dos dados actualizados, evitando assim estar sempre a implementar processos ETL, com os elevados custos inerentes.

Aqui podem ver uma demonstração de como podem funcionar estas aplicações que em termos de moradas evitam a entrada de "lixo" para o sistema.

Tudo o devemos ter em conta relativamente à qualidade dos dados:
- Os dados assim que entram no sistema já estão desactualizados
- A conversão de dados é um dos maiores problemas de qualidade de dados
- Convencer os responsáveis que a qualidade de dados é um problema é um desafio.
- Tem sempre de haver num€ros para se poder fundamentar um projecto de DQ
- O projecto de DQ tem de ser um projecto global, envolvendo TODA a empresa.
- Nada se compara a uma validação dos dados logo no seu input. Todos os projectos posteriores de ETL vão ter sempre resultados muito inferiores.
- A chave para termos os melhores dados é pensarmos que os dados nunca estão tão bons como pensamos.
- Não existe perfeição, não existe 100% de dados correctos, mas podemos ficar perto.
- Quem é responsável pela qualidade dos dados na empresa? O Marketing? As Vendas? Os Serviços ao Cliente? O departamento de TI's? Nenhum dos anteriores? Deve haver sempre um responsável e quanto mais alto esse responsável estiver dentro da hierarquia da empresa melhor.
- Todo o "lixo" que entrar, vai ser "lixo" que vai para a rua. O envio desse "lixo" tem custos. O ideal é ter um filtro na entrada dos dados que faça a limpeza desses dados para evitar a entrada do "lixo".

Para haver sucesso num processo de CRM, antes têm de existir fundações fortes. E quais são as fundações de qualquer projecto de CRM? Os dados.

Se os dados não estiverem em condições, não estiverem normalizados e especialmente deduplicados será muito difícil que qualquer CRM tenha sucesso. Se o mesmo individuo tiver mais que um registo, o que vai acontecer é que há tantas possibilidades de haver problemas, que o mais certo é mais tarde ou mais cedo um deles poder vir a acontecer.

Se por exemplo, num envio de email esse individuo fizer o pedido de remoção do envio de emails, essa remoção é executada num dos registos, mas pode ser enviado posteriormente de outro registo, mesmo que o email não seja o mesmo, fica sempre uma má imagem para a empresa. O mesmo se pode passar caso esse cliente peça para alterar por exemplo uma morada. A alteração seria feita apenas num registos e continuariam a ser enviadas comunicações para a anterior morada em outro(s) registo(s) que possam existir. Estes são apenas 2 pequenos exemplos de coisas que podem correr mal por haver registos duplicados.

Tal como mostrei anteriormente num video, é possível manter a qualidade de dados em tempo real, entre outros ambientes, em SAP(R). Estas aplicações que se podem ver em funcionamento no video, são ferramentas certificadas, tendo sido as primeiras a nível mundial a terem esta distinção. A integração destas ferramentas permite que em tempo real, no momento mais importante, ou seja logo na criação do registo, se possa fazer a normalização e deduplicação, conseguindo-se com isto resultados que ficam muito acima de qualquer tratamento batch que se possa fazer posteriormente. Qualquer duvida que exista pode ser imediatamente esclarecida com o interluctor, coisa que à posteriori será sempre muito difícil.

Se o SAP não tiver tido alterações à sua estrutura, quer em termos visuais, quer em termos de estrutura de Base de Dados, esta instalação é o que se pode considerar plug & play. Caso hajam alterações, logicamente que é possível fazer essas adaptações, mas nesse caso logicamente o tempo de integração já não será de um dia para o outro, mas certamente em poucos dias é possível ter a solução em funcionamento.

Cloud, nuvem, ASP, SaaS, Software como Serviço e muitas outras designações que se vão ouvindo para definir o mesmo conceito. O conceito poderemos definir de forma muito simples como o aluguer de um software sempre via internet.

Teoricamente em termos de vantagens é uma relação win-win. O comprador tem como vantagens não necessitar de fazer a manutenção do sistema, não necessitar de se preocupar com os upgrades e tem ainda a vantagem crucial, que é o baixo custo de investimento inicial. Existe ainda a vantagem de que o investimento total fica sempre muito aquém, em caso de uma utilização moderada, do preço total da compra da aplicação. Existem ainda muitas outras vantagens, como por exemplo poder ter sempre um controle sobre os custos, ter acesso imediato a actualizações/alterações, serem sempre soluções flexíveis e evolutivas.

Por outro lado, para o fornecedor, a principal vantagem é poder chegar a mercados que de outra forma lhe estariam inacessíveis.

No caso da qualidade de dados é possível aceder aos processos de normalização de dados, falados anteriormente via SaaS. Em vez de aceder ao servidor local para poder normalizar a morada, com o SaaS esta normalização vai ser efectuada num servidor via web. Esta possibilidade está disponível, e pode ser uma solução não apenas para clientes que tenham um volume de dados que não justifique a compra das aplicações, mas também para clientes que tenham moradas estrangeiras em numero mais reduzido, mas que pretendam fazer a normalização das mesmas. Desta forma localmente fazem a normalização das moradas nacionais e via SaaS fazem a normalização das moradas estrangeiras. Neste serviço podem ser incluídas as coordenadas geográficas.

Por vezes quando se está a fazer comunicação B2C (business-to-consumer) o que deveria ser feito realmente era comunicação B2H (business-to-household).

O dinheiro que se gasta desnecessariamente sempre que é feita uma comunicação offline em criatividade, produção, handling e portes, em material que vai duplicado e triplicado para a mesma casa é um valor que todas as empresas deveriam ter em consideração. A estes custos ainda podemos juntar os devolvidos por moradas mal endereçadas por falta de um software que faça a normalização dos dados.

Com a existência de uma chave de household ficamos com a possibilidade de fazer envios, personalizados segundo o target que pretendemos. Se tivermos uma peça que será dirigida apenas às mulheres de uma casa, podemos assim evitar fazer o envio da peça para mãe e filha que constem da nossa BD, mas apenas para aquela que mais se adequar à peça a enviar.

A deduplicação feita por household não é fácil de executar, encontramos inúmeras dificuldades, das quais destaco, households que são constituídos por indivíduos com nomes de família diferentes, a existência de moradas que podem ser moradas de trabalho ou residências partilhadas.

Estão cada vez mais na voga as aplicações de BI, mas para que elas vinguem têm de ter boa informação.

Como podemos dizer que a informação da sua empresa é boa? Aqui ficam uma série de perguntas, que caso possa responder afirmativamente a todas as questões, pode acreditar que as suas ferramentas de BI vão fazer a sua função correctamente e certamente que lhe vão ser muitíssimo úteis. As perguntas que devem ser feitas relativamente à informação disponibilizada pelas ferramentas de BI são:
- Conseguimos encontrar o que procuramos?
- Está disponível quando necessitamos?
- Inclui tudo o que necessitamos?
- Conseguimos perceber?
- Está correcta?
- Podemos confiar?
- Podemos usar?
Muitas vezes chegamos à conclusão que a informação não é boa e ouvimos queixas, causa conflitos, perdas de tempo, custos elevados e fraco nível de decisão.

“90% dos gestores de topo sentem que não têm a informação necessária para decisões críticas de negócio; 50% deles têm medo que estejam a tomar decisões pouco acertadas devido a isso” Economist Intelligence Unit.

Mais uma vez tudo isto se resume à qualidade dos dados. Embora muitas vezes o que se ouve seja "deitem tudo fora e comecem de novo", isso não é de todo a solução porque caso não estejam incorporadas na empresa medidas que possam assegurar a qualidade dos dados, o que rapidamente vai acontecer à nova base de dados é ficar precisamente com os mesmos problemas que a anterior.