Qualidade de Dados / Data Quality

Parece que agora que os dados são mais requeridos a falta de qualidade e de ferramentas de controle de qualidade dos mesmos está a vir ao de cima. Aqui fica mais um exemplo da falta de qualidade, neste caso num banco. Provavelmente, o que aconteceu foi que o Steve Smith se inscreveu numa campanha e como não estava...

Read More

Ao ler uma noticia lembrei-me do post inicial onde falava num problema de qualidade de dados na Dinamarca. O assunto continua em cima da mesa porque muitas pessoas não sabem o que fazer, nem fazem ideia qual é o seu problema. Sabem que existe, sabem que têm de o resolver, mas como... não se faz a mínima ideia....

Read More

Para terminar vamos desenvolver um pouco o output e como obter esse output. O resultado final, dependendo do fim pretendido, pode ter várias "formas". Pode ser apenas um ficheiro com os registos duplicados e respectivos masters, pode ser um ficheiro apenas com os limpos ou um ficheiro apenas com os duplicados. O que o software faz é a...

Read More

No fine tuning da deduplicação temos de ter em consideração o inicio, para encontrarmos o meio de alcançarmos o fim pretendido. Ou seja, temos de saber de onde vamos e para onde vamos. Tipicamente existem 3 tipos de deduplicação a Standard, Overkill e Underkill. Se falarmos de uma deduplicação normal, a deduplicação standard, depois vamos afinar conforme os...

Read More

Neste post vou descrever os diferentes tipos de listas que são possíveis de deduplicar. Tal como tinha dito no post inicial existem as listas Standard, Externas, Negativas e de Enriquecimento. As listas Standard são as "nossas" listas, aquelas onde vai incidir o tratamento. Podemos ter uma ou várias listas com prioridades entre elas. Vamos assumir que temos a...

Read More

Vou finalmente iniciar pelos tipos de deduplicacão. O mais habitual é a deduplicacão por indivíduo. Para a execução destas deduplicacões são utilizados os campos que possam de alguma forma distinguir os indivíduos entre si. Toda e qualquer referência pode e deve ser usada. Partindo dos mais comuns como o nome, morada, data de nascimento, BI, mas tudo o...

Read More

Desta vez vou iniciar uma série de post's relativos à deduplicação (foi este o termo que "aprendi" a usar e que uso com mais frequência) em modo batch. Existem alguns acrónimos que por vezes importamos do Marketing para designar as diferentes deduplicações existentes, mais usualmente utilizadas. B2C, B2B e B2H, significando deduplicação por Individuo, por Empresa e por...

Read More

Segundo um estudo Holandês numa Base de Dados com mais de um milhão de registos, descobriram a existência de um local (Gravenhage), escrito de mais de 50 formas diferentes e que esta inconsistência afectou mais de 50% de todos os registos. Com a colocação de um software de validação no ponto de entrada dos dados consegue-se um ROI...

Read More

Tal como terminei o ultimo post vou continuar neste com uma noticia recente e que nos pode ajudar a mostrar um pouco a dificuldade que há na criação de métricas para aferir os danos na imagem de uma empresa. Como muitos puderam ver na TV, existem várias queixas de carros de uma marca de topo que simplesmente arderão....

Read More

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente...

Read More

É sem dúvida um dos grandes temas do momento e como tal vamos falar um pouco da qualidade de dados na nuvem. É possível? Existem casos de sucesso? Para ambas as perguntas a resposta é afirmativa. Falando de Address Management e Deduplicação, que são os meus temas de eleição, há vários casos de sucesso em inúmeras plataformas igualmente...

Read More

Um dos pontos fundamentais para conseguir atingir uma qualidade de dados de bom nível é a identificação dos pontos de origem dos fluxos de dados errados dentro da organização. Durante anos as empresas foram aglutinando um numero elevadíssimo de registos defeituosos, inválidos ou incompletos, porque não existe uma real capacidade de verificação das informações. Como tal grandes quantidades...

Read More

Nunca é de mais repetir que a falta de qualidade de dados é responsável por danos de milhões de Euros em muitas empresas por esse mundo fora. Em muitos casos as empresas entram em grandes projectos de CRM e de BI desperdiçando vastos recursos, uma vez que a qualidade dos dados que alimentam essas aplicações continua a ser...

Read More

Depois de uma interrupção, vou tentar retomar um ritmo de posts mais constante. Existem uma série de questões que são recorrentes acerca do tema da qualidade dos dados, uma delas é o custo dos projectos de qualidade dos dados vs retorno do investimento. Os custos dos projectos de qualidade de dados podem ser muito rapidamente recuperados, se forem...

Read More

Uma discussão interessante que vai surgindo é o que é mais importante, se a Qualidade dos Dados (Data Quality) ou se Business Inteligence. Antes de mais considero que a Qualidade de Dados deve existir mesmo sem BI, mas BI não deve existir sem Qualidade de Dados. Se tivermos uma base com dados de qualidade, normalizados, deduplicados, completos e...

Read More

Um video com um exemplo do funcionamento das ferramentas de qualidade de dados no Salesforce. http://www.data-quality-on-demand.com/media/en/film/salesforce.swf Neste video podemos ver numa primeira fase a normalização das moradas, no caso moradas americanas. Como se pode ver igualmente no video executar a normalização a mais de uma morada. Na fase seguinte temos a busca de duplicados dentro da base existentes...

Read More

Como ponto de partida temos de dividir os esforços para melhoramento da qualidade de dados entre projectos e soluções. Nos projectos poderemos ter custos que dificilmente se consegue encontrar benefícios para eles, ou porque os projectos são mal concebidos, complexos e falham o ataque às causas da má qualidade dos dados. Tradicionalmente as soluções de melhoramento de qualidade...

Read More

Finalmente para finalizar esta temática aqui fica o ultimo post com o link para download do withe paper de compliance. Lucre com as Soluções de Qualidade de Dados da Uniserv para compliance, incluindo: Revisão confiável dos dados (Data Cleansing) através da deduplicação automática dos actuais clientes, fornecedores e dados sócio contra listas de embargo nacionais e internacionais (em...

Read More

Soluções de qualidade de dados da Uniserv - o Compliance de confiança com um mínimo de esforço As soluções de qualidade de dados da Uniserv vão apoiá-lo em garantir o Compliance de forma confiável ​​e transparente, através da máxima qualidade dos dados. Coerência dos dados em formatos normalizados, bem como soluções completas para a correspondência automática dos actuais...

Read More

Hoje em dia o Compliance abrange não só a observância de leis ou regulamentos comerciais, mas também a proibição e obrigação de notificar as autoridades das transacções envolvendo pessoas suspeitas e empresas. Multas severas e a ameaça consequências jurídicas, no caso de não cumprimento. A adequação permanente de clientes, fornecedores e parceiros de dados com as listas de...

Read More

Lucre com todas as soluções de Qualidade de Dados da Uniserv para Corporate Performance Management (CPM), incluindo: Excelente qualidade de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Data Profiling) e através do acompanhamento regular (Data Quality Monitoring) Revisão confiável dos dados (Data Cleansing) de acordo com...

Read More

As soluções Uniserv Data Quality para o Corporate Performance Management (CPM) - elevada qualidade dos dados para melhorar o desempenho da sua empresa As soluções de qualidade de dados da Uniserv vão ajudá-lo a gerar indicadores de desempenho precisos através da qualidade de dados máxima e projectar seus processos de negócio de forma mais eficiente e mais flexível,...

Read More

As soluções de Business Intelligence (BI) são indispensáveis ​para os decisores das empresas como base para decisões de negócios. Considerando que estes normalmente usam ferramentas de relatórios para analisar e avaliar acontecimentos passados​​, a evolução desfavorável e problemas, Corporate Performance Management (CPM) e Business Performance Management (BPM) são abordagens orientadas para o futuro para a optimização operacional e...

Read More

A percepção que existem problemas na qualidade dos dados é em muitos casos uma realidade nas empresas, a maior dificuldade é a percepção da dimensão do problema. Aqui surgem dois aspectos que normalmente impedem a percepção da dimensão: uma é a forma e a outra é a vontade de conseguir quantificar problema. É sempre complicado conseguir uma forma...

Read More

Depois de uma semana um pouco complicada, aqui estou de volta já praticamente curado e com novidades. Já está disponível o novo formulário para os testes online, embora ainda não esteja totalmente optimizado, ainda estamos com problemas com a ligação ao Google Maps. Novidade mesmo é que agora se pode alterar o país de origem da morada que...

Read More

Infelizmente recomeçamos a ouvir falar no falhanço dos projectos de BI por esse mundo fora, tal como no final dos anos 90 até ao inicio do século se foi ouvindo falar do falhanços dos projectos de CRM, nos quais se investiram milhões e se retiraram tostões. Esta frase foi utilizada no primeiro post aqui deste blog já lá...

Read More

Tal como prometido no post anterior aqui ficam algumas soluções para minimizar os problemas de qualidade de dados. Vamos ver se consigo abranger todos os tópicos colocados, mas tenho desde já de fazer uma ressalva. A limpeza dos dados é tudo menos um processo estético. Não se deve fazer uma limpeza de dados apenas para que fiquem "mais...

Read More

São várias as procuras que aqui chegam com as keywords "definição/conceito de qualidade de dados/data quality". A qualidade de dados não é um atributo que se consiga definir com um simples sim ou não. É composto por vários parâmetros, uns mensuráveis outros totalmente subjectivos e todos eles podem ser alterados de empresa para empresa, embora existam alguns pontos...

Read More

Curiosamente depois do post de ontem chegou-me um email com um artigo que acaba por reiterar o que disse. Resumidamente o que a Gartner vem mostrar são os 10 mitos que o conceito de gestão de dados (MDM) que se iniciou como uma forma de manter as informações actualizadas e uniformes em toda a organização, mas que durante...

Read More

Nestes últimos dias tenho recebido de algumas de empresas, das quais sou cliente pedidos de actualização de morada e cartas com moradas que me fazem aumentar algumas preocupações. Dos exemplos que tenho comigo, são 2 cartas, que só não foram devolvidas por "carolice" do carteiro, e uma outra empresa que me pede para reenviar os dados da morada,...

Read More

Podem existir muitas razões, mas em grande parte dos casos a resposta é simples. Falta de qualidade de dados! Como se pode ter bons resultados se os dados, que são os alicerces de toda a estrutura não estão consolidados, têm erros, existe falta de dados essenciais e muitos outros problemas? A maioria das empresas acha que os seus...

Read More

Lucre com todas as Soluções de Qualidade de dados da Uniserv para Business Intelligence, incluindo: Excelente qualidde de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Perfil de Dados) e através de um acompanhamento regular (dados de controlo de qualidade) Revisão confiável dos dados (Data Cleansing) de...

Read More

Soluções de Qualidade dos dados da Uniserv para Business Intelligence - elevada qualidade dos dados para uma melhor tomada de decisão Uniserv Data Quality Solutions ajuda a tomar as suas decisões de negócio com base em dados fiáveis e actualizados, minimizar os riscos e projectar a gestão operacional e estratégica de negócios de forma mais flexível e mais...

Read More

Somente dados de qualidade tornam um Business Data Warehouse (BDW) e Business Intelligence (BI) numa vantagem competitiva real Os tomadores de decisão na gestão, marketing, vendas, finanças, serviços de controle e outros exigem dados e informações actualizados e completos, a fim de serem capazes de monitorizar e analisar as operações de negócios, como base para decisões operacionais e...

Read More

Lucre com todas Soluções de Qualidade de Dados da Uniserv para e-commerce e portais da Internet, incluindo: Óptima qualidade dos dados através do acompanhamento permanente na criação inicial de dados e alterações (Data Quality Firewall) Revisão confiável dos dados (Data Cleansing) de acordo com as regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados...

Read More

Máxima qualidade dos dados para transacções suaves As Soluções de Qualidade de Dados da Uniserv ajudam a operar as suas aplicações de comércio electrónico e compras online com sucesso. Dados correctos, actualizados e consistentes a partir de uma entrada de dados confiável que garanta as entregas de mercadorias, rápido fluxo de caixa, receitas planeáveis e clientes satisfeitos. Data...

Read More

Qualidade de Dados no e-commerce mantém o fluxo de caixa em movimento As aplicações de negócios em e-commerce ou aplicações Web portal têm uma grande diferença de outras aplicações de negócios: a operação e entrada de dados são realizadas directamente pelo cliente ou potencial cliente e não por pessoal treinado. Erros de entrada - intencionais ou acidentais -...

Read More

SOLUÇÕES Uniserv Data Quality Soluções para CRM - modular, eficaz, rentável O Data Quality Solutions modular da Uniserv ajudá-lo-à a transformar o Customer Relationship Management num factor de sucesso para a sua empresa com dados correctos, completos e livres de duplicados em vez de ser um causador de custos. As soluções da Uniserv aumentam o sucesso do CRM...

Read More