Qualidade de Dados / Data Quality

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente. 

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa. 

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como! 

A IMPORTÂNCIA DA QUALIDADE DE DADOS 

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços. 
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas. 
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização. 
- Registo de fusões e outras mudanças nas estruturas das empresas. 
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento. 
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez. 

INICIATIVAS DE QUALIDADE DE DADOS 

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo. 

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado. 

Estas iniciativas incluem: 

• limpeza inicial dos dados existentes com processamento em batch 
• a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema 
• medidas de otimização individuais 
• adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida 
• treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade 

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados. 

No próximo post vou detalhar estes erros e as suas correcções. 

Se há momentos em que a qualidade dos dados está em destaque, certamente são estes momentos que vivemos, em que os custos são escrutinados ao mais ínfimo pormenor. Quando a economia está em alta, ter taxas de devolvidos elevadas é pouco importante, nos momentos como o que vivemos ter 1.000 cartas devolvidas já é um custo que provavelmente muitas empresas olham com outros olhos. Se falarmos de 10.000 então o olhar certamente ainda é mais atento.

O mesmo se passa com o envio de registos duplicados, que tem sempre custos quer seja por envio físico, quer seja por envio por email. Se no caso do envio físico para alem dos custos das peças e custos de correio, existe o outro custo que é comum com o envio por email que são os custos de imagem. Não passa certamente uma imagem muito profissional de uma empresa que envia a mesma comunicação para o mesmo destinatário várias vezes. Pese embora estes custos sejam os mais complicados de contabilizar, são certamente custos a ter em conta.

Os dados da empresa são os pilares que sustentam a organização. Sem eles não há encomendas, nem vendas, nem facturação, nem recebimento. Se algum destes factores fundamentais falhar haverá problemas. Se falhar uma vez há um pequeno problema, se falharem muitas vezes pode ser terminal.

Em alguns casos existe ainda o passo seguinte que é a tentativa de ir recuperar o dinheiro, mas muitas vezes a morada não existe, ou de tal forma está deturpada que impede essa tentativa de recuperação.

Como se resolve este problema? A melhor solução é sempre na entrada dos dados ter uma ferramenta de normalização/correcção/verificação de moradas.

Apenas com estas ferramentas conseguimos maiores percentagens de dados correctos, sempre muito acima dos valores conseguidos com as ferramentas de batch, uma vez que sempre que há uma dúvida o utilizador tem hipótese de escolha. Quando estamos a falar em ferramentas batch se surgir uma morada com "Liberdade, 2", o software não deve escolher entre a Avenida da Liberdade e a Vila da Liberdade. Assinala como sendo um registo dúbio e não faz mais nada. Se estivermos com as aplicações online o utilizador pode escolher qual a correcta, ou porque está a introduzir os seus próprios dados, ou porque é um empregado da empresa que tem o cliente na sua frente ou ao telefone.

Indo finalmente de encontra o titulo do post, qual o ROI das ferramentas de qualidade de dados? É um valor que não é fácil de quantificar, mas existem muitas métricas que podem ajudar, alguns exemplos podem ser encontrados no link, mas existem ainda outras métricas. Depois somando a estes custos existem os valores de imagem que por vezes são incalculáveis.

Uma discussão interessante que vai surgindo é o que é mais importante, se a Qualidade dos Dados (Data Quality) ou se Business Inteligence.

Antes de mais considero que a Qualidade de Dados deve existir mesmo sem BI, mas BI não deve existir sem Qualidade de Dados. Se tivermos uma base com dados de qualidade, normalizados, deduplicados, completos e precisos, certamente que com grande facilidade se retira informações pertinentes desses dados, mesmo sem ferramentas de BI. Ao contrario, se tivermos as melhores ferramentas de BI do mundo, mas a base de dados está sem qualidade porque os dados não estão normalizados, existem duplicados, os dados estão incompletos e são pouco precisos, nunca se conseguirá tirar informações válidas dessa informação.

No final e em conclusão não se deve fazer a discussão qual das ferramentas é mais importante, mas pelo contrário o que se deve é somar uma com a outra para que se possa assim ter melhores resultados. As ferramentas de DQ muito úteis, mas apenas em conjunto com as ferramentas de BI se consegue ter os melhores resultados, tal como o inverso também é válido. As ferramentas de Qualidade de Dados podem não ter resultados apresentações tão bonitas para enviar aos quadros superiores das empresas, podem até passar totalmente despercebidas em alguns casos, mas são fundamentais para se conseguir ter os melhores resultados.

Lucre com todas as soluções de Qualidade de Dados da Uniserv para Corporate Performance Management (CPM), incluindo:

• Excelente qualidade de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Data Profiling) e através do acompanhamento regular (Data Quality Monitoring)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, dados geográficos) no processamento em batch ou em tempo real. Os dados actuais e correctos, como base para uma correspondência precisa e confiável contra alvos de planeamento e indicadores de performance (Key Performance Indicators / KPI)
• Melhoria do desempenho dos vários departamentos e de toda a empresa através da optimização dos processos de negócio rápido
• Previsões realistas para o desenvolvimento das empresas que levam a decisões informadas negócios operacionais e estratégicas
• Reacção mais rápida às novas condições de mercado e desenvolvimentos internos
• Gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos dados armazenados

As soluções Uniserv Data Quality para o Corporate Performance Management (CPM) - elevada qualidade dos dados para melhorar o desempenho da sua empresa

As soluções de qualidade de dados da Uniserv vão ajudá-lo a gerar indicadores de desempenho precisos através da qualidade de dados máxima e projectar seus processos de negócio de forma mais eficiente e mais flexível, visualizar o desenvolvimento empresarial de forma mais realista e melhorar o desempenho da sua empresa.

Explorer. Qualidade dos dados para o CPM: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Batch Suite. Qualidade de dados para CPM: A suite completa de produtos para a transferência em batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Real-Time Services. Qualidade dos dados para CPM: Para a protecção imediata da sua qualidade de dados durante a transferência de dados para o Data Warehouse em (quase) em tempo real.

Monitor. Qualidade dos dados para CPM: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta sempre que os valores limite especificados sejam ultrapassados.

A nossa contribuição para o sucesso de Corporate Performance Management:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma ampla gama de sistemas e, caso seja necessário a reconversão do formato dos dados. Reconhecimento automático de duplicados e de agrupamento de dados de nome e endereço.
• A validação de dados, melhorando as funções e a consolidação e o acompanhamento dos valores-limite para as regras de negócio especificadas complementadas pelas ferramentas de qualidade de dados para CPM. Uniserv DQ Explorer, DQ Batch Suite, DQ Real-Time Services e DQ Monitor são a nossa contribuição para o sucesso do seu sistema CPM. Apenas os dados confiáveis ​​e válidos podem ser condensados ​​em informação e conhecimento que é usado para derivar recomendações para a acção.

As soluções de Business Intelligence (BI) são indispensáveis ​para os decisores das empresas como base para decisões de negócios. Considerando que estes normalmente usam ferramentas de relatórios para analisar e avaliar acontecimentos passados​​, a evolução desfavorável e problemas, Corporate Performance Management (CPM) e Business Performance Management (BPM) são abordagens orientadas para o futuro para a optimização operacional e estratégica de processos corporativos. Neste contexto, o planeamento de dados é comparado com os indicadores-chave do processo real, a fim de verificar a eficiência dos processos de negócio e adaptá-los o mais rapidamente possível, sempre com o objectivo de aumentar o desempenho e valor acrescentado da empresa. Não é à toa que a chave do sucesso é a qualidade máxima de dados em Data Warehouse como uma fonte de soluções de CPM.

Dados incorretos, desactualizados ou dados duplicados falsificam importantes figuras-chave
CPM está focada em figuras-chave (Key Performance Indicators / KPI) da empresa. Elas representam o desempenho quantitativo de um departamento ou toda a empresa e formam a base para o permanente acompanhamento, análise e optimização dos processos de negócio. Em contraste com o Business Intelligence, outras dimensões, tais como a satisfação do cliente, o valor de marcas e patentes, ou a motivação dos funcionários desempenham um papel no CPM, e não apenas indicadores financeiros e os tempos de produção. Uma vez que inúmeros sistemas de TI de diferentes departamentos teram que fornecer dados aqui, dados incorrectos, desactualizados ou duplicados podem ter um efeito devastador sobre a precisão e confiabilidade das avaliações.

Indicadores de desempenho inadequados levam a decisões incorrectas
Se os seus indicadores de desempenho são baseados em dados de baixa qualidade no Data Warehouse, resultados incorrectos podem ser obtidos quando os seus objectivos de planeamento são comparados com o desempenho actual da empresa. Isso pode significar que esteja a avaliar incorrectamente o desempenho dos vários departamentos, processos de negócios ou de toda a empresa e realizar a necessária optimização das actividades operacionais ou estratégicas demasiado tarde ou não de todo. Neste caso, as suas previsões podem estar erradas e rapidamente ficará atrás da concorrência. Gestão do risco também é afectado, se avaliar incorrectamente actuais pontos fracos, o que também pode causar dificuldades para cumprir os regulamentos de conformidade.

Falta de confiança no CPM - menor eficiência no planeamento empresarial
Se o sistema de CPM não atender as expectativas dos decisores como resultado da fraca qualidade dos dados e avaliações imprecisas, as excelentes oportunidades oferecidas pelo CPM não podem ser usadas de forma consistente. Mau planeamento e previsões ruins são o resultado inevitável aqui, já que as decisões não são feitas com base em análises de indicadores-chave, mas com base em informações insuficientes ou até no instinto.

Limpeza manual de dados atrasa decisões e aumenta os custos
Se os dados necessários para a análise estão incompletos, incorrectos e inconsistentes no Data Warehouse, têm que ser compilados manualmente, avaliados e preparados em relatórios. Isso impede que sejam comparados rapidamente contra metas planeadas e surjam ajustes nos prazos urgentes dos processos críticos de negócio. É assim gasta uma grande quantidade de dinheiro em recursos de TI que poderiam ser usados por exemplo para projectos de TI críticos para o negócio.

Infelizmente recomeçamos a ouvir falar no falhanço dos projectos de BI por esse mundo fora, tal como no final dos anos 90 até ao inicio do século se foi ouvindo falar do falhanços dos projectos de CRM, nos quais se investiram milhões e se retiraram tostões. Esta frase foi utilizada no primeiro post aqui deste blog já lá vão quase dois anos e mantém-se actual.

Tenho andado a adiar este post, mas ontem depois de mais algumas mensagens relacionadas com o tema, decidi que finalmente era hora de falar deste tema.

Os valores ainda são muito dispares e vão desde os 70 a 80% apontados pela Gartner, penso que poucos podem duvidar da independência dos estudos da Gartner. Quando falamos de previsões, falham como todos, mas em termos de estudos. por norma são a grande referencia internacional.

Outros ainda falam de 50%, mas são sempre valores elevados que estamos a falar e mais elevados ainda se tivermos em consideração os valores monetários.

Do muito que se pode ler relacionado com o tema por esses sites e blogs, um tema é comum. A Qualidade dos Dados está sempre no top dos motivos que levam ao falhanço dos projectos de BI.

Como estou a colocar números, vamos a mais alguns, pena que já tenham alguns anos, mas continuam certamente muito actuais. Num estudo de 2005 da Business Week chegou-se à conclusão que 43% dos utilizadores dizem não ter a certeza que os dados internos estão correctos, que 77% dizem que más decisões foram tomadas devido à falta de informação e 4 em cada 5 não acredita nas estatísticas das apresentações. Um outro estudo do Data Warehousing Institute diz que a falta de qualidade nos dados dos consumidores custaram às empresas Norte Americanas $611 mil milhões de dólares por ano. No entanto quase metade das empresas inquiridas admitiram que não têm planos para incrementar a qualidade dos dados.

O incremento da qualidade dos dados não é a solução final e absoluta para o sucesso dos projectos de BI, mas ajuda significativamente para evitar o falhanço dos projectos de BI. Não querendo de forma nenhuma colocar a foice em seara alheia, diria que o principal factor para o sucesso, será o factor humano, seguido pela qualidade dos dados.

Podem existir muitas razões, mas em grande parte dos casos a resposta é simples. Falta de qualidade de dados!

Como se pode ter bons resultados se os dados, que são os alicerces de toda a estrutura não estão consolidados, têm erros, existe falta de dados essenciais e muitos outros problemas?

A maioria das empresas acha que os seus dados estão excelentes, porque os devolvidos não são contabilizados, são apenas "despejados" para uma arrecadação da empresa, ou chegam aos destinatários apenas porque o carteiro já conhece o nome da pessoa. Mas, estamos a assistir a uma renovação dos carteiros e isso vai levar à existência de mais devolvidos. mais uma vez como voltam para a tal arrecadação, continua a não existir o problema.

Os custos de uma devolução não podem ser contabilizados, porque para alem dos custos dos portes, do envelope, da carta ou peça publicitaria existente no envelope, existem depois outros que são impossíveis de contabilizar. Por exemplo o custo da imagem. Um cliente que não recebe uma comunicação importante, ou que recebe um folheto publicitário várias vezes, pode ser um cliente perdido.

Alguns dos problemas que se encontram muitas vezes e que impedem os sistemas de ter bons resultados são:

• o mesmo cliente existe em vários registos porque não existe um processo fiável de verificação de duplicados, fazendo com que um excelente cliente, seja considerado apenas várias vezes como clientes medianos.
• os dados da morada do cliente não são normalizados/ verificados/ corrigidos, fazendo com que por exemplo não seja atribuído à respectiva área geográfica. Em muitos casos apenas existe o campo do Endereço Postal, não existindo também o campo Localidade, que em Portugal pode ser o suficiente para a devolução de correspondência.
• Como os dados não estão correctos, não é possível geo-referenciar. A georeferenciação é hoje em dia uma ferramenta muito importante para quase todos os negócios.
• existem erros em dados fulcrais por falta de um sistema de monitorização, que impeça esses erros de continuarem no sistema, muitas vezes ad eternum.
• Dados dos vários sistemas não são cruzados porque os sistemas usam ID's diferentes para o mesmo cliente e como tal falta informação no sistema principal para que se possa ter uma melhor noção da situação real.

Tudo isto pode ser ser evitado, tomando alguns cuidados.

• Existir apenas um responsável pelos dados da empresa. A noção que os dados são responsabilidade de todos é sem duvida teoricamente uma boa politica, mas na realidade acaba por desresponsabilizar todos, tendo um efeito contrario na qualidade dos dados.
• Fazer um profiling dos dados de forma a saber quais os erros que existem em BD. Desta forma é possível não apenas corrigir os erros existentes, mas também tomar medidas para prevenir que voltem a ocorrer.
• Fazer uma normalização/ correcção/ verificação dos dados e uma deduplicação de forma a consolidar os dados em modo batch. Desta forma os dados ficam com qualidade.
• Ter a noção que a perfeição em qualidade de dados é impossível de alcançar. Todos os dias trabalhamos para nos aproximar, mas todos os dias há novos dados, dados alterados. O problema mais uma vez é o pensar que os dados estão correctos. Isso nunca acontece. Há formas de minimizar os erros, umas melhores (online), outras com altos e baixos (batch periódico).
• Colocação de um software de monitorização dos dados, para que possam existir alarmes quando um erro está a ser colocado no sistema e não traga problemas posteriormente.

Lucre com todas as Soluções de Qualidade de dados da Uniserv para Business Intelligence, incluindo:

• Excelente qualidde de dados no Business Data Warehouse através da análise dos dados antes da transferência inicial de fontes de dados existentes (Perfil de Dados) e através de um acompanhamento regular (dados de controlo de qualidade)
• Revisão confiável dos dados (Data Cleansing) de acordo com regras definidas e combinando-a contra os dados de referência (por exemplo, endereço, dados geográficos, o índice de número de telefone)
• A consolidação dos dados do cliente, mesmo se não houver um número de referência estável, ou a formação de households, mesmo que esta informação não seja mantida nos sistemas operacionais.
• Ganhar novas dimensões de análise a de avaliação de dados, aumentando os dados do seu cliente, por exemplo com referências geográficas, os indicadores de antecedentes, Códigos do sector, etc e, portanto, informações completamente novas no que diz respeito aos "espaços vazios" no seu mapa de vendas e marketing ou as potencialidades do segmento de clientes individuais
• decisões de negócio e maior capacidade de reagir às mudanças do mercado e novas exigências do sector específico, industrial ou comercial, por meio da elaboração de uma informação correcta, completa e up-to-date e a sua disponibilidade para a gestão e pessoal.
• Alta qualidade de dados como base para o uso eficiente de todos os formatos de análise e visualização da solução de BI, como painéis, cockpits, OLAP e avisos
• De planeamento empresarial mais rápido, mais flexível através de uma visão actual, confiável de todas as áreas da empresa
• previsão mais confiável e orientada para o futuro através do uso de soluções adicionais para aumentar o desempenho da empresa, como Corporate Performance Management
• gestão eficaz dos riscos e cumprimento de confiança com os requisitos legais e regulamentos internos (governamentais, de risco e conformidade) por meio de relatórios precisos, completos e transparentes
• Redução de custos através da protecção automática da qualidade dos dados e redução de custos para a fusão e manutenção dos stocks de dados

Soluções de Qualidade dos dados da Uniserv para Business Intelligence - elevada qualidade dos dados para uma melhor tomada de decisão

Uniserv Data Quality Solutions ajuda a tomar as suas decisões de negócio com base em dados fiáveis e actualizados, minimizar os riscos e projectar a gestão operacional e estratégica de negócios de forma mais flexível e mais rapidamente.

Data Quality Explorer para BI: O Explorer permite que determine o estado real dos seus dados antes da transferência inicial para o Business Data Warehouse.

Data Quality Batch Suite para BI: A suite completa de produtos para a transferência batch totalmente automática a partir de fontes de dados diferentes, a transformação do conteúdo do campo e as estruturas de registo, e da verificação e limpeza de dados durante a transferência para o Business Data Warehouse.

Data Quality Real-Time Services para BI: Para a protecção imediata da sua qualidade de dados durante a transferência de dados dos sistemas operacionais para o data warehouse em tempo real.

Data Quality Monitor para BI: Este monitoriza a qualidade dos dados de acordo com regras de negócio definidas. Alerta que se os valores limite especificados são ultrapassados.

A nossa contribuição para a eficiência do Business Intelligence:

• Profiling de novas fontes de dados, antes da transferência inicial dos dados para o Business Data Warehouse. A transferência dos dados de uma grande variedade de flat files e bases de dados, onde a conversão do campo ou formato de gravação é necessária. Reconhecimento automático de duplicados e de agrupamentos de dados de nome e endereço, a fim de fundir, por exemplo dados do cliente no grupo de empresas, mesmo se as delegações funcionam com os dados não sincronizados (sistemas de numeração diferente do cliente), ou uma visão única da família (household) está a ser formada no Data Warehouse, mas esta informação não é fornecida pelos sistemas operativos.
• A validação de dados, melhorando as funções e a consolidação, o acompanhamento dos valores-limite para as regras de negócio especificadas completando a tool box de qualidade dos dados para BDW e BI. O DQ Explorer, DQ Batch Suite, DQ Real-Time Services e o DQ Monitor são a nossa contribuição para o sucesso do uso dos seus sistemas de Business Data Warehouse e BI. Para que informação confiável seja obtida a partir dos dados.

Proximo post: Qualidade de dados BI: Vantagens

Somente dados de qualidade tornam um Business Data Warehouse (BDW) e Business Intelligence (BI) numa vantagem competitiva real

Os tomadores de decisão na gestão, marketing, vendas, finanças, serviços de controle e outros exigem dados e informações actualizados e completos, a fim de serem capazes de monitorizar e analisar as operações de negócios, como base para decisões operacionais e estratégicas bem orientadas. O pré-requisito para isto é uma empresa de escala Business Data Warehouse (BDW), que combina dados e operações de todos os sistemas de TI. Além disso, outras soluções para melhorar o desempenho empresarial (Corporate Performance Management) e para o cumprimento dos regulamentos legais e requisitos internos podem ser usados nesta base (Business Intelligence).

Os dados são analisados ad hoc com o pressionar de um botão ou por um sistema automatizado e disponibilizado para os utilizadores finais e tomadores de decisão numa variedade de tipos de avaliação, tal como os painéis de gestão, relatórios e análises OLAP. Para que isso seja possível, os dados devem estar disponíveis no Business Data Warehouse livres de erros e duplicados, coerentes e de forma padronizada. Em outras palavras: a eficácia de qualquer solução de Business Intelligence depende da qualidade dos dados. Mas muitas vezes esse é precisamente o ponto fraco.

Desafios

Dados incorrectos, desactualizados ou com duplicados - a base para más decisões
Dados incorrectos, desactualizados ou com duplicados em diferentes sistemas de TI é o maior obstáculo para uma análise global, as avaliações confiáveis e soluções relacionados BI como o CPM. Isso também pode significar que você não identifique oportunidades de negócio em tempo útil, uma vez que o comportamento de compra do cliente é analisado de forma incorrecta. Só pode identificar e avaliar os riscos de maneira inadequada e coloca pressão sobre a gestão de risco, já que seus números de vendas estão desactualizados. Também é possível estar a ignorar os pontos fracos de sua empresa, por exemplo, estrangulamento material ou de fornecimento, até que seja tarde demais. Má qualidade dos dados é responsável por isso - com consequências possivelmente fatais, que podem variar de uma queda na receita e perda de quota de mercado para uma ameaça crescente para a competitividade.

Silos Business Intelligence evitam análises de toda a empresa
As soluções de BI ainda são usadas pelos departamentos com seus próprios data marts ou Data Warehouses em muitas empresas e a qualidade dos dados pode, portanto, variar. O resultado: os dados são armazenados de forma redundante, ou em formatos diferentes. E enquanto os dados podem estar correctos numa base de dados, podem estar incorrectos ou desactualizados em outro conjunto de dados. Análises confiáveis em toda a empresa só são possíveis aqui com uma quantidade considerável de correcção manual. Sem mencionar os custos adicionais e a redução da capacidade de reagir aos resultados incertos da análise.

Potenciais do BI não são usados por haver possibilidades limitadas para avaliação
Quanto melhor a qualidade dos dados no Data Warehouse, mais opções de avaliação são abertas para os decisores e outros utilizadores das soluções de BI. Por exemplo, os gestores devem ser capazes de definir níveis individuais de detalhe nos seus painéis. Funcionários do departamento de finanças tem que ser capaz de elaborar relatórios próprios específicos. Os utilizadores devem ser capazes de desenvolver análises de diferentes perspectivas por meio de análises OLAP, por exemplo, números de vendas de acordo com região, grupo de produtos, o volume de vendas, etc, e os indicadores de alerta com base em regras definidas, por exemplo, pouco stock de produtos, deve ser garantido que chega ao pessoal respectivo.

Falta de confiança leva a decisões baseadas na intuição
Se as informações e analises fornecidas levarem várias vezes a más decisões devido à fraca qualidade dos dados, a confiança nas capacidades do sistema de BI fica reduzida. Isto pode significar que as funções de Business Intelligence não são mais utilizadas e são substituídas por uma avaliação subjectiva. Mais más decisões são apenas uma questão de tempo.

Má qualidade dos dados coloca as exigências de conformidade em risco
Inadequada qualidade dos dados coloca o rigor e fiabilidade das avaliações BI em risco. Isto pode ter consequências jurídicas e podem implicar custos elevados para a empresa.

Limpeza de dados manual como um travão sobre as decisões e um gerador de custos
Se dados urgentes não estão completos, sem erros e consistentes, têm que ser compilados, analisados e preparados manualmente. Isto leva a atrasos desnecessários que não deveria ter de pagar, especialmente no caso de decisões de negócio de tempo crítico. E isso custa dinheiro e recursos que podem ser usados muito melhor para outros projectos importantes.

Amanhã as soluções e as vantagens dos nossos sistemas.

Circulante aos processos de qualidade de dados
Alta qualidade de dados é critica para o sucesso da sua empresa, independentemente de pertencer ao sector industrial ou comercial e das suas aplicações.
É importante ainda que se diga que não se deve esperar por uma actualização anual porque necessitamos todos os dias de ter os dados actualizados e não apenas uma vez por ano. Uma gestão de qualidade consistentemente tem como objectivo permanente submeter a verificação da qualidade dos dados num ciclo em que há uma verificação automática, matching, enhancing e possível consolidação dos dados logo no input.

Construa uma firewall de qualidade de dados
O modo mais eficaz e eficiente de eliminar problemas de qualidade de dados é a prevenção antes que os problemas surjam. Contaminação "rastejante" dos dados pode ser evitada com a implementação de verificações de qualidade directamente nos pontos de entrada no sistema. O utilizador recebe feedback directo dos problemas e pode directamente intervir nos casos em que uma intervenção automática não seja possível.

Para alem de verificar se os dados estão completos e de uma validação contra listas de referencia, a manutenção permanente deve ser providenciada verificando todos os inputs contra os dados existentes na base de dados de forma a prevenir o aparecimento de duplicados. Dependendo do modelo de negocio, complementar com dados internos ou e externos é igualmente recomendado.

Encontrar em vez de procurar
No dia a dia do negocio, pedidos de informações de clientes, o serviço ao cliente ou a aceitação de pedidos via telefone, frequentemente geram situações, em que as informações do cliente e do fornecedor, dados de conta ou de contrato tem de ser acedida rapidamente e com segurança sem que existam referencias disponíveis. No que diz respeito a isto o desafio é encontrar dados específicos numa base de dados, ainda que em grande parte dos casos apenas informação parcial está disponível ou que a soletração seja pouco clara.

O DQ Real-Time Services da Uniserv fornece-lhe a informação necessária no pressionar de um botão, mesmo que as palavras de procura estejam incompletas, imprecisas ou incorrectamente soletradas. No fim de tudo, o seu staff deve ser especialistas nos seus processos de negocio e não na procura em bases de dados.

Qualidade de dados e e-Business
O input de dados incorrectos e incompletos é uma questão recorrente em e-Business. Atenção especial deve ser prestada a este aspecto da qualidade de dados num ambiente no qual os clientes colocam eles próprios os seus dados. Frequentemente apenas dados abreviados, desestruturados ou dados totalmente incorrectos são introduzidos, ou ainda com erros não intencionais de digitação.

Funções adequadas para garantir a consistência da qualidade dos dados não foi ainda integrada nas aplicações web de muitas empresas. Isto é indispensável, contudo, porque o sucesso do negócio online anda de mãos dadas com a qualidade dos dados.

Encontrei este artigo no blogue do Grimaldo Salvador e não posso deixar de partilhar uma vez que relata precisamente aquilo que defendemos há mais de uma década.

Os inquestionáveis avanços da tecnologia de gestão de negócios proporcionados pelas soluções de BI (Business Intelligence) já começam ser reavaliados à luz de novos avanços da TI. Esta reavaliação ocorre, por exemplo, em face das novas tecnologias de BPM (Business Process Management) que começam a se disseminar e que concentram todas as vantagens do BI, mas com uma diferença básica e fundamental.

E que diferença é esta?

Sabemos que a grande virtude do BI está em realizar recortes temáticos altamente eficientes de tudo o que acaba de ocorrer, nos vários processos de negócios.

Além disso, com base nestas abordagens, o BI constrói consoles muito práticos e intuitivos para a visualização e correlacionamento de eventos que dizem respeito às diferentes esferas de decisão, tais como as políticas de vendas, o controle da produção e a condução financeira da empresa, cada qual com sua visão específica.

Mas são várias as diferenças entre as ferramentas de BI e os modernos modelos de BPM, principalmente os baseados em tecnologia CEP (Complex Event Processing), que possibilitam a articulação e visualização instantânea de milhões de dados e informações de processo em consoles altamente dinâmicos.

A principal diferença, porém, está num detalhe temporal. Enquanto as soluções de BI analisam fenômenos “ocorridos”, os novos modelos de BPM carregam a velocidade e os recursos necessários para uma perfeita sincronização com fatos e dados de processo em tempo real (ou seja, que “estão ocorrendo”).

Entre os diferenciais das novas tecnologias, estão recursos de monitoramento e garantia de transações providos por ferramentas tais como as de BTM, ou Business Transaction Monitoring, e de BTA, Business Transaction Assurance, que comparecem de forma articulada nas soluções mais avançadas de BPM que começam a se expandir no mercado..

Falando metaforicamente, implicaria em dizer que, se o BPM assiste o acidente (ou a sequência de transações e seus desdobramentos) ao vivo; o BI se concentra na autópsia ou na perícia criminal; ou seja: no acerto ou no erro passados.

Utilizando em larga escala no mercado financeiro global, os novos modelos de BPM em Real Time (já disponíveis mundialmente através da suite Progress RPM), começam a levar para as outras indústrias as vantagens da matemática de algoritmos aplicada a eventos de negócio.

No caso da indústria de telecom, estes avanços podem revolucionar várias áreas, tais como o controle de níveis de serviços de telefonia (SLAs) e as táticas relâmpago de captação de clientes ou de prevenção ao “churn”.

Ao enxergar todos os movimentos de mercado como uma pista de estrada vista a partir do pára-brisa, as empresas de telecom, dotadas de BPM, estarão muito mais competitivas que suas rivais embasadas em BI que, como na nossa metáfora, avaliam suas próprias ações a partir de uma visão oferecida apenas no retrovisor.

Na era do tempo real, ganhar ou perder alguns segundos pode representar a vitória em tempo recorde ou a constatação – cada vez mais comum – de que Inês é morta.

* Luiz Cláudio Menezes é presidente da Progress Software Brasil

Fonte: It Web Brasil

Limpeza de dados de clientes e empresas

O DQ Batch Suite contem as fundações para todos os processos e aplicações de negocio - no que diz respeito aos nomes e moradas ou dados financeiros, produto ou dados de pedidos.

As seguintes soluções fazem parte do portefólio de inovação e funcionalidades avançadas que estão disponíveis no DQ Batch Suite:

• Analise e formatação de Moradas
• Correspondência de duplicados e clustering (por exemplo a nível do household), verificação de compliance e Data Enhancement
• Verificação Postal
• Geo e Micromarketing
• Consolidação de dados
• Modulo de Scripting para funções especificas suplementares
• Reporting e processamento gráfico de valores característico para qualidade de dados

O DQ Batch Suite permite que sistematicamente possa usar as funções de qualidade que necessita, para que possa criar valor acrescentado com a qualidade de dados.

Com o DQ Batch Suite, colocamos ao dispor um sistema moderno que irá ajudar a mover-se fácil e rapidamente nos processos de limpeza de dados como resultado da aproximação inovadora que permite. O sistema combina o melhor de anos de experiência da Uniserv e dos seus utilizadores e garante segurança no investimento e um rápido ROI. Adicionalmente quase que não será necessário referir que o DQ Batch Suite é:

• Fácil de aprender devido ao seu design consistente e operacionalidade intuitiva
• Aberto e flexível porque pode ser livremente configurado e por sem complementado por funções especificas do utilizador.
• Facilmente integrado em sequências existentes e pode ser automatizado
• User-friendly como resultado de extenso suporte ao utilizador e uma parametrização ultra fácil
• Alta performance através de processos e algoritmos paralelizáveis e avançados e confiáveis
• Escalável através de uma arquitectura cliente/servidor "state of the art" - disponível em quatro versões diferentes:

Desde a versão workstation para implementação de pequenos projectos de limpeza com quantidades limitadas de dados executadas na workstation, até ao Enterperise Server para grandes companhias em projectos de limpeza transversais envolvendo vários funcionários ou grandes quantidades de dados têm de ser tratados com as mais altas demandas de performance, paralelização e integração e automatização.

O que oferece o DQ Batch Suite?
Com o DQ Batch Suite, pode trabalhar de acordo com um principio: one-stop shopping!
Isto significa que controla o processo de limpeza passo a passo ao longo de todos os passos de processamento e programas. Pode ainda comunicar com o servidor DQ Batch Suite num dialogo via um interface gráfico user-friendly standard.

Com o seu enquadramento especial, o DQ Batch Suite orquestra todas as funções necessárias para o processos de limpeza:

• Todos os módulos para verificação da qualidade dos dados e a sua limpeza automática
• Blocos de funções para definir as regras de verificação individuais para dados "não de clientes" e executar limpezas automatizadas em massa, por exemplo de dados financeiros, de produto ou de pedidos.
• Produto com capacidades e recursos especiais para compreensão da organização, simplificação, automatização e aceleração dos processos e sequências para optimização e assegurar a qualidade dos dados.

Descrição dos processos que foram criados usando o interface gráfico do DQ Batch Suite que pode ser manualmente executado (ad-hoc) ou a qualquer altura desejada com a função integrada de scheduling, e também automatizada, por exemplo uma vez por mês. A execução das descrições dos processos podem ser integradas em sistemas IT que tenham sido desenvolvidos, sem problemas via a opção de automatização.

Qualidade de dados a nível internacional
O DQ Batch Suite pode também ser usada com as mesmas capacidades funcionais por empresas que operam a nível internacional. Com a capacidade Unicode o sistema providencia as bases para uma qualidade de dados internacional e pode igualmente manipular diferentes scripts e caracteres nacionais. Adicionalmente a isto, providenciamos versões especificas por país de blocos de funções e das bases de conhecimento. Como resultado, o sistema satisfaz as mais altas demandas de qualidade de dados internacionalmente.

Com o DQ Batch Suite, pode verificar os dados e na maior parte dos casos fazer a limpeza dos mesmos de forma totalmente automática.

Efeitos de uma pobre qualidade de dados
A limpeza dos dados é apenas um passo no processo de qualidade de dados, mas é um passo essencial. No que diz respeito a isto, não faz diferença se consideramos a limpeza dos dados no antigo sistema, nos projectos de migração de dados, nos dados master, gestão de risco ou compliance ou na implementação de dados orientados ao cliente, com o uso primariamente operacional dos dados dependendo da área, quer seja, na retenção de clientes, comunicação ou dialogo personalizado e direct maketing. A limpeza dos dados cria uma optimização da qualidade dos dados no que diz respeito à sua actualização, fiabilidade e grau de detalhe e como tal assenta fundações nos bons resultados de analise e processos de negocio - e finalmente para que se consigam melhores conteúdos de informação.

DQ Batch Suite: Funções "all-in-one"
O DQ Batch Suite integra todas as sequências de funções importantes e típicas para a limpeza de dados agrupados. O sistema leva-nos interactivamente através de todos os passos de processamento com uma interface gráfica. Com o assistente do software para que possamos controlar o processo batch, o DQ BatchSuite é o agregador de todos os projectos de limpeza. Podemos usa-lo para verificar a qualidade dos dados de cliente e limpa-los de forma totalmente automática, na grande parte dos casos e fazer igualmente limpezas em massa de outros dados, isto é podemos corrigir os erros que tenham sido automaticamente detectados pelo DQ Explorer ou automaticamente reportados pela solução da Uniserv, DQ Monitor.

O DQ Batch Suite permite criar consistência de dados necessária para os seus processos e aplicações!

Analise de dados eficiente e efectiva
O DQ Explorer da Uniserv é uma ferramenta interactiva de data profiling e um sistema de caracterização comprovado que lhe oferece uma visão precisa e detalhada sobre o estado dos seus dados. Fornece automaticamente extensas informações acerca da Base de Dados, fornecendo uma visão compreensiva dos seus dados. Como resultado, pode reduzir tempo e esforço necessários para a fase de analise dos projectos de qualidade de dados em 70% comparativamente com as abordagens convencionais.

Gestão eficiente dos problemas identificados
Uma vez que tenham sido identificados, os problemas de qualidade de dados ainda têm que ser solucionados. O processo respectivo deve ser gerido, não importa se a limpeza é efectuada usando uma ferramenta de limpeza apropriada, Scripts de SQL no administrador da BD ou por procura e correcção no contexto da aplicação.

O DQ Explorer encaminha este problema através da integração de funções para analise dos dados, a gestão dos problemas identificados, o tracking do projecto assim como gera relatórios de status apontados a um ponto único. Como regra, os outputs da analise dos dados (resultados, avaliações, tarefas de acompanhamento) são ainda por norma guardadas via folhas de calculo, e-mails ou bases de dados ad-hoc. Isto causa uma sobrecarga significante na manipulação dos dados e aumenta o risco que informação chave seja perdida nas "falhas" entre estas ferramentas.

Se usa o DQ Explorer, a sua analise de projecto deixa de necessitar de correr entre um largo numero de conjuntos de ferramentas. O DQ Explorer permite identificar problemas num ponto único, atribuindo os problemas para a pessoa responsável pela solução e monitorizar o progresso conseguido.

Além disso, a opção ímpar de envio de e-mails permite que informe os membros da equipe automaticamente acerca das atribuições ou o status das alterações das tarefas.

Relatórios fáceis de gerar acerca do progresso conseguido nos mais variados níveis, tais como o projecto no geral, sistemas individuais ou outros critérios livremente seleccionáveis, de forma a que possa ter uma capacidade funcional e garantindo que os intervenientes tenham uma visão consistente e actualizada do projecto.

Resultados rápidos
O DQ Explorer da Uniserv é fácil de usar e gera resultados mais rapidamente e mais eficientemente que com as técnicas de analise manual convencionais. Estes dados estão disponíveis para analise assim que forem carregados da base de dados. O interface intuitivo e o escopo da informação fornecida faz do DQ Explorer uma valiosa ferramenta nas mãos de variados grupos tais como analistas de sistemas, administradores de bases de dados e no desenvolvimento de software.

Com o DQ Explorer, pode criar alta transparência dos dados e bases fortes para a tomada de decisões correctas.

A qualidade dos dados: um aumento de desempenho para sua empresa
Os dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.

Pode contar com seus dados e com as suas fontes?
Processos de negócios bem sucedidos são baseados em dados de alta qualidade!
Pergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta "frequente" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.

Ciclo de controle de qualidade de dados ou ...
... como é que a qualidade dos dados é permanentemente garantida a longo prazo?
Modelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação.
Para efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:
- Balanço e análise da situação actual da base de dados
- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados
- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo
- Medidas para a optimização da qualidade
- Contínuo acompanhamento e controlo da qualidade dos dados

Como resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.

Antes de continuar ir à parte prática do CRM, vou colocar um outro tópico onde falo da ferramenta que nos permite fazer a limpeza inicial dos dados.
As palavras-chave que ouvimos nos clientes
"Estou a procurar uma ferramenta de ETL!"
"Estamos a planear um projecto de Data-Migration!"
"Eu sou o CDI-Manager, o que nos pode oferecer?"
"Eu sou responsável pelos fluxos de trabalho MDM , nunca ouvi falar do DQBT ..."

O que é ETL?

E - EXTRACT
- Analisar e compreender a estrutura de dados do cliente
- Criar uma "entrada em degrau" para estes dados em DQBT
- Dentro do DQBT, importa-se os dados num formato mais geral

T - TRANSFORM
- Lista de pedidos e serviços exigidos pelo cliente:
- Telefone separado e números de fax
- Converter o país em formato ISO-2-Char
- Validação postal dependendo do país
- Check-dedup ao nível da pessoa
- Agregação de ID's de registos duplicados em cabeçalho- Nomes de pessoas divididos

L - LOAD
Saída de dados processados no formato desejado

O DQBT faz ETL sem qualquer problema

E - EXTRACT
- Flat Files em qualquer formato
- Diversas bases de dados através de conectores (VarChar-Campos)
- UTF-8
- Dados da Organização: lista de nomes por fonte, Prioridades, Atributos, ...

T - TRANSFORM
DQBT é "um sonho" no que diz respeito à transformação:
- Selecciona, classifica e agrupa registos em cada etapa
- Funções que operam por coluna: Shuffle, combinar, catálogos, ...
- Há um conjunto completo de funções: post, dedup, freestyle-match, convert, ...
- Consolidação dos grupos: agregação, enriquecimento de/com outros registos, ...
- Por coluna: Pequenos padrões PERL para transformação menores
- Programas "completos" PERL para regras de transformação avançadas

L - LOAD
Transformação por exemplo, a empresa relacional - + registos da pessoa (incluindo criação de novas chaves primárias ...)

O que é Data-Migration?

E - EXTRACT
- Dados sem tratamento em categorias diferentes (Cidade, Bairros, Ruas, ...)
- Extracção por categoria
- Importação para formatos mais genéricos dentro do DQBT

(T - TRANSFORM)

L - LOAD
- Combinação dos registos contendo as ruas, bairros, códigos postais, endereços postais.

O que é CDI (Customer Data Integration)?

Definição: CDI é o processo de consolidação e gestão da informação do cliente
- De todas as fontes disponíveis
- incluindo os detalhes dos contactos
- avaliação dos dados do cliente
- informação reunida através de interacções

CDI é o que o DQBT sempre fez

- Limpa, actualiza e completa os dados de contacto
   -> Post, Convert, ...
- Consolida os registos correctos, elimina duplicados, liga registos (...)
   -> Mail, Consolidate, PERL-scripting
- Enriquece registos internos e transaccionais com conhecimento externo e segmentação
   -> Geocodifica com coordenadas, compara com BD's externas, dados comportamentais...
- Assegura o cumprimento da supressão de contactos (...)
   -> Gere listagens de dados de fontes diversas: Blacklists, RIP, listagens de email...

O que é Master-Data-Management?

Definição: MDM envolve um conjunto composto por tecnologia, ferramentas, workflows e processos que mantêm e apresentam uma visão consistente e unificada dos dados.
- Actividades MDM (para criar um repositório MDM)
   -> Profiling: Analise dos dados
   -> Normalização
  -> Data Stewardship: Data Steward designa o modelo de dados, decidindo que entidades, relações e atributos devem ser guardados no modelo.
Este modelo torna-se o "single version of the truth"
    -> Matching & deduplicação
  -> Enterprise Data Mashup: (...) pode ser descrita como uma agregação de fontes heterogéneas (...) para um espaço único integrado (...)

Papel fundamental em Master-Data-Management com DQBT

Como criar um repositório MDM:
- extrair os dados relevantes das aplicações fonte
- Mapear estes dados para o modelo Master-Data
   -> Para que se possa executar, irá necessitar de uma ferramenta ETL como o DQBT
   -> DQBT pode ser parte dos MDM workflows

Conclusão:
"O DQBT é uma poderosa ferramenta ETL!"
"Projectos de Data-Migration não constituem problema para o DQBT!"
"CDI workflows devem ser constituídos com o DQBT!"
"O DQBT ajuda nos MDM workflows!"

A Inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve as habilidades das empresas para aceder a dados e explorar informações (normalmente contidas numa base de dados, analisando e desenvolvendo percepções e entendimentos e que permite incrementar e tornar mais baseada em informações a tomada de decisão.

Este conceito assim explicado é muito vago, como tal, foi pedido a vários especialistas da área a sua própria definição.

Mery Adrian, analista e consultor em TI, que já passou por empresas como Forrester Research, Giga, Sybase e Information Builders
Business Intelligence é a aplicação de técnicas analíticas para informações sobre condições de negócio no sentido de melhorá-las - de uma maneira automatizada, mas com a interpretação e respostas humanas. A imprecisão de muitos dos termos, no entanto, permite que os fornecedores e analistas redefinam a categoria, o que fazem com frequência.

Steve Anthony, CIO da consultoria de negócios Charles River Associates
Um sistema de negócios que inclua uma estrutura de busca efectiva e acessível, cuidada, em tempo real, com métricas de negócio e relatórios que permitam aos líderes das áreas de negócio manterem-se informados para tomar decisões. Isso é fácil de dizer, mas difícil de fazer corretamente e envolve mudanças na forma como a organização conduz uma busca efectiva, bem como a necessidade por uma boa base de dados para tomar acções, com o objectivo de optimizar a performance corporativa.

Tom Davenport, professor de gestão e TI e co-autor do livro Analytics at Work: Smarter Decisions, Better Results
Eu vejo o BI como todas as coisas que as empresas fazem para melhorar a gestão e a organização dos dados. Para mim, inclui relatórios e análises, embora exista muito mais a olhar. De qualquer forma, eu penso que o termo BI está sendo rapidamente suplantado por "business analytics".

William Swislow, CIO and vice-presidente sênior de produtos do site de venda de veículos Cars.com
Business intelligence é a informação acessível que resulta das principais actividades da companhia e pode ser usada para agregar, relatar e analisar os principais caminhos para o negócio.

Ray Wang, consultor na área de estratégia corporativa do Altimeter Group e autor de um blog sobre a próxima geração de BI
A habilidade para que a pessoa certa receba a informação adequada e no momento correto para tomar a melhor decisão.
Ou seja, na realidade BI é tudo e nada ao mesmo tempo. Na realidade não é mais que a especialidade de medicina geral em que sabe um pouco de tudo, mas realidade não sabe muito de nada.

Seja como for, qualquer que seja a definição que se adopte para BI, no fundo tudo tem como base a qualidade dos dados. Se não existir qualidade nos dados tudo o resto é uma simples perda de tempo e de dinheiro.