Qualidade de Dados / Data Quality

Encontrei este artigo no blogue do Grimaldo Salvador e não posso deixar de partilhar uma vez que relata precisamente aquilo que defendemos há mais de uma década.

Os inquestionáveis avanços da tecnologia de gestão de negócios proporcionados pelas soluções de BI (Business Intelligence) já começam ser reavaliados à luz de novos avanços da TI. Esta reavaliação ocorre, por exemplo, em face das novas tecnologias de BPM (Business Process Management) que começam a se disseminar e que concentram todas as vantagens do BI, mas com uma diferença básica e fundamental.

E que diferença é esta?

Sabemos que a grande virtude do BI está em realizar recortes temáticos altamente eficientes de tudo o que acaba de ocorrer, nos vários processos de negócios.

Além disso, com base nestas abordagens, o BI constrói consoles muito práticos e intuitivos para a visualização e correlacionamento de eventos que dizem respeito às diferentes esferas de decisão, tais como as políticas de vendas, o controle da produção e a condução financeira da empresa, cada qual com sua visão específica.

Mas são várias as diferenças entre as ferramentas de BI e os modernos modelos de BPM, principalmente os baseados em tecnologia CEP (Complex Event Processing), que possibilitam a articulação e visualização instantânea de milhões de dados e informações de processo em consoles altamente dinâmicos.

A principal diferença, porém, está num detalhe temporal. Enquanto as soluções de BI analisam fenômenos “ocorridos”, os novos modelos de BPM carregam a velocidade e os recursos necessários para uma perfeita sincronização com fatos e dados de processo em tempo real (ou seja, que “estão ocorrendo”).

Entre os diferenciais das novas tecnologias, estão recursos de monitoramento e garantia de transações providos por ferramentas tais como as de BTM, ou Business Transaction Monitoring, e de BTA, Business Transaction Assurance, que comparecem de forma articulada nas soluções mais avançadas de BPM que começam a se expandir no mercado..

Falando metaforicamente, implicaria em dizer que, se o BPM assiste o acidente (ou a sequência de transações e seus desdobramentos) ao vivo; o BI se concentra na autópsia ou na perícia criminal; ou seja: no acerto ou no erro passados.

Utilizando em larga escala no mercado financeiro global, os novos modelos de BPM em Real Time (já disponíveis mundialmente através da suite Progress RPM), começam a levar para as outras indústrias as vantagens da matemática de algoritmos aplicada a eventos de negócio.

No caso da indústria de telecom, estes avanços podem revolucionar várias áreas, tais como o controle de níveis de serviços de telefonia (SLAs) e as táticas relâmpago de captação de clientes ou de prevenção ao “churn”.

Ao enxergar todos os movimentos de mercado como uma pista de estrada vista a partir do pára-brisa, as empresas de telecom, dotadas de BPM, estarão muito mais competitivas que suas rivais embasadas em BI que, como na nossa metáfora, avaliam suas próprias ações a partir de uma visão oferecida apenas no retrovisor.

Na era do tempo real, ganhar ou perder alguns segundos pode representar a vitória em tempo recorde ou a constatação – cada vez mais comum – de que Inês é morta.

* Luiz Cláudio Menezes é presidente da Progress Software Brasil

Fonte: It Web Brasil

Limpeza de dados de clientes e empresas

O DQ Batch Suite contem as fundações para todos os processos e aplicações de negocio - no que diz respeito aos nomes e moradas ou dados financeiros, produto ou dados de pedidos.

As seguintes soluções fazem parte do portefólio de inovação e funcionalidades avançadas que estão disponíveis no DQ Batch Suite:

• Analise e formatação de Moradas
• Correspondência de duplicados e clustering (por exemplo a nível do household), verificação de compliance e Data Enhancement
• Verificação Postal
• Geo e Micromarketing
• Consolidação de dados
• Modulo de Scripting para funções especificas suplementares
• Reporting e processamento gráfico de valores característico para qualidade de dados

O DQ Batch Suite permite que sistematicamente possa usar as funções de qualidade que necessita, para que possa criar valor acrescentado com a qualidade de dados.

Com o DQ Batch Suite, colocamos ao dispor um sistema moderno que irá ajudar a mover-se fácil e rapidamente nos processos de limpeza de dados como resultado da aproximação inovadora que permite. O sistema combina o melhor de anos de experiência da Uniserv e dos seus utilizadores e garante segurança no investimento e um rápido ROI. Adicionalmente quase que não será necessário referir que o DQ Batch Suite é:

• Fácil de aprender devido ao seu design consistente e operacionalidade intuitiva
• Aberto e flexível porque pode ser livremente configurado e por sem complementado por funções especificas do utilizador.
• Facilmente integrado em sequências existentes e pode ser automatizado
• User-friendly como resultado de extenso suporte ao utilizador e uma parametrização ultra fácil
• Alta performance através de processos e algoritmos paralelizáveis e avançados e confiáveis
• Escalável através de uma arquitectura cliente/servidor "state of the art" - disponível em quatro versões diferentes:

Desde a versão workstation para implementação de pequenos projectos de limpeza com quantidades limitadas de dados executadas na workstation, até ao Enterperise Server para grandes companhias em projectos de limpeza transversais envolvendo vários funcionários ou grandes quantidades de dados têm de ser tratados com as mais altas demandas de performance, paralelização e integração e automatização.

O que oferece o DQ Batch Suite?
Com o DQ Batch Suite, pode trabalhar de acordo com um principio: one-stop shopping!
Isto significa que controla o processo de limpeza passo a passo ao longo de todos os passos de processamento e programas. Pode ainda comunicar com o servidor DQ Batch Suite num dialogo via um interface gráfico user-friendly standard.

Com o seu enquadramento especial, o DQ Batch Suite orquestra todas as funções necessárias para o processos de limpeza:

• Todos os módulos para verificação da qualidade dos dados e a sua limpeza automática
• Blocos de funções para definir as regras de verificação individuais para dados "não de clientes" e executar limpezas automatizadas em massa, por exemplo de dados financeiros, de produto ou de pedidos.
• Produto com capacidades e recursos especiais para compreensão da organização, simplificação, automatização e aceleração dos processos e sequências para optimização e assegurar a qualidade dos dados.

Descrição dos processos que foram criados usando o interface gráfico do DQ Batch Suite que pode ser manualmente executado (ad-hoc) ou a qualquer altura desejada com a função integrada de scheduling, e também automatizada, por exemplo uma vez por mês. A execução das descrições dos processos podem ser integradas em sistemas IT que tenham sido desenvolvidos, sem problemas via a opção de automatização.

Qualidade de dados a nível internacional
O DQ Batch Suite pode também ser usada com as mesmas capacidades funcionais por empresas que operam a nível internacional. Com a capacidade Unicode o sistema providencia as bases para uma qualidade de dados internacional e pode igualmente manipular diferentes scripts e caracteres nacionais. Adicionalmente a isto, providenciamos versões especificas por país de blocos de funções e das bases de conhecimento. Como resultado, o sistema satisfaz as mais altas demandas de qualidade de dados internacionalmente.

Com o DQ Batch Suite, pode verificar os dados e na maior parte dos casos fazer a limpeza dos mesmos de forma totalmente automática.

Efeitos de uma pobre qualidade de dados
A limpeza dos dados é apenas um passo no processo de qualidade de dados, mas é um passo essencial. No que diz respeito a isto, não faz diferença se consideramos a limpeza dos dados no antigo sistema, nos projectos de migração de dados, nos dados master, gestão de risco ou compliance ou na implementação de dados orientados ao cliente, com o uso primariamente operacional dos dados dependendo da área, quer seja, na retenção de clientes, comunicação ou dialogo personalizado e direct maketing. A limpeza dos dados cria uma optimização da qualidade dos dados no que diz respeito à sua actualização, fiabilidade e grau de detalhe e como tal assenta fundações nos bons resultados de analise e processos de negocio - e finalmente para que se consigam melhores conteúdos de informação.

DQ Batch Suite: Funções "all-in-one"
O DQ Batch Suite integra todas as sequências de funções importantes e típicas para a limpeza de dados agrupados. O sistema leva-nos interactivamente através de todos os passos de processamento com uma interface gráfica. Com o assistente do software para que possamos controlar o processo batch, o DQ BatchSuite é o agregador de todos os projectos de limpeza. Podemos usa-lo para verificar a qualidade dos dados de cliente e limpa-los de forma totalmente automática, na grande parte dos casos e fazer igualmente limpezas em massa de outros dados, isto é podemos corrigir os erros que tenham sido automaticamente detectados pelo DQ Explorer ou automaticamente reportados pela solução da Uniserv, DQ Monitor.

O DQ Batch Suite permite criar consistência de dados necessária para os seus processos e aplicações!

Analise de dados eficiente e efectiva
O DQ Explorer da Uniserv é uma ferramenta interactiva de data profiling e um sistema de caracterização comprovado que lhe oferece uma visão precisa e detalhada sobre o estado dos seus dados. Fornece automaticamente extensas informações acerca da Base de Dados, fornecendo uma visão compreensiva dos seus dados. Como resultado, pode reduzir tempo e esforço necessários para a fase de analise dos projectos de qualidade de dados em 70% comparativamente com as abordagens convencionais.

Gestão eficiente dos problemas identificados
Uma vez que tenham sido identificados, os problemas de qualidade de dados ainda têm que ser solucionados. O processo respectivo deve ser gerido, não importa se a limpeza é efectuada usando uma ferramenta de limpeza apropriada, Scripts de SQL no administrador da BD ou por procura e correcção no contexto da aplicação.

O DQ Explorer encaminha este problema através da integração de funções para analise dos dados, a gestão dos problemas identificados, o tracking do projecto assim como gera relatórios de status apontados a um ponto único. Como regra, os outputs da analise dos dados (resultados, avaliações, tarefas de acompanhamento) são ainda por norma guardadas via folhas de calculo, e-mails ou bases de dados ad-hoc. Isto causa uma sobrecarga significante na manipulação dos dados e aumenta o risco que informação chave seja perdida nas "falhas" entre estas ferramentas.

Se usa o DQ Explorer, a sua analise de projecto deixa de necessitar de correr entre um largo numero de conjuntos de ferramentas. O DQ Explorer permite identificar problemas num ponto único, atribuindo os problemas para a pessoa responsável pela solução e monitorizar o progresso conseguido.

Além disso, a opção ímpar de envio de e-mails permite que informe os membros da equipe automaticamente acerca das atribuições ou o status das alterações das tarefas.

Relatórios fáceis de gerar acerca do progresso conseguido nos mais variados níveis, tais como o projecto no geral, sistemas individuais ou outros critérios livremente seleccionáveis, de forma a que possa ter uma capacidade funcional e garantindo que os intervenientes tenham uma visão consistente e actualizada do projecto.

Resultados rápidos
O DQ Explorer da Uniserv é fácil de usar e gera resultados mais rapidamente e mais eficientemente que com as técnicas de analise manual convencionais. Estes dados estão disponíveis para analise assim que forem carregados da base de dados. O interface intuitivo e o escopo da informação fornecida faz do DQ Explorer uma valiosa ferramenta nas mãos de variados grupos tais como analistas de sistemas, administradores de bases de dados e no desenvolvimento de software.

Com o DQ Explorer, pode criar alta transparência dos dados e bases fortes para a tomada de decisões correctas.

A qualidade dos dados: um aumento de desempenho para sua empresa
Os dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.

Pode contar com seus dados e com as suas fontes?
Processos de negócios bem sucedidos são baseados em dados de alta qualidade!
Pergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta "frequente" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.

Ciclo de controle de qualidade de dados ou ...
... como é que a qualidade dos dados é permanentemente garantida a longo prazo?
Modelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação.
Para efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:
- Balanço e análise da situação actual da base de dados
- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados
- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo
- Medidas para a optimização da qualidade
- Contínuo acompanhamento e controlo da qualidade dos dados

Como resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.