// API callback
related_results_labels_thumbs({"version":"1.0","encoding":"UTF-8","feed":{"xmlns":"http://www.w3.org/2005/Atom","xmlns$openSearch":"http://a9.com/-/spec/opensearchrss/1.0/","xmlns$blogger":"http://schemas.google.com/blogger/2008","xmlns$georss":"http://www.georss.org/georss","xmlns$gd":"http://schemas.google.com/g/2005","xmlns$thr":"http://purl.org/syndication/thread/1.0","id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590"},"updated":{"$t":"2019-01-03T10:58:21.193+00:00"},"category":[{"term":"qualidade de dados"},{"term":"normalização de dados"},{"term":"limpeza de dados"},{"term":"data quality"},{"term":"data cleansing"},{"term":"deduplicação"},{"term":"desduplicação"},{"term":"validação de dados"},{"term":"tratamento de dados"},{"term":"data validation"},{"term":"duplicados"},{"term":"higienização de dados"},{"term":"Business Intelligence"},{"term":"integração de dados"},{"term":"BI"},{"term":"CRM"},{"term":"código postal"},{"term":"Customer Data Integration"},{"term":"MDM"},{"term":"dataquality"},{"term":"qualidade dados"},{"term":"Master Data Management"},{"term":"anti-terrorismo"},{"term":"SAAS"},{"term":"black list"},{"term":"ETL"},{"term":"Salesforce.com"},{"term":"Software as a Service"},{"term":"normalização"},{"term":"B2B"},{"term":"B2C"},{"term":"data profiling"},{"term":"update.seven"},{"term":"CDI"},{"term":"Microsoft Dynamics CRM"},{"term":"Oracle Siebel"},{"term":"ferramentas de qualidade"},{"term":"Certificação SAP"},{"term":"Migração de dados"},{"term":"complementarização"},{"term":"B2H"},{"term":"CPM"},{"term":"Cloud"},{"term":"Data Migration"},{"term":"ERP"},{"term":"SAP"},{"term":"dados"},{"term":"dq"},{"term":"georeferenciação"},{"term":"Batch"},{"term":"Business Data Warehouse"},{"term":"auditoria da qualidade"},{"term":"Database Marketing"},{"term":"Software como Serviço"},{"term":"Tratamento em massa"},{"term":"geomarketing"},{"term":"BPM"},{"term":"Business Suite"},{"term":"Corporate Performance Management"},{"term":"Service Bureau"},{"term":"Single View of Customer"},{"term":"explorador"},{"term":"explorer"},{"term":"BDW"},{"term":"KPI"},{"term":"SAP R3"},{"term":"e-commerce"},{"term":"qualidade"},{"term":"ASP"},{"term":"DB \/ 2"},{"term":"Data Warehousing"},{"term":"GPS"},{"term":"Gartner"},{"term":"Real Time"},{"term":"Single View of Data"},{"term":"big data"},{"term":"web services"},{"term":"ABAP (SAP)"},{"term":"ADABAS"},{"term":"AIX"},{"term":"Assembler"},{"term":"BTA"},{"term":"C"},{"term":"C + +"},{"term":"CDQ"},{"term":"CICS"},{"term":"CMDM"},{"term":"COM"},{"term":"CORBA"},{"term":"Cobol"},{"term":"EDW"},{"term":"Forrester"},{"term":"HP-UX"},{"term":"Household"},{"term":"IBM z \/ OS"},{"term":"IMS"},{"term":"IMS DB"},{"term":"Java"},{"term":"Linux"},{"term":"META Group"},{"term":"MGM"},{"term":"MVS"},{"term":"MySAP"},{"term":"Nuvem"},{"term":"Online"},{"term":"Oracle"},{"term":"PHP"},{"term":"PL \/ 1"},{"term":"PL \/ SQL"},{"term":"Perl"},{"term":"RDM"},{"term":"ROI"},{"term":"RPG"},{"term":"SQL Server"},{"term":"Siebel"},{"term":"Siemens BS2000"},{"term":"Sun Solaris"},{"term":"Talend"},{"term":"UDS"},{"term":"UTM"},{"term":"VSE"},{"term":"Visual Basic"},{"term":"change management"},{"term":"data governance"},{"term":"data quality monitoring"},{"term":"hadoop"},{"term":"i5\/OS"},{"term":"member get member"},{"term":"xRM"},{"term":"z \/ OS"}],"title":{"type":"text","$t":"Qualidade de Dados \/ Data Quality"},"subtitle":{"type":"html","$t":""},"link":[{"rel":"http://schemas.google.com/g/2005#feed","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/posts\/default"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/-\/dados?alt=json-in-script\u0026max-results=6"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/search\/label\/dados"},{"rel":"hub","href":"http://pubsubhubbub.appspot.com/"},{"rel":"next","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/-\/dados\/-\/dados?alt=json-in-script\u0026start-index=7\u0026max-results=6"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"generator":{"version":"7.00","uri":"http://www.blogger.com","$t":"Blogger"},"openSearch$totalResults":{"$t":"7"},"openSearch$startIndex":{"$t":"1"},"openSearch$itemsPerPage":{"$t":"6"},"entry":[{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-5866542920577629555"},"published":{"$t":"2010-11-30T12:28:00.005+00:00"},"updated":{"$t":"2017-02-10T15:14:51.566+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"BI"},{"scheme":"http://www.blogger.com/atom/ns#","term":"Business Intelligence"},{"scheme":"http://www.blogger.com/atom/ns#","term":"Customer Data Integration"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data profiling"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data validation"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"tratamento de dados"}],"title":{"type":"text","$t":"PROJECTO: QUALIDADE DOS DADOS - Detecção"},"content":{"type":"html","$t":"\u003Cp\u003E\u003Cb\u003EA qualidade dos dados: um aumento de desempenho para sua empresa\u003C\/b\u003E\u003Cbr \/\u003EOs dados são um activo muito valioso, que não é totalmente utilizado totalmente na maioria das organizações. Quais são os custos e os efeitos negativos que resultam da interpretação de dados inexistentes, dados incorrectos, enganadores ou dados e informação obsoleta? Quais são as consequências se os clientes e os utilizadores não podem aceder de forma correcta à informação e no momento certo? Que importância deve ser dada aos dados da empresa que não tem nenhum contexto com outros dados? A resposta: qualidade dos dados defeituosos rapidamente se faz sentir como um factor com um impacto negativo sobre os lucros e como gerador de custos.\u003C\/p\u003E \u003Cp\u003E\u003Cb\u003EPode contar com seus dados e com as suas fontes?\u003C\/b\u003E\u003Cbr \/\u003EProcessos de negócios bem sucedidos são baseados em dados de alta qualidade!\u003Cbr \/\u003EPergunte a si mesmo a pergunta crucial: Pode contar com seus dados e com as suas fontes? A resposta \"frequente\" é que não são bons o suficiente! Sucesso e a utilização comercial de BI, CRM, ERP ou iniciativas de conformidade dependem directamente do nível de qualidade dos dados obtidos e de uma permanentemente aplicação processos para a garantia da qualidade.\u003C\/p\u003E \u003Ca href=\"http:\/\/1.bp.blogspot.com\/_tutW43y628U\/TPTvZtrMjbI\/AAAAAAAAAFY\/XNUmfjziDfI\/s1600\/PQD2.jpg\" imageanchor=\"1\" style=\"clear: right; float: right; margin-bottom: 1em; margin-left: 1em;\"\u003E\u003Cimg border=\"0\" height=\"312\" src=\"http:\/\/1.bp.blogspot.com\/_tutW43y628U\/TPTvZtrMjbI\/AAAAAAAAAFY\/XNUmfjziDfI\/s320\/PQD2.jpg\" width=\"320\" \/\u003E\u003C\/a\u003E\u003Cp\u003E\u003Cb\u003ECiclo de controle de qualidade de dados ou ...\u003C\/b\u003E\u003Cbr \/\u003E... como é que a qualidade dos dados é permanentemente garantida a longo prazo?\u003Cbr \/\u003EModelos de negócio contemporâneos e futuros têm exigências específicas para uma efectiva implementação. \u003Cbr \/\u003EPara efeitos de um ciclo de qualidade de dados, oferecemos um portefólio completo de produtos que abrangem todas as áreas do processo de qualidade de dados:\u003Cbr \/\u003E- Balanço e análise da situação actual da base de dados\u003Cbr \/\u003E- Limpeza dos dados para a criação de um padrão uniforme e melhor qualidade dos dados \u003Cbr \/\u003E- Exclusão de contaminação dos dados para garantir o nível de qualidade dos dados obtidos a longo prazo \u003Cbr \/\u003E- Medidas para a optimização da qualidade \u003Cbr \/\u003E- Contínuo acompanhamento e controlo da qualidade dos dados\u003C\/p\u003E \u003Cp\u003EComo resultado, melhora a qualidade dos dados nas etapas compreensíveis, obtendo assim um aumento de performance no uso das suas aplicações de negócio estratégicas e operacionais.\u003C\/p\u003E"},"link":[{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/5866542920577629555\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2010\/11\/projecto-qualidade-dos-dados-deteccao.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5866542920577629555"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5866542920577629555"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2010\/11\/projecto-qualidade-dos-dados-deteccao.html","title":"PROJECTO: QUALIDADE DOS DADOS - Detecção"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"media$thumbnail":{"xmlns$media":"http://search.yahoo.com/mrss/","url":"http:\/\/1.bp.blogspot.com\/_tutW43y628U\/TPTvZtrMjbI\/AAAAAAAAAFY\/XNUmfjziDfI\/s72-c\/PQD2.jpg","height":"72","width":"72"},"thr$total":{"$t":"0"}},{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-3240686146633008802"},"published":{"$t":"2010-01-11T11:23:00.003+00:00"},"updated":{"$t":"2017-02-02T10:15:57.881+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data quality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"deduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"desduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"duplicados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"limpeza de dados"}],"title":{"type":"text","$t":"Formas de deduplicação"},"content":{"type":"html","$t":"\u003Cp\u003EAinda dentro da remoção\/alocação de duplicados, falada no post Limpeza de dados, existe muito mais que dizer. São inúmeras as formas de encontrar duplicados, sendo a mais comum por indivíduo. Mas podemos encontrar duplicados, não apenas por indivíduo, mas por domicílio (household), por edificação, por família, e muitos outras formas que sejam interessantes para os fins pretendidos, isto quando estamos a falar de bases de dados B2C (business to consumer). Se formos para as BD’s B2B (business to business) podemos detectar duplicados por empresa, por departamento, enfim um sem número de possibilidades.\u003C\/p\u003E \u003Cp\u003EPor norma estes softwares o que fazem é a criação de chaves que devem ficar guardadas em BD para serem usadas sempre que necessárias. Por exemplo já fizemos a deduplicação para encontrar os duplicados por domicílio, e vamos ter uma acção de Marketing na empresa que vai envolver uma peça que é extremamente cara, como tal, apenas queremos enviar uma peça para cada domicílio, para que os custos não sejam tão elevados. Indo buscar a chave que está guardada em BD, permite o envio apenas para um dos indivíduos desse domicílio, sendo que a escolha de para qual vai ser feito o envio pode ser efectuada com a ajuda por exemplo da data de nascimento. Vamos apenas enviar para o mais velho.\u003C\/p\u003E \u003Cp\u003EEsta e muitas outras possibilidades são assim facilmente executadas, sem necessidade de ter preocupações extremas antes de cada campanha.\u003C\/p\u003E"},"link":[{"rel":"related","href":"http:\/\/www.datalab.pt\/data-quality\/limpeza\/dq-batch-suite\/deteccao-de-duplicados.html","title":"Formas de deduplicação"},{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/3240686146633008802\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2010\/01\/formas-de-deduplicacao.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/3240686146633008802"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/3240686146633008802"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2010\/01\/formas-de-deduplicacao.html","title":"Formas de deduplicação"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"thr$total":{"$t":"0"}},{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-5610766189391164950"},"published":{"$t":"2009-12-11T10:31:00.001+00:00"},"updated":{"$t":"2017-02-02T10:21:03.308+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"complementarização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data quality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data validation"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dataquality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"explorador"},{"scheme":"http://www.blogger.com/atom/ns#","term":"explorer"},{"scheme":"http://www.blogger.com/atom/ns#","term":"limpeza de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"validação de dados"}],"title":{"type":"text","$t":"Detectar problemas de Qualidade de dados"},"content":{"type":"html","$t":"\u003Cp\u003EPor norma o primeiro passo a dar antes de qualquer processo de qualidade de dados é o processo em que se auditam os dados, detectando assim quais os problemas que existem dentro da BD.\u003C\/p\u003E \u003Cp\u003EHá duas abordagens que podemos ter para a detecção destes problemas, sendo que das primeiras coisas que devemos ter em mente é que quantos mais problemas forem detectados nesta fase, melhor qualidade terá o processo de limpeza dos dados. Como tal temos a abordagem convencional, que implica um esforço de recursos humanos significativo, uma vez que todas as áreas da empresa têm de estar envolvidas, porque existem detalhes que são específicos de cada uma das áreas e dificilmente outras áreas os vão detectar.\u003C\/p\u003E \u003Cp\u003EA outra abordagem, embora necessite de esforço em termos de recursos humanos, requer muito menos tempo, e consiste na utilização de softwares que façam a detecção de “desvios” dos valores padrão e apenas precisam de verificar esses, não necessitando assim ter passar tanto tempo a verificar a BD.\u003C\/p\u003E \u003Cp\u003EEste processo é essencial porque apenas assim se evita que alguns dos erros existentes persistam na BD, mesmo depois do processo de limpeza. Quanto mais pormenorizado for este processo de detecção dos erros na BD, melhor será o resultado final em termos de limpeza da BD. Existem outros softwares que fazem a monitorização dos dados depois do processo de limpeza, mas mais uma vez a sua fiabilidade depende em muito do processo de detecção de problemas na BD. Se conseguir detectar todos os erros que deram entrada na BD, mais facilmente se consegue monitorizar e evitar novas entradas.\u003C\/p\u003E"},"link":[{"rel":"related","href":"http:\/\/www.datalab.pt\/index.php\/data-quality\/analise-a-profiling\/dq-explorer.html","title":"Detectar problemas de Qualidade de dados"},{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/5610766189391164950\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/12\/detectar-problemas-de-qualidade-de.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5610766189391164950"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5610766189391164950"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/12\/detectar-problemas-de-qualidade-de.html","title":"Detectar problemas de Qualidade de dados"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"thr$total":{"$t":"0"}},{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-541376453348943604"},"published":{"$t":"2009-11-26T11:47:00.008+00:00"},"updated":{"$t":"2017-02-02T10:27:09.169+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"complementarização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data validation"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dataquality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"deduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"desduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dq"},{"scheme":"http://www.blogger.com/atom/ns#","term":"duplicados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"limpeza de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"normalização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"validação de dados"}],"title":{"type":"text","$t":"Como manter os dados com qualidade"},"content":{"type":"html","$t":"\u003Cp\u003ENo video que se segue podem ver como funcionam as ferramentas de qualidade de dados. Neste caso, podemos ver a versão integrada em SAP(R), em que a Uniserv foi a primeira empresa a nível mundial a receber esta certificação SAP(R). Para além desta versão, estão disponíveis módulos de integração para as mais diferentes configurações, desde o mainframe a módulos de cliente nos mais variados sistemas operativos.\u003C\/p\u003E \u003Cobject height=\"505\" width=\"853\"\u003E\u003Cparam name=\"movie\" value=\"http:\/\/www.youtube.com\/v\/C6ygfeQWdH4\u0026hl=pt_PT\u0026fs=1\u0026rel=0\u0026hd=1\"\u003E\u003C\/param\u003E\u003Cparam name=\"allowFullScreen\" value=\"true\"\u003E\u003C\/param\u003E\u003Cparam name=\"allowscriptaccess\" value=\"always\"\u003E\u003C\/param\u003E\u003Cembed src=\"http:\/\/www.youtube.com\/v\/C6ygfeQWdH4\u0026hl=pt_PT\u0026fs=1\u0026rel=0\u0026hd=1\" type=\"application\/x-shockwave-flash\" allowscriptaccess=\"always\" allowfullscreen=\"true\" width=\"853\" height=\"505\"\u003E\u003C\/embed\u003E\u003C\/object\u003E"},"link":[{"rel":"related","href":"http:\/\/www.datalab.pt\/index.php\/demos-online\/correccaonormalizacao.html","title":"Como manter os dados com qualidade"},{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/541376453348943604\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/como-manter-os-dados-com-qualidade.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/541376453348943604"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/541376453348943604"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/como-manter-os-dados-com-qualidade.html","title":"Como manter os dados com qualidade"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"thr$total":{"$t":"0"}},{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-4802865727656000262"},"published":{"$t":"2009-11-26T11:42:00.001+00:00"},"updated":{"$t":"2017-02-02T10:28:57.072+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"complementarização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data validation"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dataquality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"deduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"desduplicação"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dq"},{"scheme":"http://www.blogger.com/atom/ns#","term":"duplicados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"limpeza de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"normalização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"validação de dados"}],"title":{"type":"text","$t":"Limpeza de dados"},"content":{"type":"html","$t":"\u003Cp\u003EUm dos primeiros processos necessários para termos qualidade de dados é a Limpeza dos dados (Data Cleansing). Consiste essencialmente na detecção e correcção (ou remoção) de registos que estejam incompletos, incorrectos, sejam irrelevantes, que estejam corrompidos ou imprecisos. Outro dos termos que se podem igualmente aqui aplicar é validação dos dados (Data validation). Embora possam e devam ser usados em conjunto, na maior parte dos casos a validação dos dados é pouco ou nem sequer é usado. Isto apenas faz aumentar os custos de limpeza de dados, uma vez que se os dados forem validados logo na sua entrada é muito mais simples, barato e fiável, que posteriormente normalmente num processo batch.\u003C\/p\u003E \u003Cp\u003EVoltando ao processo de limpeza, mais tarde iremos falar no processo de validação, é um processo que deve envolver a remoção de erros que são comuns, como por exemplo, erros de digitação, fonéticos e outros que possam ocorrer aquando da inserção dos dados em BD. Isto sempre feito comparando os registos contra tabelas de referência, ou através da delimitação de valores, ou com métodos estatísticos, ou outros processos que validem esses dados. Esta validação pode ser mais ou menos restritiva, invalidado por exemplo registos que não tenham código postal.\u003C\/p\u003E \u003Cp\u003ENuma fase posterior temos a remoção de duplicados das BD’s que é outro dos processos fundamentais na limpeza de dados. Esta parte é das partes mais sensíveis uma vez que não existe uma “receita” que sirva todas as BD’s. Todas as BD’s são únicas e como tal o processo de parametrização tem sempre de ser igualmente único. É um processo muito sensível, porque podemos estar a deixar muitos duplicados por encontrar, ou por outro lado podemos estar a dar como duplicados registos que não são de todo duplicados. Esta afinação é dos processos mais morosos e que requer mais conhecimentos em todo o processo de limpeza de dados. Mais uma vez, tudo isto se simplifica quando esta remoção de duplicados é feita aquando da introdução dos dados na BD. Prevenir é sempre melhor que remediar.\u003Cbr \/\u003EDepois de assinalados os duplicados há um processo muitíssimo importante que é o processo de complementarização. Consiste na “associação” de todos os campos, segundo regras pré estabelecidas, a um único registo. Imaginemos que temos 5 duplicados de um dado registo e que apenas em um deles temos o número de telemóvel. Esse dado não pode ser pedido, temos de ter forma de o poder colocar no registo master, que no final do processo irá ter TODAS as informações dispersas por todos os registos duplicados.\u003C\/p\u003E \u003Cp\u003EDepois de cada um destes processos há sempre um outro que tem de decorrer em paralelo que é o processo de verificação da consistência dos dados. Este processo de verificação é de extrema importância para que não se percam dados em nenhuma das fases deste processo.\u003C\/p\u003E"},"link":[{"rel":"related","href":"http:\/\/www.datalab.pt\/index.php\/data-quality\/limpeza\/dq-batch-suite.html","title":"Limpeza de dados"},{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/4802865727656000262\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/limpeza-de-dados.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/4802865727656000262"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/4802865727656000262"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/limpeza-de-dados.html","title":"Limpeza de dados"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"thr$total":{"$t":"0"}},{"id":{"$t":"tag:blogger.com,1999:blog-4919100574129221590.post-5060827380539871281"},"published":{"$t":"2009-11-26T11:15:00.002+00:00"},"updated":{"$t":"2017-02-02T10:31:11.362+00:00"},"category":[{"scheme":"http://www.blogger.com/atom/ns#","term":"dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data cleansing"},{"scheme":"http://www.blogger.com/atom/ns#","term":"data validation"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dataquality"},{"scheme":"http://www.blogger.com/atom/ns#","term":"dq"},{"scheme":"http://www.blogger.com/atom/ns#","term":"limpeza de dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"normalização"},{"scheme":"http://www.blogger.com/atom/ns#","term":"qualidade dados"},{"scheme":"http://www.blogger.com/atom/ns#","term":"validação de dados"}],"title":{"type":"text","$t":"Qualidade de dados, perfeição não existe"},"content":{"type":"html","$t":"\u003Cp\u003EPerfeição não existe na qualidade dos dados. Este é o princípio que temos de nos capacitar antes de tudo. Não existe 100% de qualidade de dados porque todos os dias, há alterações nos dados, quer seja por mudanças de morada por parte de clientes\/potenciais clientes, quer seja porque a rua foi renomeada, quer seja porque passou de Lote a número de polícia definitivo, e tantos outros factores que podem fazer com que os dados deixem de ser dados válidos.\u003C\/p\u003E \u003Cp\u003EQuanto menos lixo entrar na sua base de dados melhor, especialmente nos dias de hoje em que existem ferramentas que impedem entrada de dados “sujos” fazendo a limpeza, normalizando e corrigindo os dados ainda antes de entrarem na BD, sempre que isso seja possível, ou assinalar aqueles que não tendo possibilidades de serem corrigidos automaticamente, suscitem dúvidas relativamente à sua validade.\u003C\/p\u003E \u003Cp\u003EPrevenir é bem melhor que remediar. É muito mais vantajoso e eficiente manter uma base de dados normalizada, e sem duplicados no dia-a-dia, do que anualmente fazer a extracção de TODOS os dados para que se execute um processo de qualidade de dados, para depois voltar a fazer a reintegração dos dados com todos os custos que esse processo envolve. Custos não apenas monetários elevados, mas custos em termos da operação em si, que necessita de um cuidado extremo, para que não se reponham dados que entretanto foram alterados.\u003C\/p\u003E \u003Cp\u003EPor tudo isto a qualidade dos dados é uma coisa que é partilhada pelo marketing, apoio, vendas e quase todos dentro da empresa. Todos são responsaveis pela qualidade dos dados da empres e a todos se deve pedir responsabilidades, mas tem de haver alguém responsável final pela qualidade de dados dentro da empresa e quanto mais acima estiver na pirâmide organizacional da empresa, melhor. Porque esse, por sua vez, tem de ir pedir responsabilidades a quem esteja a falhar.\u003C\/p\u003E"},"link":[{"rel":"related","href":"http:\/\/www.datalab.pt","title":"Qualidade de dados, perfeição não existe"},{"rel":"replies","type":"application/atom+xml","href":"http:\/\/qualidadededados.blogspot.com\/feeds\/5060827380539871281\/comments\/default","title":"Enviar comentários"},{"rel":"replies","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/qualidade-de-dados-perfeicao-nao-existe.html#comment-form","title":"0 Comentários"},{"rel":"edit","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5060827380539871281"},{"rel":"self","type":"application/atom+xml","href":"http:\/\/www.blogger.com\/feeds\/4919100574129221590\/posts\/default\/5060827380539871281"},{"rel":"alternate","type":"text/html","href":"http:\/\/qualidadededados.blogspot.com\/2009\/11\/qualidade-de-dados-perfeicao-nao-existe.html","title":"Qualidade de dados, perfeição não existe"}],"author":[{"name":{"$t":"Osvaldo Godinho"},"uri":{"$t":"http:\/\/www.blogger.com\/profile\/13531838994563422670"},"email":{"$t":"noreply@blogger.com"},"gd$image":{"rel":"http://schemas.google.com/g/2005#thumbnail","width":"16","height":"16","src":"https:\/\/img1.blogblog.com\/img\/b16-rounded.gif"}}],"thr$total":{"$t":"0"}}]}});