Perfil de dados e notificações no DQS

  • Artigo

Aplica-se a:SQL Server

A criação de perfil de dados no Data Quality Services (DQS) é o processo de análise dos dados em uma fonte de dados existente e exibição de estatísticas sobre os dados em atividades do DQS. Isso fornece a você medições automatizadas da qualidade dos dados. A criação de perfil do DQS está integrada ao gerenciamento de conhecimento do DQS e aos projetos de qualidade de dados. É dinâmica e ajustável. A criação de perfil tem dois objetivos principais: primeiro, orientá-lo durante os processos de qualidade de dados e dar suporte às suas decisões e, segundo, avaliar a efetividade dos processos. A criação de perfil do DQS tem os seguintes benefícios:

  • A criação de perfil fornece informações sobre a qualidade da sua fonte de dados e o ajuda a identificar problemas de qualidade de dados.

  • A criação de perfil avalia a eficácia dos processos de qualidade de dados, orientando você na descoberta da base de dados de conhecimento, limpeza de dados, política de correspondência e trabalho de correspondência.

  • A criação de perfil apresenta as informações mais relevantes no momento mais relevante.

  • O processo de criação de perfil gera notificações que enfatizam estatísticas ou eventos importantes que podem merecer ação. Em muitos casos, as notificações do DQS indicarão uma condição e recomendarão a ação que você deve adotar para resolver essa condição.

A criação de perfil permite que você use o Data Quality Services não só para a descoberta da base de dados de conhecimento, limpeza e correspondência, como também como uma ferramenta de análise. Talvez você queira criar uma base de dados de conhecimento para análise e executar a descoberta da base de dados de conhecimento usando essa base para determinar, com base nas estatísticas de criação de perfil, se a base de dados de conhecimento atende suas necessidades de descoberta, limpeza e correspondência.

Como a criação de perfil funciona

A criação de perfil não mede a qualidade da base de conhecimento. Ela mede a qualidade dos dados de origem. A criação de perfil fornece estatísticas que indicam o efeito da operação específica que você está realizando no gerenciamento do conhecimento ou em um projeto de qualidade de dados nos dados de origem. A criação de perfil está sempre no contexto da atividade específica que você está realizando. Você pode clicar na guia de criação de perfil em uma tela para exibir os dados de criação de perfil sem sair do estágio da atividade que está realizando. A tabela de criação de perfil é preenchida em tempo real à medida que o processo é executado, possibilitando avaliar as tarefas de qualidade de dados enquanto elas são executadas. É possível determinar se os dados de origem ficam melhores após a limpeza ou desduplicação e o quanto melhoram.

Todos os números de criação de perfil se referem ao número de ocorrências de um valor e, em muitos casos, referem-se à porcentagem do total, com exceção das métricas de exclusividade. As métricas de exclusividade se referem ao número absoluto de valores, independentemente do número de vezes em que esses valores aparecem.

A criação de perfil faz parte da solução voltada para conhecimentos do DQS. Ela fornece informações sobre uma base de dados de conhecimento, correspondência ou processo de limpeza de dados com base no mapeamento entre os campos da fonte de dados e os domínios da base de dados de conhecimento. Você cria o perfil somente após a conclusão do mapeamento, portanto, nenhum perfil é executado durante o estágio de mapeamento de qualquer atividade. A criação de perfil sempre está associada a uma atividade. O processo de criação de perfil é executado nos dados mapeados para domínios e não nos dados dos domínios. O processo integra as seguintes etapas de atividades:

  • As etapas Descobrir e Gerenciar valores de domínio da atividade Descoberta da base de dados de conhecimento

  • As etapas Limpar e Gerenciar e exibir resultados da atividade Limpeza

  • As etapas Política de correspondência e Resultados correspondentes da atividade Política de correspondência

  • As etapas Correspondência e Exportar da atividade Correspondência

O DQS não fornece estatísticas de criação de perfil para a atividade de Gerenciamento de Domínio.

Dados de criação de perfil por atividade

A criação de perfil do DQS usa dimensões de qualidade de dados padrão para representar a qualidade dos dados: integridade (a extensão até a qual os dados estão presentes), precisão (a extensão até a qual os dados podem ser utilizados para seu uso pretendido) e exclusividade (a extensão até a qual valores diferentes representam entidades diferentes). Por padrão, valores NULOS e vazios são considerados ausentes ou diminuem a porcentagem de conclusão. No entanto, você também pode definir outros valores como equivalentes ao NULO e, nesse caso, eles também serão considerados ausentes.

A criação de perfil fornece as estatísticas de que você precisa para avaliar seus processos, mas é necessário interpretá-las. Entenda o que a criação de perfil está informando a você examinando as estatísticas coluna por coluna.

As atividades do DQS têm conjuntos diferentes de estatísticas de criação de perfil, da seguinte forma:

  • Somente a atividade Limpeza tem estatísticas de criação de perfil quanto à precisão (em percentual por domínio). A precisão é afetada pela validade, consistência, erros de sintaxe e regras de domínio.

  • Somente a atividade Limpeza tem estatísticas de criação de perfil quanto a valores corretos, corrigidos e sugeridos na origem e valores corrigidos e sugeridos pelo domínio (ambos de número de percentual).

  • As atividades Limpeza e Descoberta da Base de Dados de Conhecimento têm estatísticas de criação de perfil quanto à validade (Limpeza por registro, Descoberta da Base de Dados de Conhecimento por registro e domínio). As atividades Política de Conciliação e Correspondência não têm estatísticas de validade.

  • A atividade Limpeza não tem estatísticas de criação de perfil para exclusividade. As atividades Descoberta da Base de Dados de Conhecimento, Política de Correspondência e Correspondência têm estatísticas de criação de perfil quanto à exclusividade no número e percentual de origem e por domínio.

Para obter mais informações sobre as estatísticas específicas de criação de perfil relacionadas a uma atividade, consulte as seções sobre Criação de Perfil nos seguintes artigos:

Dados de criação de perfil no monitoramento da atividade

As informações sobre criação de perfil para as atividades Descoberta de Conhecimento, Política de Conciliação, Correspondência e Limpeza estão disponíveis não somente nas páginas de atividades no Data Quality Client, mas também no monitoramento de atividades. O monitoramento da atividade apresenta uma visão geral das atividades atuais e passadas. Além das propriedades e processos de atividades computacionais relacionados, você pode exibir as informações de criação de perfil geradas para cada atividade em um local. Selecione uma atividade na tabela de atividades para exibir os resultados da criação de perfil em uma tabela abaixo. Também é possível exportar os resultados da criação de perfil. Para obter mais informações, consulte DQS Administration.

Notificações

Além de coletar e exibir estatísticas e métricas importantes por meio da criação de perfil, o DQS gerará notificações (se habilitado) para indicar quando talvez você queira executar uma ação com base nas estatísticas de criação de perfil exibidas. O DQS utiliza notificações para enfatizar fatos importantes sobre a fonte de dados e para mostrar a eficácia da atividade atual em comparação com a finalidade para a qual foi executada. As notificações fornecem dicas e recomendações que indicam uma condição e recomendam como você pode aprimorar uma atividade de descoberta da base de dados de conhecimento, limpeza de dados ou correspondência de dados.

Uma notificação do DQS é usada para gerar uma questão que pode ser interessante para você ou abordar um problema potencial. A decisão de agir de acordo com a notificação depende se ela é relevante para seus propósitos. Por exemplo, vamos supor que o DQS publique uma notificação quando a limpeza de dados não produzir valores corrigidos ou valores sugeridos quando a integridade e a exatidão forem 100%. Esta notificação indicaria que a atividade talvez não precise ser executada. Se você vai optar por executar a atividade, no entanto, essa é uma decisão sua.

Uma notificação é indicada por uma dica de ferramenta com um ponto de exclamação na guia Criação de Perfil. As estatísticas associadas à notificação estão na cor vermelha para indicar a justificação estatística da notificação.

Você pode habilitar (o padrão) ou desabilitar as notificações na guia Configurações Gerais da seção Administração da página inicial Cliente Data Quality. Quando a notificação está desabilitada, as dicas de ferramentas não são exibidas e as estatísticas não ficam em vermelho. Não há melhoria significativa no desempenho com a desabilitação das notificações. A criação de perfil ainda estará operacional se você desabilitar as notificações.

Para condições específicas associadas a notificações de uma atividade, consulte os seguintes artigos:

Descrição da tarefa Artigo
Descreve como habilitar ou desabilitar as notificações no DQS. Habilitar ou desabilitar notificações de criação de perfil no DQS