Separadores de palavras e lematizadores

Registro de separadores de palavras

Para que os separadores de palavras de um idioma possam ser usados, é necessário registrá-los. Nos separadores de palavras registrados, os recursos associados, como lematizadores, palavras de ruído (palavras irrelevantes) e arquivos de dicionário de sinônimos, também ficam disponíveis para operações de indexação e consulta de texto completo. Para exibir uma lista dos idiomas cujos separadores de palavras estão registrados no SQL Server, use a seguinte instrução Transact-SQL:

SELECT * FROM sys.fulltext_languages

Se você adicionar, remover ou alterar um separador de palavras, precisará atualizar a lista de LCIDs (IDs de localidade) do Microsoft Windows que são suportadas para indexação e consulta de texto completo. Para obter mais informações, consulte Como alterar a lista de separadores de palavras e filtros registrados (Transact-SQL).

Vários separadores de palavras de terceiros licenciados são fornecidos com o SQL Server 2008. Você pode carregar separadores de palavras de terceiros (e lematizadores) manualmente adicionais para vários idiomas (dinamarquês, polonês e turco). Esses separadores de palavras não são habilitados por padrão, pois pertencem a terceiros que ainda não forneceram o nível de teste, segurança e robustez necessário para que sejam habilitados por padrão. Para obter mais informações, consulte Como carregar separadores de palavras de terceiros licenciados.

Opção de idioma de texto completo

Em uma versão localizada do SQL Server, a instalação do SQL Server configura a opção idioma de texto completo padrão como o idioma do servidor caso exista uma correspondência adequada. Para uma versão não localizada do SQL Server, a opção default full-text language fica em inglês.

Quando criar ou alterar um índice de texto completo, você pode especificar um idioma diferente para cada coluna indexada de texto completo. Se nenhum idioma for especificado para uma coluna, o padrão será o valor da opção de configuração default full-text language.

Para obter mais informações, consulte Opção default full-text language.

Observação

Todas as colunas listadas em uma única cláusula de função de consulta de texto completo devem usar o mesmo idioma, exceto se a opção LANGUAGE for especificada na consulta. O idioma usado para a coluna indexada de texto completo que está sendo consultada determina a análise linguística realizada nos argumentos dos predicados de consulta de texto completo (CONTAINS e FREETEXT) e das funções (CONTAINSTABLE e FREETEXTTABLE).

Escolhendo um idioma ao criar o índice de texto completo de uma coluna

Quando você cria um índice de texto completo, é recomendável especificar um idioma para cada coluna indexada. Se não for especificado um idioma para uma coluna, será usado o idioma padrão do sistema. O idioma de uma coluna determina que separador de palavras e que lematizador são usados para indexá-la. Além disso, o arquivo do dicionário de sinônimos do idioma será usado por consultas de texto completo na coluna.

Existem alguns aspectos que devem ser considerados na escolha do idioma da coluna para criar um índice de texto completo. Essas considerações estão relacionadas a como seu texto é transformado em token e, depois, indexado pelo Mecanismo de Texto Completo. Para obter mais informações, consulte Práticas recomendadas para escolher um idioma ao criar um índice de texto completo.

Para exibir o idioma do separador de palavras de uma coluna

• Como exibir ou alterar as propriedades de um índice de texto completo (SQL Server Management Studio)

• sys.fulltext_index_columns (Transact-SQL)

  SELECT 'language_id' AS "LCID" FROM sys.fulltext_index_columns;
  

Impacto dos novos separadores de palavras do SQL Server 2008

O SQL Server 2008 inclui separadores de palavras para mais de 50 idiomas diferentes, dos quais 23 também existem no SQL Server 2005. Somente os separadores de palavras para inglês, coreano, tailandês e chinês (todas as formas) permanecem os mesmos. Para outros idiomas, o SQL Server 2008 introduz uma nova geração de separadores de palavras que possuem regras linguísticas melhores e mais precisas do que os separadores de palavras anteriores. O comportamento dos novos separadores de palavras pode ser ligeiramente diferente daquele dos separadores de palavras em índices de texto completo do SQL Server 2005 importados. Isso é significativo se um catálogo de texto completo foi importado durante a atualização de um banco de dados do SQL Server 2005 para o SQL Server 2008. Agora um ou mais dos idiomas usados pelos índices de texto completo no catálogo de texto completo podem ser associados aos novos separadores de palavras. Para obter mais informações, consulte Atualização da pesquisa de texto completo.

Versões de separadores de palavras em idiomas suportados no SQL Server 2005

Somente os separadores de palavras para inglês, coreano, tailandês e chinês (todas as formas) permanecem os mesmos. A tabela a seguir lista os separadores de palavras que existiam no SQL Server 2005 e indica se eles foram atualizados no SQL Server 2008. Para ver uma lista completa de todos os separadores de palavras do SQL Server 2008, consulte sys.fulltext_languages (Transact-SQL).

Observação
Os separadores de palavras da maioria dos idiomas são registrados por padrão. No entanto, vários separadores de palavras de terceiros licenciados ficam desabilitados por padrão. Para obter informações sobre esses idiomas e como registrar esses separadores de palavras, consulte Como carregar separadores de palavras de terceiros licenciados.

Para obter uma lista completa dos idiomas suportados, consulte sys.fulltext_languages (Transact-SQL).

Erros de tempo limite na separação de palavras

Um erro de tempo limite na separação de palavras pode ocorrer em diversas situações. Para obter informações sobre estas situações e o que fazer em cada uma delas, consulte MSSQLSERVER_30053.

Obtendo informações sobre separadores de palavras

Exibindo o resultado da geração de tokens de uma combinação de separador de palavras, dicionário de sinônimos e lista de palavras irrelevantes (stoplist)

• sys.dm_fts_parser (Transact-SQL).

Para retornar informações sobre os separadores de palavras registrados

• sp_help_fulltext_system_components (Transact-SQL)

Consulte também

Referência

Conceitos