PostgreSQL 詞典

停用詞是非常常用、在幾乎每一個(gè)文檔中出現(xiàn)并且沒(méi)有任何區(qū)分度的詞。因此，在全文搜索的環(huán)境中它們可以被忽略。例如，每一段英語(yǔ)文本都包含a和the等次，因此把它們存儲(chǔ)在一個(gè)索引中是沒(méi)有用處的。但是，停用詞確實(shí)會(huì)影響在tsvector中的位置，這進(jìn)而會(huì)影響排名：

SELECT to_tsvector('english', 'in the list of stop words');
        to_tsvector
----------------------------
 'list':3 'stop':5 'word':6

缺失的位置 1、2、4 是因?yàn)橥Ｓ迷~。文檔的排名計(jì)算在使用和不使用停用詞的情況下是很不同的：

SELECT ts_rank_cd (to_tsvector('english', 'in the list of stop words'), to_tsquery('list & stop'));
 ts_rank_cd
------------
       0.05

SELECT ts_rank_cd (to_tsvector('english', 'list stop words'), to_tsquery('list & stop'));
 ts_rank_cd
------------
        0.1

如何對(duì)待停用詞是由指定詞典決定的。例如，ispell詞典首先正規(guī)化詞并且查看停用詞列表，而Snowball詞干分析器首先檢查停用詞的列表。這種不同行為的原因是一沖降低噪聲的嘗試。

simple詞典模板的操作是將輸入記號(hào)轉(zhuǎn)換為小寫(xiě)形式并且根據(jù)一個(gè)停用詞文件檢查它。如果該記號(hào)在該文件中被找到，則返回一個(gè)空數(shù)組，導(dǎo)致該記號(hào)被丟棄。否則，該詞的小寫(xiě)形式被返回作為正規(guī)化的詞位。作為一種選擇，該詞典可以被配置為將非停用詞報(bào)告為未識(shí)別，允許它們被傳遞給列表中的下一個(gè)詞典。

下面是一個(gè)使用simple模板的詞典定義的例子：

CREATE TEXT SEARCH DICTIONARY public.simple_dict (
    TEMPLATE = pg_catalog.simple,
    STOPWORDS = english
);

這里，english是一個(gè)停用詞文件的基本名稱。該文件的全名將是$SHAREDIR/tsearch_data/english.stop，其中$SHAREDIR表示PostgreSQL安裝的共享數(shù)據(jù)目錄，通常是/usr/local/share/postgresql（如果不確定，使用 pg_config --sharedir）。該文件格式是一個(gè)詞的列表，每行一個(gè)。空行和尾部的空格都被忽略，并且大寫(xiě)也被折疊成小寫(xiě)，但是沒(méi)有其他對(duì)該文件內(nèi)容的處理。

現(xiàn)在我們能夠測(cè)試我們的詞典：

SELECT ts_lexize('public.simple_dict', 'YeS');
 ts_lexize
-----------
 {yes}

SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------
 {}

如果沒(méi)有在停用詞文件中找到，我們也可以選擇返回NULL而不是小寫(xiě)形式的詞。這種行為可以通過(guò)設(shè)置詞典的Accept參數(shù)為false來(lái)選擇。繼續(xù)該例子：

ALTER TEXT SEARCH DICTIONARY public.simple_dict ( Accept = false );

SELECT ts_lexize('public.simple_dict', 'YeS');
 ts_lexize
-----------


SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------
 {}

在使用默認(rèn)值Accept = true，只有把一個(gè)simple詞典放在詞典列表的尾部才有用，因?yàn)樗鼘⒉粫?huì)傳遞任何記號(hào)給后續(xù)的詞典。相反，Accept = false只有當(dāng)至少有一個(gè)后續(xù)詞典的情況下才有用。

這個(gè)詞典模板被用來(lái)創(chuàng)建用于同義詞替換的詞典。不支持短語(yǔ)（使用分類(lèi)詞典模板（本文中第 12.6.4 節(jié)）可以支持）。一個(gè)同義詞詞典可以被用來(lái)解決語(yǔ)言學(xué)問(wèn)題，例如，阻止一個(gè)英語(yǔ)詞干分析器詞典把詞“Paris”縮減成 “pari”。在同義詞詞典中有一行Paris paris并把它放在english_stem詞典之前就足夠了。例如：

SELECT * FROM ts_debug('english', 'Paris');
   alias   |   description   | token |  dictionaries  |  dictionary  | lexemes 
-----------+-----------------+-------+----------------+--------------+---------
 asciiword | Word, all ASCII | Paris | {english_stem} | english_stem | {pari}

CREATE TEXT SEARCH DICTIONARY my_synonym (
    TEMPLATE = synonym,
    SYNONYMS = my_synonyms
);

ALTER TEXT SEARCH CONFIGURATION english
    ALTER MAPPING FOR asciiword
    WITH my_synonym, english_stem;

SELECT * FROM ts_debug('english', 'Paris');
   alias   |   description   | token |       dictionaries        | dictionary | lexemes 
-----------+-----------------+-------+---------------------------+------------+---------
 asciiword | Word, all ASCII | Paris | {my_synonym,english_stem} | my_synonym | {paris}

synonym模板要求的唯一參數(shù)是SYNONYMS，它是其配置文件的基本名 — 上例中的my_synonyms。該文件的完整名稱將是$SHAREDIR/tsearch_data/my_synonyms.syn（其中$SHAREDIR表示 PostgreSQL安裝的共享數(shù)據(jù)目錄）。該文件格式是每行一個(gè)要被替換的詞，后面跟著它的同義詞，用空白分隔。空行和結(jié)尾的空格會(huì)被忽略。

synonym模板還有一個(gè)可選的參數(shù)CaseSensitive，其默認(rèn)值為false。當(dāng)CaseSensitive為false時(shí)，同義詞文件中的詞被折疊成小寫(xiě)，這和輸入記號(hào)一樣。當(dāng)它為true時(shí)，詞和記號(hào)將不會(huì)被折疊成小寫(xiě)，但是比較時(shí)就好像被折疊過(guò)一樣。

一個(gè)星號(hào)（*）可以被放置在配置文件中一個(gè)同義詞的末尾。這表示該同義詞是一個(gè)前綴。當(dāng)項(xiàng)被用在to_tsvector()中時(shí)，星號(hào)會(huì)被忽略；當(dāng)它被用在to_tsquery()中時(shí)，結(jié)果將是一個(gè)帶有前綴匹配標(biāo)記器（見(jiàn)第 12.3.2 節(jié)）的查詢項(xiàng)。例如，假設(shè)我們?cè)?code class="filename">$SHAREDIR/tsearch_data/synonym_sample.syn中有這些項(xiàng)：

postgres        pgsql
postgresql      pgsql
postgre pgsql
gogle   googl
indices index*

那么我們將得到這些結(jié)果：

mydb=# CREATE TEXT SEARCH DICTIONARY syn (template=synonym, synonyms='synonym_sample');
mydb=# SELECT ts_lexize('syn', 'indices');
 ts_lexize
-----------
 {index}
(1 row)

mydb=# CREATE TEXT SEARCH CONFIGURATION tst (copy=simple);
mydb=# ALTER TEXT SEARCH CONFIGURATION tst ALTER MAPPING FOR asciiword WITH syn;
mydb=# SELECT to_tsvector('tst', 'indices');
 to_tsvector
-------------
 'index':1
(1 row)

mydb=# SELECT to_tsquery('tst', 'indices');
 to_tsquery
------------
 'index':*
(1 row)

mydb=# SELECT 'indexes are very useful'::tsvector;
            tsvector             
---------------------------------
 'are' 'indexes' 'useful' 'very'
(1 row)

mydb=# SELECT 'indexes are very useful'::tsvector @@ to_tsquery('tst', 'indices');
 ?column?
----------
 t
(1 row)

一個(gè)分類(lèi)詞典（有時(shí)被簡(jiǎn)寫(xiě)成TZ）是一個(gè)詞的集合，其中包括了詞與短語(yǔ)之間的聯(lián)系，即廣義詞（BT）、狹義詞（NT）、首選詞、非首選詞、相關(guān)詞等。

基本上一個(gè)分類(lèi)詞典會(huì)用一個(gè)首選詞替換所有非首選詞，并且也可選擇地保留原始術(shù)語(yǔ)用于索引。PostgreSQL的分類(lèi)詞典的當(dāng)前實(shí)現(xiàn)是同義詞詞典的一個(gè)擴(kuò)展，并增加了短語(yǔ)支持。一個(gè)分類(lèi)詞典要求一個(gè)下列格式的配置文件：

# this is a comment
sample word(s) : indexed word(s)
more sample word(s) : more indexed word(s)
...

其中冒號(hào)（:）符號(hào)扮演了一個(gè)短語(yǔ)及其替換之間的定界符。

一個(gè)分類(lèi)詞典使用一個(gè)子詞典（在詞典的配置中指定）在檢查短語(yǔ)匹配之前正規(guī)化輸入文本。只能選擇一個(gè)子詞典。如果子詞典無(wú)法識(shí)別一個(gè)詞，將報(bào)告一個(gè)錯(cuò)誤。在這種情況下，你應(yīng)該移除該詞的使用或者讓子詞典學(xué)會(huì)這個(gè)詞。你可以在一個(gè)被索引詞的開(kāi)頭放上一個(gè)星號(hào)（*）來(lái)跳過(guò)在其上應(yīng)用子詞典，但是所有采樣詞必須被子詞典知道。

如果有多個(gè)短語(yǔ)匹配輸入，則分類(lèi)詞典選擇最長(zhǎng)的那一個(gè)，并且使用最后的定義打破連結(jié)。

由子詞典識(shí)別的特定停用詞不能夠被指定；改用?標(biāo)記任何可以出現(xiàn)停用詞的地方。例如，假定根據(jù)子詞典a和the是停用詞：

? one ? two : swsw

匹配a one the two和the one a two；兩者都將被swsw替換。

由于一個(gè)分類(lèi)詞典具有識(shí)別短語(yǔ)的能力，它必須記住它的狀態(tài)并與解析器交互。一個(gè)分類(lèi)詞典使用這些任務(wù)來(lái)檢查它是否應(yīng)當(dāng)處理下一個(gè)詞或者停止累積。分類(lèi)詞典必須被小心地配置。例如，如果分類(lèi)詞典被分配只處理asciiword記號(hào)，則一個(gè)形如one 7的分類(lèi)詞典定義將不會(huì)工作，因?yàn)橛浱?hào)類(lèi)型uint沒(méi)有被分配給該分類(lèi)詞典。

CREATE TEXT SEARCH DICTIONARY thesaurus_simple (
    TEMPLATE = thesaurus,
    DictFile = mythesaurus,
    Dictionary = pg_catalog.english_stem
);

ALTER TEXT SEARCH CONFIGURATION russian
    ALTER MAPPING FOR asciiword, asciihword, hword_asciipart
    WITH thesaurus_simple;

supernovae stars : sn
crab nebulae : crab

CREATE TEXT SEARCH DICTIONARY thesaurus_astro (
    TEMPLATE = thesaurus,
    DictFile = thesaurus_astro,
    Dictionary = english_stem
);

ALTER TEXT SEARCH CONFIGURATION russian
    ALTER MAPPING FOR asciiword, asciihword, hword_asciipart
    WITH thesaurus_astro, english_stem;

SELECT plainto_tsquery('supernova star');
 plainto_tsquery
-----------------
 'sn'

SELECT to_tsvector('supernova star');
 to_tsvector
-------------
 'sn':1

SELECT to_tsquery('''supernova star''');
 to_tsquery
------------
 'sn'

supernovae stars : sn supernovae stars

SELECT plainto_tsquery('supernova star');
       plainto_tsquery
-----------------------------
 'sn' & 'supernova' & 'star'

Ispell詞典模板支持詞法詞典，它可以把一個(gè)詞的很多不同語(yǔ)言學(xué)的形式正規(guī)化成相同的詞位。例如，一個(gè)英語(yǔ)Ispell詞典可以匹配搜索詞bank的詞尾變化和詞形變化，例如banking、banked、 banks、banks'和bank's。

標(biāo)準(zhǔn)的PostgreSQL發(fā)布不包括任何Ispell配置文件。用于很多種語(yǔ)言的詞典可以從Ispell得到。此外，也支持一些更現(xiàn)代的詞典文件格式 — MySpell（OO < 2.0.1）和Hunspell（OO >= 2.0.2）。一個(gè)很大的詞典列表在OpenOffice Wiki上可以得到。

要?jiǎng)?chuàng)建一個(gè)Ispell詞典，執(zhí)行這三步：

這里，DictFile、AffFile和StopWords指定詞典、詞綴和停用詞文件的基礎(chǔ)名稱。停用詞文件的格式和前面解釋的simple詞典類(lèi)型相同。其他文件的格式在這里沒(méi)有指定，但是也可以從上面提到的網(wǎng)站獲得。

Ispell 詞典通常識(shí)別一個(gè)有限集合的詞，這樣它們后面應(yīng)該跟著另一個(gè)更廣義的詞典；例如，一個(gè) Snowball 詞典，它可以識(shí)別所有東西。

Ispell的.affix文件具有下面的結(jié)構(gòu)：

prefixes
flag *A:
    .           >   RE      # As in enter > reenter
suffixes
flag T:
    E           >   ST      # As in late > latest
    [^AEIOU]Y   >   -Y,IEST # As in dirty > dirtiest
    [AEIOU]Y    >   EST     # As in gray > grayest
    [^EY]       >   EST     # As in small > smallest

.dict文件具有下面的結(jié)構(gòu)：

lapse/ADGRS
lard/DGRS
large/PRTY
lark/MRS

.dict文件的格式是：

basic_form/affix_class_name

在.affix文件中，每一個(gè)詞綴標(biāo)志以下面的格式描述：

condition > [-stripping_letters,] adding_affix

這里的條件具有和正則表達(dá)式相似的格式。它可以使用分組[...]和[^...]。例如，[AEIOU]Y表示詞的最后一個(gè)字母是"y"并且倒數(shù)第二個(gè)字母是"a"、"e"、 "i"、"o"或者"u"。[^EY]表示最后一個(gè)字母既不是"e"也不是"y"。

Ispell 詞典支持劃分復(fù)合詞，這是一個(gè)有用的特性。注意詞綴文件應(yīng)該用compoundwords controlled語(yǔ)句指定一個(gè)特殊標(biāo)志，它標(biāo)記可以參與到復(fù)合格式中的詞典詞：

compoundwords  controlled z

下面是挪威語(yǔ)的一些例子：

SELECT ts_lexize('norwegian_ispell', 'overbuljongterningpakkmesterassistent');
   {over,buljong,terning,pakk,mester,assistent}
SELECT ts_lexize('norwegian_ispell', 'sjokoladefabrikk');
   {sjokoladefabrikk,sjokolade,fabrikk}

MySpell格式是Hunspell格式的一個(gè)子集。Hunspell的.affix文件具有下面的結(jié)構(gòu)：

PFX A Y 1
PFX A   0     re         .
SFX T N 4
SFX T   0     st         e
SFX T   y     iest       [^aeiou]y
SFX T   0     est        [aeiou]y
SFX T   0     est        [^ey]

一個(gè)詞綴類(lèi)的第一行是頭部。頭部后面列出了詞綴規(guī)則的域：

.dict文件看起來(lái)和Ispell的.dict文件相似：

larder/M
lardy/RT
large/RSPMYT
largehearted

Snowball詞典模板基于 Martin Porter 的一個(gè)項(xiàng)目，他是流行的英語(yǔ) Porter 詞干分析算法的發(fā)明者。Snowball 現(xiàn)在對(duì)許多語(yǔ)言提供詞干分析算法（詳見(jiàn)Snowball 站點(diǎn)）。每一個(gè)算法懂得按照其語(yǔ)言中的拼寫(xiě)，如何縮減詞的常見(jiàn)變體形式為一個(gè)基礎(chǔ)或詞干。一個(gè) Snowball 詞典要求一個(gè)language參數(shù)來(lái)標(biāo)識(shí)要用哪種詞干分析器，并且可以選擇地指定一個(gè)stopword文件名來(lái)給出一個(gè)要被消除的詞列表（PostgreSQL的標(biāo)準(zhǔn)停用詞列表也是由 Snowball 項(xiàng)目提供的）。例如，有一個(gè)內(nèi)建的定義等效于

CREATE TEXT SEARCH DICTIONARY english_stem (
    TEMPLATE = snowball,
    Language = english,
    StopWords = english
);

停用詞文件格式和已經(jīng)解釋的一樣。

一個(gè)Snowball詞典識(shí)別所有的東西，不管它能不能簡(jiǎn)化該詞，因此它應(yīng)當(dāng)被放置在詞典列表的最后。把它放在任何其他詞典前面是沒(méi)有用處的，因?yàn)橐粋€(gè)記號(hào)永遠(yuǎn)不會(huì)穿過(guò)它而進(jìn)入到下一個(gè)詞典。