分词器执行以下操作：
-
接收字符流。
-
将该流分解为通常对应于各个单词的各个标记。
-
返回标记流。
Vertica 分词器
1 - 预配置的分词器
Vertica Analytics Platform 提供以下预配置的分词器：
Vertica 还提供了以下未预配置的分词器：
示例
以下示例显示了在创建文本索引时如何使用预配置的分词器。
使用 StringTokenizer 从 top_100 创建索引：
=> CREATE TEXT INDEX idx_100 FROM top_100 on (id, feedback)
TOKENIZER v_txtindex.StringTokenizer(long varchar)
STEMMER v_txtindex.StemmerCaseInsensitive(long varchar);
使用 FlexTokenizer 从非结构化数据创建索引：
=> CREATE TEXT INDEX idx_unstruc FROM unstruc_data on (__identity__, __raw__)
TOKENIZER public.FlexTokenizer(long varbinary)
STEMMER v_txtindex.StemmerCaseSensitive(long varchar);
使用 StringTokenizerDelim 在指定的分隔符处拆分字符串：
=> CREATE TABLE string_table (word VARCHAR(100), delim VARCHAR);
CREATE TABLE
=> COPY string_table FROM STDIN DELIMITER ',';
Enter data to be copied followed by a newline.
End with a backslash and a period on a line by itself.
>>
>> SingleWord,dd
>> Break On Spaces,' '
>> Break:On:Colons,:
>> \.
=> SELECT * FROM string_table;
word | delim
-----------------+-------
SingleWord | dd
Break On Spaces |
Break:On:Colons | :
(3 rows)
=> SELECT v_txtindex.StringTokenizerDelim(word,delim) OVER () FROM string_table;
words
-----------------
Break
On
Colons
SingleWor
Break
On
Spaces
(7 rows)
=> SELECT v_txtindex.StringTokenizerDelim(word,delim) OVER (PARTITION BY word), word as input FROM string_table;
words | input
-----------------+-----------------
Break | Break:On:Colons
On | Break:On:Colons
Colons | Break:On:Colons
SingleWor | SingleWord
Break | Break On Spaces
On | Break On Spaces
Spaces | Break On Spaces
(7 rows)
2 - 高级日志分词器
返回可包含二级分隔符的令牌。在令牌由空格或多种标点分隔的情况下可以使用此分词器。在通过添加二级分隔符定义分隔符方面，高级日志分词器能比基本日志分词器提供更大的粒度。这一方法通常适用于分析日志文件。
重要
如果创建了不包含表的数据库并且提高了 k-safety，则必须在使用 Vertica 分词器之前先使用 REBALANCE_CLUSTER 重新平衡数据。参数
示例
以下示例显示了如何在没有词干分析器的情况下使用高级日志分词器从表 foo 创建文本索引。
=> CREATE TABLE foo (id INT PRIMARY KEY NOT NULL,text VARCHAR(250));
=> COPY foo FROM STDIN;
End with a backslash and a period on a line by itself.
>> 1|2014-05-10 00:00:05.700433 %ASA-6-302013: Built outbound TCP connection 9986454 for outside:101.123.123.111/443 (101.123.123.111/443)
>> \.
=> CREATE PROJECTION foo_projection AS SELECT * FROM foo ORDER BY id
SEGMENTED BY HASH(id) ALL NODES KSAFE;
=> CREATE TEXT INDEX indexfoo_AdvancedLogTokenizer ON foo (id, text)
TOKENIZER v_txtindex.AdvancedLogTokenizer(LONG VARCHAR) STEMMER NONE;
=> SELECT * FROM indexfoo_AdvancedLogTokenizer;
token | doc_id
-----------------------------+--------
%ASA-6-302013: | 1
00 | 1
00:00:05.700433 | 1
05 | 1
10 | 1
101 | 1
101.123.123.111/443 | 1
111 | 1
123 | 1
2014 | 1
2014-05-10 | 1
302013 | 1
443 | 1
700433 | 1
9986454 | 1
ASA | 1
Built | 1
TCP | 1
connection | 1
for | 1
outbound | 1
outside | 1
outside:101.123.123.111/443 | 1
(23 rows)
3 - 基本日志分词器
返回不包含指定二级分隔符的令牌。在令牌由空格或多种标点分隔的情况下可以使用此分词器。这一方法通常适用于分析日志文件。
重要
如果创建了不包含表的数据库并且提高了 k-safety，则必须在使用 Vertica 分词器之前先使用 REBALANCE_CLUSTER 重新平衡数据。参数
示例
以下示例显示了如何在没有词干分析器的情况下使用基本日志分词器从表 foo 创建文本索引。
=> CREATE TABLE foo (id INT PRIMARY KEY NOT NULL,text VARCHAR(250));
=> COPY foo FROM STDIN;
End with a backslash and a period on a line by itself.
>> 1|2014-05-10 00:00:05.700433 %ASA-6-302013: Built outbound TCP connection 9986454 for outside:101.123.123.111/443 (101.123.123.111/443)
>> \.
=> CREATE PROJECTION foo_projection AS SELECT * FROM foo ORDER BY id
SEGMENTED BY HASH(id) ALL NODES KSAFE;
=> CREATE TEXT INDEX indexfoo_BasicLogTokenizer ON foo (id, text)
TOKENIZER v_txtindex.BasicLogTokenizer(LONG VARCHAR) STEMMER NONE;
=> SELECT * FROM indexfoo_BasicLogTokenizer;
token | doc_id
-----------------------------+--------
%ASA-6-302013: | 1
00:00:05.700433 | 1
101.123.123.111/443 | 1
2014-05-10 | 1
9986454 | 1
Built | 1
TCP | 1
connection | 1
for | 1
outbound | 1
outside:101.123.123.111/443 | 1
(11 rows)
4 - 空格日志分词器
仅返回由空格所包围的令牌。如果您只希望用空格字符来分隔源文档中的令牌，可以使用此分词器。使用这种方法时，您仍然能够设置非索引字和令牌长度限制。
重要
如果创建了不包含表的数据库并且提高了 k-safety，则必须在使用 Vertica 分词器之前先使用 REBALANCE_CLUSTER 重新平衡数据。参数
示例
以下示例显示了如何在没有词干分析器的情况下使用空格日志分词器从表 foo 创建文本索引。
=> CREATE TABLE foo (id INT PRIMARY KEY NOT NULL,text VARCHAR(250));
=> COPY foo FROM STDIN;
End with a backslash and a period on a line by itself.
>> 1|2014-05-10 00:00:05.700433 %ASA-6-302013: Built outbound TCP connection 998 6454 for outside:101.123.123.111/443 (101.123.123.111/443)
>> \.
=> CREATE PROJECTION foo_projection AS SELECT * FROM foo ORDER BY id
SEGMENTED BY HASH(id) ALL NODES KSAFE;
=> CREATE TEXT INDEX indexfoo_WhitespaceLogTokenizer ON foo (id, text)
TOKENIZER v_txtindex.WhitespaceLogTokenizer(LONG VARCHAR) STEMMER NONE;
=> SELECT * FROM indexfoo_WhitespaceLogTokenizer;
token | doc_id
-----------------------------+--------
%ASA-6-302013: | 1
(101.123.123.111/443) | 1
00:00:05.700433 | 1
2014-05-10 | 1
6454 | 1
998 | 1
Built | 1
TCP | 1
connection | 1
for | 1
outbound | 1
outside:101.123.123.111/443 | 1
(12 rows)
5 - ICU 分词器
支持多种语言。可以使用此分词器识别非英语语言中的单词边界，包括未用空格分隔的亚洲语言。
ICU 分词器未预先配置。可以通过首先创建用户定义的转换函数 (UDTF) 来配置分词器。然后设置参数 locale 来标识分词器的语言。
重要
如果创建了不包含表的数据库并且提高了 k-safety，则必须在使用 Vertica 分词器之前先使用 REBALANCE_CLUSTER 重新平衡数据。参数
示例
以下示例步骤显示了如何将 ICU 分词器配置为简体中文，然后从包含中文字符的表 foo 中创建文本索引。
有关如何配置分词器的详细信息，请参阅配置分词器。
-
使用 UDTF 创建分词器。将示例分词器命名为 ICUChineseTokenizer。
VMart=> CREATE OR REPLACE TRANSFORM FUNCTION v_txtindex.ICUChineseTokenizer AS LANGUAGE 'C++' NAME 'ICUTokenizerFactory' LIBRARY v_txtindex.logSearchLib NOT FENCED; CREATE TRANSFORM FUNCTION -
获取分词器的过程 ID。
VMart=> SELECT proc_oid from vs_procedures where procedure_name = 'ICUChineseTokenizer';proc_oid ------------------- 45035996280452894 (1 row) -
将参数 locale 设置为简体中文。使用过程 ID 标识分词器。
VMart=> SELECT v_txtindex.SET_TOKENIZER_PARAMETER('locale','zh_CN' using parameters proc_oid='45035996280452894'); SET_TOKENIZER_PARAMETER ------------------------- t (1 row) -
锁定分词器。
VMart=> SELECT v_txtindex.SET_TOKENIZER_PARAMETER('used','true' using parameters proc_oid='45035996273762696'); SET_TOKENIZER_PARAMETER ------------------------- t (1 row) -
创建示例表 foo，其中包含要编制索引的简体中文文本。
VMart=> CREATE TABLE foo(doc_id integer primary key not null,text varchar(250)); CREATE TABLEVMart=> INSERT INTO foo values(1, u&'\4E2D\534E\4EBA\6C11\5171\548C\56FD'); OUTPUT -------- 1 -
对表 foo 创建索引 index_example。该示例在没有词干分析器的情况下创建索引；Vertica 词干分析器仅适用于英语文本。对非英语文本使用英语词干分析器可能会导致分词不正确。
VMart=> CREATE TEXT INDEX index_example ON foo (doc_id, text) TOKENIZER v_txtindex.ICUChineseTokenizer(long varchar) stemmer none; CREATE INDEX -
查看新索引。
VMart=> SELECT * FROM index_example ORDER BY token,doc_id; token | doc_id --------+-------- 中华 | 1 人民 | 1 共和国 | 1 (3 rows)