Vertica 分词器

分词器执行以下操作:

  • 接收字符流。

  • 将该流分解为通常对应于各个单词的各个标记。

  • 返回标记流。