本文禁止转载

word_delimiter_graph 使用非字母字符切分 tokens，并可以根据规则执行一些可选的 token 正则化。默认情况下， word_delimiter_graph 会使用以下规则：

  • 使用非字母字符作为切分点。 比如 Super-Duper → Super, Duper
  • 移除每个 token 前置和后置分隔符。比如 XL---42+'Autocoder' → XL, 42, Autocoder
  • 在单词大小写过度位置做切分。 比如 PowerShot → Power, Shot
  • 在单词字母和数字过度位置切分。 比如 XL500 → XL, 500
  • 移除 token 后的( 's)。 例如 Neil's → Neil

word_delimiter_graph 过滤器的实现使用的是 Lucene 的 WordDelimiterGraphFilter。

Tips: word_delimiter_graph 过滤器设计目标是为了处理 产品 ID 号，零部件号，这样的场景。此场景下推荐搭配 keyword tokenzier 使用

避免使用 word_delimiter_graph 过滤器本身带有连接符的单词，比如 wi-fi，因为用户无论是 wifi 还是 wi-fi 都比较常用，这种场景建议使用 synonym_graph。

示例

GET /_analyze
{
  "tokenizer": "keyword",
  "filter": [ "word_delimiter_graph" ],
  "text": "Neil's-Super-Duper-XL500--42+AutoCoder"
}

结果：

[ Neil, Super, Duper, XL, 500, 42, Auto, Coder ]

添加到 Analyzer

PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "filter": [ "word_delimiter_graph" ]
        }
      }
    }
  }
}

WARNING: 避免和会去除标点符号的 tokenizers 搭配使用 word_delimiter_graph，比如 standard tokenizer。这样可能会导致 word_delimiter_graph 切分不正确，也可能会影响此过滤器一些可配置参数的工作，如 catenate_all or preserve_original。所以推荐使用 keyword or whitespace tokenizer。

可配置参数

adjust_offsets：

可选，默认为 true， 为 true 会自动调整切分后的 term 在 doc 中的 offset 信息

WARNING: 如果我们使用 trim 过滤器，要设置 adjust_offsets 为 false，因为 trim 过滤器会改变 token 的长度而不会改变其 offsets，这时候如果 adjust_offsets 为 true，就可能导致切分的 token 的 offset 不正确。

catenate_all: 默认为 false。如果为 true，会使用非字母分隔符将所有的数字字母连接在一起，比如： super-duper-xl-500 → [ superduperxl500, super, duper, xl, 500 ]. Defaults to false.

WARNING: 默认为 false，设置为 true， 会产生 multi-position 的 tokens。这是建立索引过程所不支持的。

如果参数设置为 true， 不要作为建立索引时的 analyzer，或者在此过滤器后使用 flatten_graph 过滤器，确保建立索引阶段正常工作。

当被用于 search 阶段的 analysis 时，会对 match_phrase 以及其它一些依赖 token position 信息进行 match 的 query 造成问题，如果真计划使用这些 query，记的设置为 true。

catenate_numbers

和 catenate_all 区别是，只对使用非字母分隔符分隔的数字进行连接。 比如 01-02-03 → [ 010203, 01, 02, 03 ]。

WARNING: 和 catenate_all 一样

catenate_words

和 catenate_all 区别是，只对使用非字母分隔符分隔的字母进行连接。 比如 super-duper-xl → [ superduperxl, super, duper, xl ]。

WARNING: 和 catenate_all 一样

generate_number_parts

true 导致生成数字子词：“500-42” ⇒ “500” “42”。默认 true

generate_word_parts

*true *导致单词最大程度的链接到一起：“wi-fi” ⇒ “wifi”。默认 false

preserve_original

true 在子词中保留原始词： super-duper-xl-500 → [ super-duper-xl-500, super, duper, xl, 500 ]。默认 false

protected_words

被分隔时的受保护词列表。 一个数组

protected_words_path

设置为配置有保护字的文件（每行一个）。 如果存在，则自动解析为基于 config/ 位置的位置。

split_on_case_change

true 在大小写字母过度的位置做切分，比如 camelCase → [ camel, Case ]。默认 true

split_on_numerics

true 在字母数字过度的位置做切分， 比如 j2se → [ j, 2, se ]，成了三个词元。默认 true

stem_english_possessive

true 导致每个子词中的 " 's" 都会被移除： O'Neil's → [ O, Neil ]。默认 true

高级设置：

type_table

例如，自定义类型映射表（使用 type_table_path 配置时），通过自定义，将非字母数字字符分隔符映射成其它字符，即映射后，这些字符便不会被作为分隔符而被保留下来。比如 [ "+ => ALPHA", "- => ALPHA" ]

Supported types include:

  • ALPHA (Alphabetical)
  • ALPHANUM (Alphanumeric)
  • DIGIT (Numeric)
  • LOWER (Lowercase alphabetical)
  • SUBWORD_DELIM (Non-alphanumeric delimiter)
  • UPPER (Uppercase alphabetical)

type_table_path

用户映射文件路径， 配合** type_table**使用。 文件示例：

# Map the $, %, '.', and ',' characters to DIGIT
# This might be useful for financial data.
$ => DIGIT
% => DIGIT
. => DIGIT
\\u002C => DIGIT

# in some cases you might not want to split on ZWJ
# this also tests the case where we need a bigger byte[]
# see http://en.wikipedia.org/wiki/Zero-width_joiner
\\u200D => ALPHANUM

定制化示例

下面官方给了一个定制 filter 的示例，并定制了以下规则：

  • Split tokens at non-alphanumeric characters, except the hyphen ( -) character.
  • Remove leading or trailing delimiters from each token.
  • Do not split tokens at letter case transitions.
  • Do not split tokens at letter-number transitions.
  • Remove the English possessive ( 's) from the end of each token.
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "filter": [ "my_custom_word_delimiter_graph_filter" ]
        }
      },
      "filter": {
        "my_custom_word_delimiter_graph_filter": {
          "type": "word_delimiter_graph",
          "type_table": [ "- => ALPHA" ],
          "split_on_case_change": false,
          "split_on_numerics": false,
          "stem_english_possessive": true
        }
      }
    }
  }
}

关于 [word_delimiter_graph 和 word_delimiter 的区别](https://zshipu.com/t?url=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2Fcu