dockers es 下载分词器 elasticsearch分词器作用

转载

mob64ca140761a4 2023-12-06 23:20:23

文章标签 dockers es 下载分词器分词器 analyzer 配置项 文章分类 Docker 云计算

分词器

分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具。之前介绍Elasticsearch字段的时候知道字符串中的text类型需要配合分词器进行查询。这一篇就简单的介绍下我们日常接触的分词器。

Elasticsearch本身就内置了一些分词器，但是它也提供了让我们自己安装分词器的功能。

内置分词器

这里主要介绍的其内置的分词器

词语分词

词语分词是日常经常使用的分词工具，他将一段话根据一定规则进行拆分获得多个查询子短语

标准分词器
字母分词器
小写标记器
空格标记器
UAX URL电子邮件分词器
经典分词器

单词分词

这种分词器主要关注单一的词，将一个词进行划分。这种拆分方式显然对于东亚很多地区的语言来说不适用。

N-Gram令牌生成器
Edge N-Gram令牌生成器

结构化文本分词

关键字标记器
正则分词器
简单分词器
字符组标记
简单模式分割标记器
路径标记器

词语分词

标准分词器（Standard Tokenizer）

根据standardUnicode文本分段算法的定义。将文本划分为多个单词边界的上的术语。分词的时候将内容转为小写，并移除大多数标点符号。可以通过配置停用词来忽略掉某些内容。

分词例子

原始内容
"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
分词后内容
[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog's, bone ]

可配置项

{
    "settings": {
        "analysis": {
            "analyzer": {
                "my_english_analyzer": {
                    "type": "standard",
                    "max_token_length": 5,
                    "stopwords": "_english_"
                }
            }
        }
    }
}

max_token_length最大令牌长度。如果看到令牌超过此长度，则将其max_token_length间隔分割。默认为255。
stopwords预定义的停用词列表，例如_english_或包含停用词列表的数组。默认为_none_。
stopwords_path包含停用词的文件的路径。

简单分词器（Letter Tokenizer）

当simple分析器遇到非字母的字符时，它会将文本划分为多个术语。它小写所有术语。对于中文和亚洲很多国家的语言来说是无用的

分词例子

原始内容
"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
分词后内容

[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

可配置项

该分词器没有可配置对象。

小写分词器（Lowercase Tokenizer）

将输入内容转换为小写，然后再使用简单分词器进行分词

分词例子

原始内容
"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

分词后内容

[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

可配置项

该分词器没有可配置对象。

电子邮件分词器（UAX URL Email Tokenizer）

此分词器主要是针对email和url地址进行关键内容的标记。

分词例子

原始内容

原始内容
"Email me at john.smith@global-international.com"

分词后内容

[ Email, me, at, john.smith@global-international.com ]

可配置项

{
    "settings": {
        "analysis": {
            "analyzer": {
                "my_english_analyzer": {
                    "type": "standard",
                    "max_token_length": 5
                }
            }
        }
    }
}

max_token_length最大令牌长度。如果看到令牌超过此长度，则将其max_token_length间隔分割。默认为255。

空白分词器（Whitespace Tokenizer）

该whitespace分析仪将文本分为方面每当遇到任何空白字符。和上面的分词器不同，空白分词器默认并不会将内容转换为小写。

分词例子

原始内容
"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
 分词后内容
 [ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]

经典分词器（Classic Tokenizer）

可对首字母缩写词，公司名称，电子邮件地址和互联网主机名进行特殊处理。但是，这些规则并不总是有效，并且此关键词生成器不适用于英语以外的大多数其他语言

它最多将标点符号拆分为单词，删除标点符号。但是，不带空格的点被认为是查询关键词的一部分
此分词器可以将邮件地址和URL地址识别为查询的term（词条）

分词例子

原始内容

原始内容

"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

分词后内容

[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]

可配置项

{
    "settings": {
        "analysis": {
            "analyzer": {
                "my_analyzer": {
                    "tokenizer": "my_tokenizer"
                }
            },
            "tokenizer": {
                "my_tokenizer": {
                    "type": "classic",
                    "max_token_length": 5
                }
            }
        }
    }
}