es查询网页 es http查询

转载

互联网小墨风 2024-03-27 09:39:30

文章标签 es查询网页 java 开发语言后端字段 文章分类 架构后端开发

高级查询

Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询

定义数据 :

# POST /student/_doc/1001
{
    "name":"zhangsan",
    "nickname":"zhangsan",
    "sex":"男",
    "age":30
}

# POST /student/_doc/1002
{
    "name":"lisi",
    "nickname":"lisi",
    "sex":"男",
    "age":20
}

# POST /student/_doc/1003
{
    "name":"wangwu",
    "nickname":"wangwu",
    "sex":"女",
    "age":40
}

# POST /student/_doc/1004
{
    "name":"zhangsan1",
    "nickname":"zhangsan1",
    "sex":"女",
    "age":50
}

# POST /student/_doc/1005
{
    "name":"zhangsan2",
    "nickname":"zhangsan2",
    "sex":"女",
    "age":30
}

查询所有文档

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

请求体如下：

{
    "query": {
    	"match_all": {}
	}
}

# "query":这里的 query 代表一个查询对象,里面可以有不同的查询属性

# "match_all":查询类型,例如:match_all(代表查询所有), match, term, range 等等

# {查询条件}:查询条件会根据类型的不同,写法也有差异

查询结果为刚刚导入的5条数据。

查询说明

{
    "took【查询花费时间,单位毫秒】" : 1116,
    "timed_out【是否超时】" : false,
    "_shards【分片信息】" : {
        "total【总数】" : 1,
        "successful【成功】" : 1,
        "skipped【忽略】" : 0,
        "failed【失败】" : 0
    },
    "hits【搜索命中结果】" : {
        "total"【搜索条件匹配的文档总数】: {
        	"value"【总命中计数的值】: 3,
        	"relation"【计数规则】: "eq" # eq 表示计数准确, gte 表示计数不准确
        },
        "max_score【匹配度分值】" : 1.0,
        "hits【命中结果集合】" : [{
        	。。。
        }]
    }
}

匹配查询

match 匹配类型查询,会把查询条件进行分词,然后进行查询,多个词条之间是 or 的关系

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "query": {
    	"match": {
            "name": "zhangsan"
        }
	}
}

返回体为一条name为zhangsan的数据。

全文索引匹配：

如果数据name有曹操、曹丕、刘备、刘禅为中文，那么它在被保存的时候会进行分词；

{
    "query": {
    	"match": {
            "name": "xxx"
        }
	}
}

match-name为曹的话，会查到曹操和曹丕；

match-name为曹操的话，会查到曹操和曹丕，但是他们的score不同。

完全匹配：

{
    "query": {
    	"match_phrase": {
            "name": "xxx"
        }
	}
}

match-name为曹操的话，只会查到曹操和曹丕，但是他们的score不同。

字段匹配查询

multi_match 与 match 类似,不同的是它可以在多个字段中查询。

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "query": {
    	"multi_match": {
            "query": "zhangsan",
            "fields": ["name", "nickname"]
        }
	}
}

返回体为一条name为zhangsan的数据。

关键字精确查询

term 查询,精确的关键词匹配查询,不对查询条件进行分词

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "query": {
        "term": {
            "name": {
            	"value": "zhangsan"
            }
        }
    }
}

返回体为一条name为zhangsan的数据。

多关键字精确查询

terms 查询和 term 查询一样,但它允许你指定多值进行匹配。如果这个字段包含了指定值中的任何一个值,那么这个文档满足条件,类似于 mysql 的 in

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "query": {
        "terms": {
        	"name": ["zhangsan","lisi"]
        }
    }
}

返回体为name为zhangsan的和name为lisi的数据。

指定查询字段

默认情况下,Elasticsearch 在搜索的结果中,会把文档中保存在_source 的所有字段都返回。如果我们只想获取其中的部分字段,我们可以添加_source 的过滤

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "_source": ["name","nickname"],
    "query": {
        "terms": {
        	"nickname": ["zhangsan"]
        }
    }
}

返回体为name为zhangsan的数据，且只有name和nickname。

过滤字段

我们也可以通过:

includes:来指定想要显示的字段

excludes:来指定不想要显示的字段

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
    "_source": {
    	"includes": ["name","nickname"]
    },
    "query": {
    	"terms": {
        	"nickname": ["zhangsan"]
        }
    }
}

返回体为nickname为zhangsan的数据，且只有name和nickname。

{
    "_source": {
    	"excludes": ["name","nickname"]
    },
    "query": {
    	"terms": {
        	"nickname": ["zhangsan"]
        }
    }
}

返回体为nickname为zhangsan的数据，但不含有name和nickname。

组合查询（多条件查询）

bool把各种其它查询通过must(必须 )、must_not(必须不)、should(应该)的方式进行组合

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "bool": {
      "must": [{
        "match": {
          "name": "zhangsan"
        }
      }],
      "must_not": [{
        "match": {
          "age": "40"
        }
      }],
      "should": [{
        "match": {
          "sex": "男"
        }
      }]
    }
  }
}

以上的查询结果返回 name 字段包含词项 zhangsan 但不包含age为 40 的任意文档。

区别就在于 should 语句，也就是说：一个文档不必包含 sex 为sex 这个词项，但如果一旦包含，我们就认为它们 更相相关

所有 must 语句必须匹配，所有 must_not 语句都必须不匹配，语句之间是and的关系

但有多少 should 语句应该匹配呢？

默认情况下，没有 should 语句是必须匹配的，只有一个例外：那就是当没有 must 语句的时候，至少有一个 should 语句必须匹配（比如没有must的时候，should中的语句就是or的关系，匹配到其中一个就行）。

评分计算

bool 查询会为每个文档计算相关度评分 _score ，再将所有匹配的 must 和 should 语句的分数 _score 求和，最后除以 must 和 should 语句的总数。

must_not 语句不会影响评分；它的作用只是将不相关的文档排除。

bool中也可以放过滤语句，例如下面根据age的范围进行过滤

{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "age": {
            "gt": 10
          }
        }
      }
    }
  }
}

范围查询

range 查询找出那些落在指定区间内的数字或者时间。range 查询允许以下字符

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TQueCz2y-1638408663631)(/home/lxj/.config/Typora/typora-user-images/1638340550673.png)]

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "range": {
      "age": {
        "gte": 30,
        "lte": 35
      }
    }
  }
}

返回数据为年龄大于等于30小于等于35的数据

模糊查询

返回包含与搜索字词相似的字词的文档。

编辑距离是将一个术语转换为另一个术语所需的一个字符更改的次数。这些更改可以包括

更改字符(box → fox)

删除字符(black → lack)

插入字符(sic → sick)

转置两个相邻字符(act → cat)

为了找到相似的术语,fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。然后查询返回每个扩展的完全匹配。

通过 fuzziness 修改编辑距离。一般使用默认值 AUTO,根据术语的长度生成编辑距离。

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "fuzzy": {
      "name": {
        "value": "zhangsan"
      }
    }
  }
}

返回体为name为zhangsan、zhangsan1、zhangsan2的数据

{
  "query": {
    "fuzzy": {
      "name": {
        "value": "zhangsan",
        "fuzziness": 2
      }
    }
  }
}

返回体为name为zhangsan、zhangsan1、zhangsan2的数据；

如果将fuzziness变为0，说明是进行匹配，此时只返回zhansan。

单字段排序

sort 可以让我们按照不同的字段进行排序,并且通过 order 指定排序的方式。desc 降序,asc升序。

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "match_all": {}
  },
  "sort": [{
    "age": {
      "order":"desc"
    }
  }]
}

返回体为所有数据，根据age降序排序。

多字段排序

假定我们想要结合使用 age 和 _score 进行查询,并且匹配的结果首先按照年龄排序,然后按照相关性得分排序

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "match_all": {}
  },
  "sort": [{
    "age": {
      "order": "desc"
    }
  }, {
    "_score": {
      "order": "desc"
    }
  }]
}

返回体为所有数据，根据age降序和_score降序排序。

高亮查询

在进行关键字搜索时,搜索出的内容中的关键字会显示不同的颜色,称之为高亮。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SoT3m1S9-1638408663632)(/home/lxj/.config/Typora/typora-user-images/1638341239732.png)]

Elasticsearch 可以对查询内容中的关键字部分,进行标签和样式(高亮)的设置。

在使用 match 查询的同时,加上一个 highlight 属性:

pre_tags: 前置标签
post_tags: 后置标签
fields: 需要高亮的字段
title: 这里声明 title 字段需要高亮,后面可以为这个字段设置特有配置,也可以空

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "match": {
      "name": "zhangsan"
    }
  },
  "highlight": {
    "pre_tags": "<font color='red'>",
    "post_tags": "</font>",
    "fields": {
      "name": {}
    }
  }
}

返回体

{
  "took": 4914,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1.3862942,
    "hits": [
      {
        "_index": "student",
        "_type": "_doc",
        "_id": "1001",
        "_score": 1.3862942,
        "_source": {
          "name": "zhangsan",
          "nickname": "zhangsan",
          "sex": "男",
          "age": 30
        },
        "highlight": {
          "name": [
            "<font color='red'>zhangsan</font>"
          ]
        }
      }
    ]
  }
}

分页查询

from:当前页的起始索引,默认从 0 开始。 from = (pageNum - 1) * size

size:每页显示多少条

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

{
  "query": {
    "match_all": {}
  },
  "sort": [{
    "age": {
      "order": "desc"
    }
  }],
  "from": 0,
  "size": 2
}

返回根据age降序排序之后的前两条数据

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 5,
      "relation": "eq"
    },
    "max_score": null,
    "hits": [
      {
        "_index": "student",
        "_type": "_doc",
        "_id": "1004",
        "_score": null,
        "_source": {
          "name": "zhangsan1",
          "nickname": "zhangsan1",
          "sex": "女",
          "age": 50
        },
        "sort": [
          50
        ]
      },
      {
        "_index": "student",
        "_type": "_doc",
        "_id": "1003",
        "_score": null,
        "_source": {
          "name": "wangwu",
          "nickname": "wangwu",
          "sex": "女",
          "age": 40
        },
        "sort": [
          40
        ]
      }
    ]
  }
}

聚合查询

聚合允许使用者对 es 文档进行统计分析,类似与关系型数据库中的 group by,当然还有很多其他的聚合,例如取最大值、平均值等等。

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

对某个字段取最大值 max

{
  "aggs":{
    "max_age":{
      "max":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  "took": 4087,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 5,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "aggregations": {
    "max_age": {
      "value": 50.0
    }
  }
}

对某个字段取最小值 min

{
  "aggs":{
    "min_age":{
      "min":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  ...
  "aggregations": {
    "min_age": {
      "value": 20.0
    }
  }
}

对某个字段求和 sum

{
  "aggs":{
    "sum_age":{
      "sum":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  ...
  "aggregations": {
    "sum_age": {
      "value": 170.0
    }
  }
}

对某个字段取平均值 avg

{
  "aggs":{
    "avg_age":{
      "avg":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  ...
  "aggregations": {
    "avg_age": {
      "value": 34.0
    }
  }
}

对某个字段的值进行去重之后再取总数

{
  "aggs":{
    "distinct_age":{
      "cardinality":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  ...
  "aggregations": {
    "distinct_age": {
      "value": 4
    }
  }
}

State 聚合

stats 聚合,对某个字段一次性返回 count,max,min,avg 和 sum 五个指标

{
  "aggs":{
    "states_age":{
      "stats":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{
  ...
  "aggregations": {
    "states_age": {
      "count": 5,
      "min": 20.0,
      "max": 50.0,
      "avg": 34.0,
      "sum": 170.0
    }
  }
}

桶聚合查询

桶聚和相当于 sql 中的 group by 语句

向 ES 服务器发 GET 请求 :http://10.10.10.113:9200/student/_search

terms 聚合,分组统计

{
  "aggs":{
    "age_groupby":{
      "terms":{ "field":"age" }
    }
  },
  "size":0
}

返回体

{  
  ...
  "aggregations": {
    "age_groupby": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": 30,
          "doc_count": 2
        },
        {
          "key": 20,
          "doc_count": 1
        },
        {
          "key": 40,
          "doc_count": 1
        },
        {
          "key": 50,
          "doc_count": 1
        }
      ]
    }
  }
}

在 terms 分组下再进行聚合

{
  "aggs":{
    "age_groupby":{
      "terms":{ "field":"age" },
      "aggs": {
        "sum_age": {
          "sum": {"field": "age"}
        }
      }
    }
  },
  "size":0
}

返回体

{  
  ...
  "aggregations": {
    "age_groupby": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": 30,
          "doc_count": 2,
          "sum_age": {
            "value": 60.0
          }
        },
        {
          "key": 20,
          "doc_count": 1,
          "sum_age": {
            "value": 20.0
          }
        },
        {
          "key": 40,
          "doc_count": 1,
          "sum_age": {
            "value": 40.0
          }
        },
        {
          "key": 50,
          "doc_count": 1,
          "sum_age": {
            "value": 50.0
          }
        }
      ]
    }
  }
}

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。