es分页查询 total 会超过10000 es分页查询原理

转载

智能开发先锋 2024-06-18 12:58:25

文章标签 elasticsearch jenkins 大数据分页 Elastic 文章分类 架构后端开发

Elasticsearch 中的分页查询通常使用 from 和 size 参数来实现，但是随着分页深度加深（也就是请求更靠后的页码），可能出现性能问题，这就是所谓的深分页（Deep Paging）问题。以下是如何使用分页以及应对深分页问题的方法：

基础分页查询

GET /my_index/_search
{
  "from": 100, // 从第101条记录开始
  "size": 10,  // 每页返回10条记录
  "query": { ... } // （可选）查询条件
}

深分页问题及其原因

性能问题：随着from值增大，Elasticsearch需要遍历更多分片，排序更多文档以确定哪一部分文档应当返回。这会导致性能急剧下降，尤其是在大规模索引中，因为查询可能需要跨越大量分片并对每个分片的所有文档进行排序。
内存消耗：由于Elasticsearch需要在内存中维护排序后的结果集，因此在处理深分页时可能会遇到内存不足的问题。

解决深分页问题的策略：

滚动（Scroll）查询：

适用于一次性获取大量数据，但不适合用于用户界面分页。
利用scroll API，可以保留查询上下文并在一段时间内多次请求以获取所有匹配的文档。
不适用于实时性要求高的场景，因为滚动查询中的结果基于第一次查询时的状态。

POST /_search?scroll=1m
{
  "query": { ... },
  "size": 100
}

GET /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "your_scroll_id"
}

Search After 查询：

一种更有效的深分页替代方案，特别适用于连续的、顺序的分页。
不需要维持排序状态，而是通过上次请求返回的最后一个文档的排序值作为下一次查询的起点。

GET /my_index/_search
{
  "query": { ... },
  "size": 10,
  "search_after": [12345], // 上一页最后一条记录的排序值
  "sort": [
    { "sort_field": { "order": "asc" } } // 根据sort_field进行排序
  ]
}