java es 多字段分组聚合聚合脚本

原创

mob64ca12e1881c 2024-11-24 04:40:57 ©著作权

文章标签 elasticsearch Elastic 数据 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e1881c的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java 中 Elasticsearch 多字段分组聚合与聚合脚本的实践

在现代应用中，数据的分析和聚合变得愈发重要。Elasticsearch（简称ES）是一个强大的搜索引擎，能够高效地对大量数据进行动态查询和分析。在与Java结合使用时，利用其多字段分组聚合和聚合脚本功能可以大大增强数据的洞察力。本文将介绍如何在Java中使用Elasticsearch进行多字段分组聚合，并提供相应的示例代码。

一、Elasticsearch 聚合概述

在Elasticsearch中，聚合是一种用于计算数据的函数，允许用户随着数据量的增长动态地进行统计分析。通过分组（如按照某个字段的值）和聚合（如求和、求平均值等），我们可以从复杂的数据中提取有价值的信息。

聚合示例

假设我们有一个关于旅行的数据库，包括出发地、目的地和消费金额等字段。我们希望按照出发地进行分组，并对每个出发地的消费进行求和。

二、准备工作

在使用Elasticsearch之前，确保你已经安装了Elasticsearch以及Java的Elasticsearch客户端库。可以通过Maven引入依赖：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.10.1</version>
</dependency>

三、编写代码

以下示例代码展示了如何在Java中利用Elasticsearch进行多字段分组聚合及聚合脚本的应用。

1. 创建连接

首先，创建与Elasticsearch的连接。

import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;

public class ESClient {
    public static RestHighLevelClient getClient() {
        return new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
    }
}

2. 多字段聚合

接下来，我们使用Java代码进行多字段聚合查询。

import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket;

public class AggregationExample {
    public static void main(String[] args) {
        try (RestHighLevelClient client = ESClient.getClient()) {
            SearchRequest searchRequest = new SearchRequest("travel_index");

            // 按出发地进行分组聚合
            searchRequest.aggs(AggregationBuilders
                .terms("group_by_departure").field("departure.keyword")
                .subAggregation(AggregationBuilders.sum("total_expense").field("expense")));

            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            Terms byDeparture = searchResponse.getAggregations().get("group_by_departure");

            for (Bucket bucket : byDeparture.getBuckets()) {
                System.out.println("Departure: " + bucket.getKeyAsString());
                System.out.println("Total Expense: " + bucket.getAggregations().get("total_expense").getValue());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3. 聚合脚本计算

如果需要更加复杂的计算，比如对消费金额进行加权，聚合脚本的使用将会非常有用。

import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket;

searchRequest.aggs(AggregationBuilders
    .terms("group_by_departure").field("departure.keyword")
    .subAggregation(AggregationBuilders
        .scriptedMetric("weighted_expense")
        .initScript("state.total = 0;")
        .mapScript("state.total += doc['expense'].value * doc['weight'].value;")
        .combineScript("return state.total;")
        .reduceScript("double total = 0; for (s in states) { total += s; } return total;")));

在这里，我们通过脚本来自定义了消费金额的加权聚合。

四、理论与实践结合的旅行图

使用Mermaid语法，以下是简单的旅行流程图，展示了数据聚合的核心步骤。

journey
    title Elasticsearch 数据聚合过程
    section 准备数据
      数据添加至Elasticsearch: 5: 浄
      确保索引存在: 4: 失败
    section 聚合查询
      创建查询请求: 4: 游玩中
      执行搜索查询: 5: 进行中
    section 结果处理
      解析聚合结果: 5: 游玩中
      输出 Total Expense: 4: 失败