java 操作es 实现批量数据入库

原创

mob649e815d65e6 2023-12-22 05:01:47 ©著作权

文章标签 数据 elasticsearch java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815d65e6的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java操作ES实现批量数据入库

引言

在实际开发中，我们经常需要将大量数据存储到Elasticsearch（ES）中，以进行全文搜索、日志分析等操作。本文将介绍如何使用Java操作ES实现批量数据入库的步骤和代码示例。

流程图

flowchart TD
    A[连接ES] --> B[创建Index]
    B --> C[准备数据]
    C --> D[批量入库]
    D --> E[关闭连接]

步骤解析

连接ES：首先，我们需要使用Java API连接到ES，以便进行后续操作。可以使用TransportClient或者RestHighLevelClient进行连接，这里我们使用RestHighLevelClient。代码如下：

// 引入相关包
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;

// 创建RestHighLevelClient
RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http")));

创建Index：在将数据存储到ES之前，需要先创建一个Index（索引），用于存储数据。可以使用CreateIndexRequest请求来创建Index。代码如下：

// 引入相关包
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;

// 创建Index请求
CreateIndexRequest request = new CreateIndexRequest("your_index_name");

// 发送请求
CreateIndexResponse response = client.indices().create(request);

准备数据：在入库之前，需要准备好需要存储的数据。这里我们使用List<IndexRequest>来存储多条数据，IndexRequest代表一条数据。代码如下：

// 引入相关包
import org.elasticsearch.action.index.IndexRequest;

// 创建数据列表
List<IndexRequest> requests = new ArrayList<>();

// 添加数据
requests.add(new IndexRequest("your_index_name").id("1").source("field1", "value1"));
requests.add(new IndexRequest("your_index_name").id("2").source("field1", "value2"));

批量入库：使用BulkRequest批量处理数据入库操作，将准备好的数据列表传入BulkRequest中。代码如下：

// 引入相关包
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;

// 创建BulkRequest
BulkRequest bulkRequest = new BulkRequest();

// 添加数据列表
for (IndexRequest request : requests) {
    bulkRequest.add(request);
}

// 批量入库
BulkResponse bulkResponse = client.bulk(bulkRequest);