方法 | Elasticsearch Jest 批量操作bug 根因定位排查

原创

铭毅天下 2022-07-21 15:21:33 ©著作权

文章标签 数据批量操作字段 文章分类 后端开发

©著作权归作者所有：来自51CTO博客作者铭毅天下的原创作品，请联系作者获取转载授权，否则将追究法律责任

1、背景

使用Jest进行批量插入数据的时候，偶尔会出现如下的bug

One or more of the items in the Bulk request failed, check
BulkResult.getItems() for more information.

起初认为是偶发，就把并发数调小，就再没有关注。

2、出了事了，才找到根因。

当今天调试的时候，把批量数调到最小1的时候，ES中仍然没有导入数据。

这才意识到，不对，是不是单条数据就有问题？

后改到单条数据（不走批量），直接插入，报错如下：

单条导入报错如下：

[INFO]-[com.es.process.ESProcess] err
{“root_cause”:[{“type”:”mapper_parsing_exception”,”reason”:”Field
[_id] is a metadata field and cannot be added inside a document. Use
the index API request
parameters.”}],”type”:”mapper_parsing_exception”,”reason”:”Field [_id]
is a metadata field and cannot be added inside a document. Use the
index API request parameters.”}

比较直观，字段的问题。

逐个字段修复后，问题不在。

批量值改成较大值100后，也能较快导入。

3、走的弯路

3.1 源码附近找答案，无果。

Jest Bulk Github 源码位置：

if (isHttpSuccessful(statusCode)) {
    if(jsonMap.has("errors") && jsonMap.get("errors").getAsBoolean())
    {
        result.setSucceeded(false);
        result.setErrorMessage("One or more of the items in the Bulk request failed, check BulkResult.getItems() for more information.");
        log.debug("Bulk operation failed due to one or more failed actions within the Bulk request");
    } else {
        result.setSucceeded(true);
        log.debug("Bulk operation was successfull");
    }

源码中，有明确告诉：

批量操作失败，会打印Bulk operation failed错误。但是没有明确告诉，错在哪里？

更进一步，有告诉：

BulkResult.getItems() for more information

调试后，打印日志如下：

error = [io.searchbox.core. BulkResultBulkResultItem@48782849,io.searchbox.core.BulkResult B u l k R e s u l t I t e m @ 48782849 , i o . s e a r c h b o x . c o r e . B u l k R e s u l t BulkResultItem@6e2561df,
io.searchbox.core.BulkResult$BulkResultItem@1196e6ad,

貌似，还是没有根本错误的原因。