doris bdb文件夹磁盘占用逐渐增大，不能主动删除的解决思路

原创

a772304419 2025-01-06 22:06:14 ©著作权

文章标签 doris 大数据运维推送新版本 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者a772304419的原创作品，请联系作者获取转载授权，否则将追究法律责任

现象

Doris Version: 1.1.0-rc05-Unknown
Doris版本：1.1.0-rc 05-未知
架构： 1个master，3个数据节点，master和数据节点上混部署

FE节点下的image文件夹中的image能够成功生成，bdb文件夹里面的jdb文件不能自动删除，逐渐膨胀；

doris bdb文件夹磁盘占用逐渐增大，不能主动删除的解决思路_新版本

解决思路

配置日志参数

It may be because the Master FE is not pushing the image successfully. You can search for push image.xxxx to other nodes in the master FE's fe.log. totally xx nodes, push successed yy nodes. if yy is smaller than xx, then some FEs were not pushed successfully. You can see the specific error Exception when pushing image file. url = xxx in fe.log.

这可能是因为主FE未成功推送image 。您可以在主FE的fe.log中搜索push image.xxxx到其他节点。共xx个节点，推送成功yy个节点。如果yy小于xx，则某些FE未被成功推送。推送 image 文件时可以看到具体的错误Exception。url = xxx in fe.log.

Also, you can add a configuration to the FE configuration file: edit_log_roll_num=xxxx. This parameter sets the number of metadata journals to do an image for every journal. the default is 50000. you can change this number to a smaller number to make the images more frequent and thus speed up the deletion of old journals.

此外，您还可以向FE配置文件中添加配置：edit_log_roll_num=xxxx。此参数设置为每个日志创建映像的元数据日志数。默认值为50000。您可以将此数字更改为较小的数字，以使 image 更频繁，从而加快旧日志的删除。