juicefs 多s3 bucket 使用

juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用

环境准备

minio s3

version: "3"

services:

s3:

image: minio/minio

environment:

- "MINIO_ACCESS_KEY=minio"

- "MINIO_SECRET_KEY=minio123"

command: server /data --console-address ":9001"

ports:

- "9000:9000"

- "9001:9001"

使用

• • 
    
• format
  • 
    

juicefs format \

--storage minio \

--bucket http://localhost:9000/appdemo%d  \

--access-key minio \

--shards 6 \

--secret-key minio123 \

sqlite3://myjfs.db \

miniofs

• • 
    
• mount
  • 
    

juicefs format sqlite3://myjfs.db miniofs

s3 效果

上传之后的效果

s3 gateway 使用

• • 
    
• 命令
  • 
    

export MINIO_ROOT_USER=admin

export MINIO_ROOT_PASSWORD=12345678

juicefs gateway  sqlite3://myjfs.db localhost:9005

一些问题

• • 
    
• : Fail to list: NotImplemented: A header you provided implies functionality that is not implemented
  目前是在mac 系统启动的时候没有添加sudo，但是通过查看官方的s3test 似乎有这个问题，还需要确认下
  • 
    

说明

对于多s3 bucket 的处理使用了hash 算法，但是后期我们肯定是不能在变动的，不然数据肯定会有问题的，处理起来很费事

参考资料

https://juicefs.com/docs/zh/community/command_reference#juicefs-format