[转帖]rclone将本地文件或文件夹导入minio中

1、背景：公司数据迁移涉及到文件迁移，原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中；由于历史文件数据量大，甲方要求可以通过服务器文件拷贝方式迁移文件，性能、安全性更高；

2、前期准备：

1）minio文件服务器已经安装完成；

2）创建需要的桶，新文件放到files桶中，迁移文件放到oldfiles桶中；

3、实施过程：

1）历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件；

2）配置rclone;

        2.1）下载rclone

        2.2）配置rclone的配置文件，rclone默认会读取（没有的话自己创建）；

[minio]

 



type = s3


 


env_auth = false


 



access_key_id = admin 				#用户名

 


secret_access_key = 12345678		#密码

 


region =


 


endpoint = http://127.0.0.1:9000	#服务端地址

        2.3）常用命令

rclone lsd minio:						#列出minio下所有的bucket信息


 


rclone mkdir minio:bucket				#在minio中创建一个名称是bucket的桶


 


rclone sync /home/files minio:bucket	#把/home/files文件夹下所有的文件包										                


 


                                         括子文件都传到bucket下

3）使用2.3的命令，将fileData下的文件复制到桶oldfiles中：

执行：rclone sync /home/fileData/ minio:oldfiles

结果：dan.jpg是被文件服务器识别的文件，而111.jpg是通过物理上传的；

 4）文件迁移完成，数据表通过字段对比，进行数据清洗；

 5) 通过接口访问上传的文件可以被识别；