IPFS私有网络和Cluster集群搭建

转载

mb5ff5930cde1cd 2021-10-28 17:48:00

文章标签 IPFS 配置文件二进制文件 bootstrap 2d 文章分类 代码人生

本篇使用虚拟机搭建IPFS私有网络和集群，使用vagrant和virtualbox来快速搭建环境。

私有网络

下载二进制文件

如果使用go-ipfs源码编译，需要安装go环境，推荐下载二进制文件：

使用1下载go-ipfs等其他组件

搭建虚拟机环境

安装vagrant和virtualbox

# mac
brew install vagrant
brew intall virtualbox

# ubuntu
sudo apt update
sudo apt install virtualbox

curl -fsSL https://apt.releases.hashicorp.com/gpg | sudo apt-key add -
sudo apt-add-repository "deb [arch=amd64] https://apt.releases.hashicorp.com $(lsb_release -cs) main"
sudo apt-get update && sudo apt-get install vagrant

创建虚拟机

使用ubuntu/focal64(vagrant boxes list)，创建Vagrantfile如下：

mkdir ~/vagrant-project
cd /vagrant-project
vagrant init ubuntu/focal64  # 创建Vagrantfile

初始化的Vagrantfile配置很简单，使用4个虚拟机环境，简单修改如下：

Vagrantfile

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|

	(1..4).each do |i|
		config.vm.define "node#{i}" do |node|
          
			node.vm.box = "ubuntu/focal64"
			node.vm.hostname = "node#{i}"
			node.vm.network "private_network", ip: "192.168.33.10#{i}"

			node.vm.provider "virtualbox" do |v|
				v.name = "node#{i}"
				v.memory = 2048
				v.cpus = 1
			end
		end
	end
end

安装IPFS和配置

将下载的二进制文件移动到项目目录下~/vagrant-project，默认该目录会挂载到虚拟机/vagrant。

启动虚拟机：

vagrant up

以下是对节点node1进行配置，其余节点类似配置

安装IPFS二进制文件：

vagrant ssh node1   # 进入node1
cd /vagrant         # 进入挂载目录
tar -C /usr/local -zxvf go-ipfs_v0.10.0_linux-amd64.tar.gz # 解压
cd /usr/local/go-ipfs
sudo ./install.sh  # 复制到/usr/local/bin

ipfs节点初始化：

ipfs init

生成私有网络的共享密钥

生成共享密钥文件swarm.key，对等节点只有在其内容相同时才会互相建立连接，需要安装go环境安装步骤

下载生成工具

go get -u github.com/Kubuxu/go-ipfs-swarm-key-gen/ipfs-swarm-key-gen

生成文件swarm.key，复制到~/.ipfs仓库目录

ipfs-swarm-key-gen > ~/.ipfs/swarm.key

复制该文件到其余节点上的~/.ipfs目录

复制该文件到节点共享的文件中
或者cat ~/.ipfs/swarm.key复制文件内容，在其他节点重新创建

删除节点的默认引导节点

 ipfs bootstrap rm all

(添加默认的引导节点： ipfs bootstrap add default)

启动多个节点

注意，上面的操作在所有的节点中都要进行；启动多个节点，节点按照上述配置好后，需要连接到本地的引导节点，例如将节点node1设置为引导节点，启动其他节点（例如node2）连接即可：

首先需要启动ipfs daemon节点node1

查看node1的地址

ipfs id
# /ip4/192.168.33.101/tcp/4001/p2p/12D3KooWPqPuHFePb6WKsiu1eqkHipYQLNV8t6ZX3SZGhiAonqJG

添加node1

ipfs bootstrap add /ip4/192.168.33.101/tcp/4001/p2p/12D3KooWPqPuHFePb6WKsiu1eqkHipYQLNV8t6ZX3SZGhiAonqJG

启动其他节点

ipfs daemon

查看对等节点

ipfs swarm peers

说明：

可以使用配置文件中 "Peering": { "Peers": null }中添加需要保护的连接，启动时也会自动连接

问题：节点启动后announce地址可能没有指定的地址，可以在配置文件中announce中添加发布的地址（也可以直接连接）

至此，多个节点组成的私有网络搭建完毕，外部的节点不能连接，也不能访问该网络中的文件；对于管理多个IPFS节点和保证数据的安全和可靠性，可以搭建IPFS Cluster集群

IPFS Cluster搭建

IPFS-Cluster节点和IPFS是一一对应的关系，先搭建上述的IPFS多节点网络，继续搭建IPFS-Cluster。官方文档

简单介绍两者的关系：

ipfs-cluster-service启动一个cluster peer节点，它依赖于一个ipfs daemon节点；cluster节点会加入一个独立于IPFS网络的另一个swarm网络

cluster peer会参与集群的共识，遵循一个关于固定pin和解除固定unpin请求的分布式日志，并且对配置的IPFS daemon管理相关的pin操作

cluster peer提供用于集群管理的API，和一个IPFS Proxy API将请求转发给IPFS daemon，以及内部通信的组件

             +------------------+
             | ipfs-cluster-ctl |
             +---------+--------+
                       |
                       | HTTP(s)
ipfs-cluster-service   |                           HTTP
+----------+--------+--v--+----------------------+      +-------------+
| RPC      | Peer 1 | API | IPFS Connector/Proxy +------> IPFS daemon |
+----^-----+--------+-----+----------------------+      +-------------+
     | libp2p
     |
+----v-----+--------+-----+----------------------+      +-------------+
| RPC      | Peer 2 | API | IPFS Connector/Proxy +------> IPFS daemon |
+----^-----+--------+-----+----------------------+      +-------------+
     |
     |
+----v-----+--------+-----+----------------------+      +-------------+
| RPC      | Peer 3 | API | IPFS Connector/Proxy +------> IPFS daemon |
+----------+--------+-----+----------------------+      +-------------+

默认情况下，集群使用：

9096/tcp 作为集群 swarm 端点，它应该是开放的并且可以被其他集群对等点拨叫。
9094/tcp 作为 HTTP API 端点
9095/tcp 作为代理 API 端点

下载

按照上述地址下载相关组件

ipfs-cluster-service(每个节点安装) —用于启动一个cluster对等节点
ipfs-cluster-ctl(一个节点安装即可) —用于和ipfs-cluster-service进行交互
ipfs-cluster-follower(可选，运行一个follower peer没有写权限，用于加入协作集群)

下载后，直接解压其，将对应的二进制文件移动到/usr/local/bin下即可

配置

所有的cluster peer需要使用相同的secret以及共识组件，先在node1节点进行初始化（默认使用CRDT）:

需要先启动本节点的IPFS daemon

ipfs-cluster-service init

会在~/ipfs-cluster/下生成3个文件：

identity: cluster peer的id和私钥
peerstore: 存储已知的对等节点地址
service.json：配置文件

可以查看service.json当前节点的secret密钥；其他节点设置成与节点node1相同：

ipfs-cluster-service init --secrect <node1-secret>

设置密钥也可以使用相同的环境变量CLUSTER-SECRETs

另外，可以使用远程的配置文件，也可是使用存储在IPFS中的配置文件ipfs-cluster-service init http://localhost:8080/ipns/config.mydomain.com

先启动节点node1对应的cluster peer:

ipfs-cluster-service daemon

启动其他节点

其他节点设置完相同的secret后，直接添加节点node1启动对应的cluster peer

查看节点node1的id:

ipfs-cluster-ctl id
#  /ip4/192.168.33.101/tcp/9096/p2p/12D3KooWAPR46HGRohMM1xLcrL2FUgLkWm1qtv6W4YHdLYue6hMW

如果没有显示私有地址，可以直接使用该地址

启动其余节点时使用–bootstrap选项：

ipfs-cluster-service daemon --bootstrap /ip4/192.168.33.101/tcp/9096/p2p/12D3KooWAPR46HGRohMM1xLcrL2FUgLkWm1qtv6W4YHdLYue6hMW

多个节点的IPFS Cluster搭建完成

其他配置

对于生产环境，配置文件提供了很多配置，详细查阅文档

IPFS-Cluster配置参考文档

Cluster集群的交互

对等节点

ipfs-cluster-ctl peers list

添加文件

集群默认的Pinset计划分配策略是每个节点固定一次，对应的配置文件中service.json:

"cluster":{
    ...
    "replication_factor_min": -1,
    "replication_factor_max": -1,
    ...
}

在节点node1添加一个haha.gif文件：【可以显示指定复制因子】

ipfs-cluster-ctl add haha.gif
# added QmRZ1eBKEvgFx38o1gGB8K2KKsno1dzzunG9cCYuhZLzwp haha.gif

可以添加的选项：

指定最小和最大复制因子--replication-min 2 --replication-max 3，尽量达到max数量副本
指定复制因子--replication 2
设置与引脚关联的名称，例如--name website

说明：使用ipfs-cluster-ctl add <file>添加的文件才会使用集群的管理，遵循分配策略；直接使用ipfs add <file>只是添加到该节点本地存储

将已经添加到IPFS节点中的CID（或者可以访问的CID）固定到Cluster:

ipfs-cluster-ctl pin add <CID>

ipfs-cluster-ctl add相当于先将文件添加到 ipfs网络然后将其pin固定到cluster

详细的添加过程和操作可以查阅官方文档

文件状态

注意的地方：

ipfs-cluster-ctl pin ls显示来自集群共享状态或全局 pinset 的信息，这些信息在每个对等点中都完全可用。它显示了Pin的分配节点以及Pin的相关配置
ipfs-cluster-ctl status请求有关每个集群对等体上每个 pin 状态信息，包括该 CID 是否在 IPFS 上被 PINNED，或者仍然是 PINNING，或者由于某种原因出错(实际存储)，支持这些情况的过滤结果

查看cluster跟踪的CID和pin的分配策略：【cluter集群节点共享的只有CID】

ipfs-cluster-ctl pin ls # all pins
ipfs-cluster-ctl pin ls QmRZ1eBKEvgFx38o1gGB8K2KKsno1dzzunG9cCYuhZLzwp

查看pins/CID实际的固定状态：status命令

ipfs-cluster-ctl status # 所有跟踪的all cids的状态
ipfs-cluster-ctl status QmRZ1eBKEvgFx38o1gGB8K2KKsno1dzzunG9cCYuhZLzwp

删除pin（ipfs会自动解除固定）

ipfs-cluster-ctl pin rm <CID>

访问文件

所有的IPFS节点组成私有网络，可以直接使用IPFS节点访问文件：

ipfs get -o haha.gif QmRZ1eBKEvgFx38o1gGB8K2KKsno1dzzunG9cCYuhZLzwp

API

ipfs cluster的restful API

说明和总结

IPFS节点在本篇使用的是私有网络，但是也可以是公共节点；IPFS Cluster节点组成私有网络即可；两个网络是独立的。如果是公共网络，公共网关可以访问集群中的内容
集群Cluster固定pin可以看作两个过程，一个是cluster节点维护跟踪的所有的pin集合—共识组件，另一个是对应的IPFS节点固定pin所对应的文件内容

链接Links

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：UEditor实现WORD粘贴图片自动上传

下一篇：util工具函数

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯