openstack 磁盘扩容 openstack内存要求

文章目录

• OpenStack 环境配置

• 环境准备
• 配置思路
• 安装，配置MariaDB
• 安装RabbitMQ（消息队列）
• 安装memcached
• 安装etcd

OpenStack 环境配置

多个用户同时提交创建虚拟机，只有一个节点压力大
有多个节点，控制节点接收请求，并将请求发送给计算节点，进行调度，如存在多个计算节点，用户可以并行操作。

环境准备

虚拟机资源信息

1、控制节点ct（controller)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：30G+300G（CEPH块存储）
双网卡：VM1-（局域网）192.168.100.10  NAT-20.0.0.10
操作系统：Centos 7.6（1810）-最小化安装
PS：最小内存8G 

2、计算节点c1(compute01)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：30G+300G（CEPH块存储）
双网卡：VM1（局域网）-192.168.100.11  NAT-20.0.0.11
操作系统：Centos 7.6（1810）-最小化安装
PS：最小内存8G  

3、计算节点c2(compute02)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：30G+300G（CEPH块存储）
双网卡：VM1（局域网）-192.168.100.12  NAT-20.0.0.12
操作系统：Centos 7.6（1810）-最小化安装
PS：最小内存8G

配置思路

1，配置操作系统+OpenStack运行环境
2，配置OpenStack平台基础服务（rabbitmq，mariadb，memcache，Apache）

rabbitmq：各个组件之间传递信息，消息队列
mariadb：数据库
memcache：身份验证存储令牌，数据库

RabbitMQ解析：

各个组件之间的交互是通过“消息队列”来实现的，就是使用RabbitMQ

其中，有这样几个角色：producer, consumer, exchange, queue
producer是消息发送者，consumer是消息接受者，中间要通过exchange和queue。producer将消息发送给exchange，exchange决定消息的路由，即决定要将消息发送给哪个queue，然后consumer从queue中取出消息，进行处理

消息发出，资源正被占用，这时，需要等待到资源占用释放，才可以进行任务
如一直等待，直到资源被释放，才执行任务，叫同步调用
如将任务排列在这等待，自己继续进行其他任务，叫异步调用

安装CentOS7.6
先开启VMnet1，后添加NAT网卡，开启虚拟化

在安装过程中设置

选择Install CentOS 7

按tab键，输入命令net.ifnames=0 biosdevname=0

创建时修改网卡为eth0

最小化安装

设置安装目标位置

查看网卡设置

安装完成设置网卡

设置eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes

设置eth1

vi /etc/sysconfig/network-scripts/ifcfg-eth1
BOOTPROTO=static
IPADDR=20.0.0.10
NETMASK=255.255.255.0
GATEWAY=20.0.0.2
DNS1=20.0.0.2
DNS2=8.8.8.8
ONBOOT=yes
systemctl restart network		//重启网卡

其它两台节点设置同上

重命名

[root@localhost ~]# hostnamectl set-hostname ct
[root@localhost ~]# su
[root@localhost ~]# hostnamectl set-hostname c1
[root@localhost ~]# su
[root@localhost ~]# hostnamectl set-hostname c2
[root@localhost ~]# su

关闭防火墙
面向所有设备

[root@ct ~]# systemctl stop firewalld
[root@ct ~]# setenforce 0    核心防护关闭
[root@ct ~]# systemctl disable firewalld
[root@ct ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@controller ~]# grep -v "#" /etc/selinux/config

免交互
设置映射(内部网址)

[root@ct ~]# vi /etc/hosts

添加
192.168.100.10 ct
192.168.100.11 c1
192.168.100.12 c2

[root@ct ~]# ssh-keygen -t rsa 生成密钥

[root@ct ~]# ssh-copy-id controller 公钥传递

[root@ct ~]# ssh-copy-id compute01

[root@ct ~]# ssh-copy-id compute02

进行身份验证

[root@ct ~]# ssh root@compute01
[root@c1 ~]# exit
[root@ct ~]# ssh root@compute02
[root@c2 ~]# exit

安装基础环境依赖包
面向所有节点

[root@ct ~]# yum -y install net-tools bash-completion vim gcc gcc-c++ make pcre  pcre-devel expat-devel cmake  bzip2 


net-tools   可以使用ifconfig命令
bash-completion 自动补全
pcre  正则 devel库
expat-devel:Apache依赖包，C语言开发，解析XML文档的开发库

[root@ct ~]# yum -y install centos-release-openstack-train python-openstackclient openstack-selinux openstack-utils

centos-release-openstack-train 保证安装更新openstack版本为最新版本t版

python-openstackclient  openstack的python客户端
因为openstack中的API大多数是python编写的，并且连接数据库，也需要python

openstack-selinux openstack核心安全防护

openstack-utils    openstack其它util工具

以上安装操作多进行几次，避免对后期的rabbitmq部署配置引发问题

设置时间同步
安装同步软件

[root@ct ~]# yum -y install chrony

在控制节点上设置为同步源

[root@ct ~]# vi /etc/chrony.conf 

默认指向centos时间同步服务器

添加修改
server ntp.aliyun.com iburst  设置为时间同步源
allow 192.168.100.0/24         为192.168.100网段提供时间同步

[root@ct ~]# systemctl restart chronyd  重启服务
[root@ct ~]# systemctl enable chronyd    自启动
[root@ct ~]# chronyc sources              更新

iburst可以直接同步一个大的时间跨度
例如：
刚创建一个虚拟机
时间设置为 2020年8月可以使用iburst直接立刻同步到现在时间2021年1月

不使用iburst
会以缓慢方式向标准时间进行靠拢

在生产环境里面，要看需求情况使用这个参数
(闰年，多一天，少一天，直接同步会产生影响）

在计算节点1.2上

[root@c1 ~]# vi /etc/chrony.conf 
添加
server controller iburst 设置时间同步源为控制节点
[root@c1 ~]# systemctl restart chronyd
[root@c1 ~]# systemctl enable chronyd
[root@c1 ~]# chronyc sources
控制时间同步后台进程去搜索关联同步的时间服务器信息

设置任务计划
面向所有节点

[root@ct ~]# crontab -e
[root@ct ~]# date   查看当前时间

*/30 * * * * /usr/bin/chronyc sources >> /var/log/chronyc.log
分钟小时日期月星期                      追加  日志文件

时间间隔设置不要太小，尽量拉长，因为频次太快，导致日志量越来越大，存储空间受影响

配置系统环境
配置服务（控制节点上）

安装，配置MariaDB

[root@ct ~]# yum -y install mariadb mariadb-server python2-PyMySQL

mariadb-server ：mariadb服务器

此包用于openstack的控制端连接mysql所需要的模块，如果不安装，则无法连接数据库；此包只安装在控制端

[root@ct ~]# yum -y install libibverbs 底层库文件

设置mysql配置文件

[root@ct ~]# vi /etc/my.cnf.d/openstack.cnf
添加
[mysqld]
bind-address=192.168.100.11   控制节点局域网地址（绑定内网地址）本地数据库节点ip  
default-storage-engine=innodb 默认存储引擎
innodb_file_per_table=on      每张表独立表空间文件（文件存储空间）
max_connections=4096          最大连接数
collation-server=utf8_general_ci  默认字符集（不区分大小写）
character-set-server=utf8          字符集utf8_bin区分大小写

mysql 5.6（大版本）和mysql 5.7（小版本）
大版本更新内容更为复杂
小版本更多是修复bug，打补丁
mysql 5.7把mysql 5.6 收购

在读写分离操作时 5.6 5.7
对应的默认库文件 test mysql

客户端无法远程连接到数据库
5.7把 5.6 收购，在5.7中进行调整：
底层库文件 test mysql 库文件
表空间（类似名称空间）
名称文件：是一种相互独立的隔离环境
docker 容器
k8s 都会涉及到名称空间隔离（6种隔离的环境，作为空间隔离的判读依据）

[root@ct ~]# systemctl enable mariadb  自启动数据库
[root@ct ~]# systemctl start mariadb   开启数据库服务
[root@ct ~]# mysql_secure_installation   数据库初始化设置
[root@ct ~]# mysql -uroot -pabc123    测试登录数据库

安装RabbitMQ（消息队列）

所有创建虚拟机的指令，控制端都会发送到rabbitmq，node节点监听rabbitmq

安装软件

[root@ct ~]# yum -y install rabbitmq-server
[root@ct ~]# systemctl enable rabbitmq-server   自启动
[root@ct ~]# systemctl start rabbitmq-server     开启服务

报错解决方案
1.检查之前安装的软件环境是否安装成功
2.重新安装完成软件环境，要先杀死rabbitmq的所有进程

创建消息队列用户，用于controler和node节点连接rabbitmq的认证

[root@ct ~]#  rabbitmqctl add_user openstack RABBIT_PASS
                                                                       用户名                密码
Creating user "openstack"

因为rabbitmq跑在openstack平台里，作为数据交互和传递的载体时，因为需要被keystone认证，有用户身份来进行管理，便于认证

配置openstack用户的操作权限（正则，配置读写权限）

[root@ct ~]# rabbitmqctl set_permissions openstack ".*" ".*" ".*"                                                     配置文件 写
读
Setting permissions for user "openstack" in vhost "/"

Nova与Keystone进行通讯
1.rabbidb，把nova请求读取写入到本地内部
2.Nova把请求相关写入到Rabbitmq的内部
3.把消息传递过程中，也会进行读写操作
授予独立的用户身份，读写权限

[root@ct ~]# netstat -anptu | grep 5672

可查看25672和5672 两个端口（5672是Rabbitmq默认端口，25672是Rabbit的测试工具CLI的端口）
Nova与Keystone进行通讯
1.rabbidb，把nova请求读取写入到本地内部
2.Nova把请求相关写入到Rabbitmq的内部
3.把消息传递过程中，也会进行读写操作

授予独立的用户身份，读写权限

查看rabbitmq插件列表

[root@ct ~]# rabbitmq-plugins list

开启rabbitmq的web管理界面的插件，端口为15672（可以通过网页访问，图形化页面）

[root@ct ~]# rabbitmq-plugins enable rabbitmq_management
[root@ct ~]# netstat -anptu | grep 5672

在浏览器上

http://192.168.100.10:15672访问 默认账号密码都为guest

安装memcached

安装memcached是用来存储session（会话）信息；服务身份验证机制（keystone）使用memched来缓存令牌，在登录openstack的dashboard时，会产生一些session信息，这些session信息会存放到memcached中
Memcached是一个自由开源的， 高性能，分布式内存对象缓存系统。

Memcached是以LiveJourmal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、 Facebook. Vox、 LiveJournal等众多服务中提高Web应用扩展性的重要因素

Memcached是一种基于内存的key-value存储，用来存储小块的任意数据(字符串、对象)。这些数据可以是数据库调用、API调用或者是页面渲染的结果

Memcached简洁而强大。它的简洁设计便于快速开发，减轻开发难度,解决了大数据量缓存的很多问题。它的API兼容大部分流行的开发语言。

本质上，它是一个简洁的key-value存储系统。

一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。

并且在BAT里，redis已经逐渐取代了memcached，成为分布式场景广泛使用的缓存方案

[root@ct ~]# yum -y install memcached python-memcached

python模块在OpenStack中起到了连接数据库的作用

修改memcached配置文件

[root@ct ~]# vi /etc/sysconfig/memcached 

PORT="11211"     默认端口号
USER="memcached"  默认账户名
MAXCONN="1024"    最大连接数
CACHESIZE="64"    缓存大小
OPTIONS="-l 127.0.0.1,::1,controller"  
选项                      添加主机名,控制节点所在

[root@ct ~]# systemctl enable memcached  自启动
[root@ct ~]# systemctl start memcached   开启服务
[root@ct ~]# netstat -anptu | grep 11211  查看端口状态

安装etcd

etcd特点：
简单： 基于HTTP+JSON的API让你可以用CURL命令就可以轻松使用。
安全： 可以选择SSL客户认证机制。
快速： 每个实例每秒支持一千次写操作。
可信： 使用Ralf算法充分实现了分布式。
应用场景

场景一： 服务发现
服务发现（Service Discovery）要解决的是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。

微服务协同工作架构中，服务动态添加（自愈性）

PaaS平台中应用多实例与实例故障重启透明化

场景二： 消息发布和订阅

在分布式系统中，最为适用的组件间通信的方式是消息发布和订阅机制。

具体而言，即配置一个配置共享中心，书籍提供者在这个配置中心发布消息，而消息使用者则订阅他们关心的主题，一旦有关主题有消息发布，就会实时通知订阅者。通过这种方式可以实现发布式系统配种的集中式管理和实时动态更新。
应用中的一些配置新存放在etcd上进行集中管理

分布式日志收集系统
这个系统的核心工作是收集分布在不同机器上的日志。

系统中心需要动态自动获取与人工干预修改信息请求内容
通常的解决方案是对外保留接口，例如JMX接口，来获取一些运行时的信息或提交修改的请求。
而引入etcd后，只需要将这些信息存放在指定的etcd目录中，即可通过http接口直接被外部访问。

场景三： 负载均衡

场景四： 分布式通知与协调

与消息发布和订阅有点相似。两者都使用了etcd的Watcher机制，通过注册与异步通知机制，实现分布式环境下的不同系统之间的通知与协调，从而对数据变更进行实时处理。

实现方式通常为：

不同系统都在etcd上对同一个目录进行注册，同时设置Watcher监控该目录的变化（如果对子目录的变化也有需求，可以设置成递归模式），当某个系统更新了etcd的目录，那么设置了Watcher的系统就会受到通知，并做出相应的通知，并作出相应处理。

通过etcd进行低耦合的心跳检测
检测系统和被检测系统通过etcd上某个目录管理而非直接关联起来，这样可以大大减少系统的耦合性。

通过etcd完成系统调度
某系统有控制台和推送系统两部分组成，控制台的职责是控制推送系统进行相应的推送工作。管理人员在控制台做的一些操作，实际上只需要修改etcd上某些目录节点的状态，而etcd就会自动把这些变化通知给注册了Watcher的推送系统客户端，推送系统再作出相应的推送任务。

通过etcd完成工作汇报
大部分类似的任务分发系统，子任务启动后，到etcd来注册一个临时工作目录，并且定时将自己的进度汇报（将进度写入到这个临时目录），这样任务管理者就能够实时知道任务进度。


场景五： 分布式锁

因为etcd使用Raft算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。
锁服务有两种使用方式，一是保持独占，二是控制时序。

保持独占
即所有试图获取锁的用户最终只有一个可以得到。

控制时序
即所有试图获取锁的用户都会进入等待队列，获得锁的顺序是全局唯一的，同时决定了队列执行顺序。


场景六： 分布式队列
分布式队列的常规用法与场景五中所描述的分布式锁的控制时序用法类似，即创建一个先进先出的队列，保证顺序。

场景七： 集群监控与Leader竞选

通过etcd来进行监控实现起来非常简单并且实时性强，用到了以下两点特性：

前面几个场景已经提到了Watcher机制，当某个节点消失或由变动时，Watcher会第一时间发现并告知用户。
节点可以设置TTL key，比如每隔30s向etcd发送一次心跳使代表该节点依然存活，否则说明节点消失。

场景八： 为什么使用etcd而不用Zookeeper？

相比较之下，Zookeeper有如下缺点:

复杂。 Zookeeper的部署维护复杂，管理员必须掌握一系列的知识和技能；而Paxos强一致性算法也是素来以复杂难懂而闻名于世；另外，Zookeeper的使用也比较复杂，需要安装客户端，官方只提供Java和C的两种语言的接口。

Java编写。这里不是对Java有偏见，而是Java本身就偏向重型应用，它会引入大量的依赖。而运维人员则普遍希望机器集群能尽可能的简单，维护起来也不容易出错

发展缓慢。 Apache基金会项目特有的“Apache Way”在开源界也饱受争议，其中一大原因就是由于基金会庞大的结构和松散的管理导致项目发展缓慢。


etcd作为一个后起之秀，其优点也很明显:

简单。 使用Go编写部署简单；使用HTTP作为接口使用简单；使用Raft算法保证强一致性让用户易于理解。

数据持久化。 etcd默认数据一更新就进行持久化。

安全。 etcd支持SSL客户端安全认证。

安装etcd

[root@ct ~]# yum -y install etcd

修改配置文件

[root@ct ~]# cd /etc/etcd/
[root@ct etcd]# ls -lh
[root@ct etcd]# vi etcd.conf 

修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"  数据目录位置

ETCD_LISTEN_PEER_URLS="http://192.168.100.11:2380" 
监听其他etcd member的url（2380端口，集群之间通讯，域名为无效值）

ETCD_LISTEN_CLIENT_URLS="http://192.168.100.11:2379"
对外提供服务的地址（2379端口，集群内部的通讯端口）

ETCD_NAME="controller"
集群中节点标识（名称）

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.100.11:2380"
该节点成员的URL地址，2380端口：用于集群之间通讯。

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.100.11:2379"
ETCD_INITIAL_CLUSTER="controller=http://192.168.100.11:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01"   集群唯一标识，群集名称

ETCD_INITIAL_CLUSTER_STATE="new"
初始集群状态，new为静态，表示单个节点
若为existing，则表示此ETCD服务将尝试加入已有的集群，初始化完成后，会根据自己的集群名称自动寻找其它相同集群名称的ETCD
若为DNS，则表示此集群将作为被加入的对象，等待加入状态

[root@ct etcd]# systemctl enable etcd  自启动
[root@ct etcd]# systemctl start etcd    开启服务
[root@ct etcd]# systemctl status etcd   服务状态
[root@ct etcd]# netstat -anptu | grep 2379  查看端口
[root@ct etcd]# netstat -anptu | grep 2380

openstack
基础环境

1.防火墙，核心防护，DNS，网卡，映射，免交互，时间同步
2.openstack 依赖环境（openstack-T版的软件源/包，python在openstack中的client环境，openstack-util工具和openstack-selinux核心防护）
3.数据库，mysql memcached etcd
4.rabbitmq
5.第三方工具