如果为了在安装harbor的时候省事采用http的方式部署，使用的时候docker客户端默认使用register仓库的时候都是使用安全连接https，如果要改为http需要修改docker配置，很是麻烦。因此还是需要使用https方式。 从http方式改为https方式主要是需要重新生成CA证书（颁发机构），web服务器证书（harbor服务器），以及服务器向CA进行签发注册。之后修改harbor.cfg配置文件，将服务器证书文件配置到配置文件中，修改hostname从IP地址改为域名，重新prepare和install ，install程序会自己将原来的docker-compose中的容器删除重新生成。 重新安装后的用户信息和镜像数据都会保留。
新的单位使用了cloudstack作为云平台的基础架构，老规矩，通过动手搭建一个实验环境熟悉一下cloudstack的基本的组件。 整个安装过程比预想的还简单，概念清晰，感觉比openstack更友好。虚拟机的使用和管理也要比openstack要方便，存储管理很灵活，网络管理还没来得及测试。总之，整体比openstack要好用，但是好像还没看到相关PAAS层的东西，比如类似openstack的大数据组件sahara、对象存储组件swift、文件系统manila等，也正常，cloudstack官网本身也说是提供IAAS层的。 但如果纯粹作为iaas层虚拟来使用的话，感觉还是不如proxmoxVE好用。对于各个虚拟化的纳管来说，可能相对于proxmoxVE更强一些，比如对于同时有VMWare虚拟化、kvm虚拟化以及xen虚拟机的环境来说，cloudstack可以同时进行纳管，这一块还没有经过实际测试，使用起来不知道是不是方便 。 多一个选择总是好的，都是好东西，看不同的场景，可以有不同的选择。
记录一下直接从pve物理机中（debian9）通过usb口直接拷贝数据到移动硬盘中。 移动硬盘是使用NTFS文件格式，刚开始直接挂载发现提示不能写，只读：root@pve1:~# mount /dev/sdf1 /media/ root@pve1:~# cd&nbs
办公用的瘦客户端使用的是spice协议连接，今天要用移动硬盘（希捷）拷贝一些东西，记录一下配置过程。 使用瘦客户端的USB口需要简单几个步骤就行。首先是在pve管理界面上对虚拟机的硬件设备增加usb 的spice port ，然后将虚拟机关闭（注意，重启不行，一定要关闭）使配置生效。然后在虚拟机中安装Us
这个实验做下来，对我来说主要的难点在于不熟悉版本管理工具marven以及git等开发方面的工具，只能说对CI/CD持续集成部署做了一次简单的摸索。 使用过程中遇到任何问题，首先看报错和日志，问题最多的地方是jenkins的pipeline脚本执行，在执行过程中，需要对脚本有一个充分的消化了解，碰到问题的时候，通过查看输入日志来定位问题所在。 整个结构主要包括3个部分，镜像仓库harbor、jenkins、docker ，其中还有git仓库和git客户端，直接复用放在了harbor服务器上 。harbor是原来部署过的资源，jenkins是直接通过下载war包部署在tomcat上，docker与harbor之间的配置需要匹配，我的环境里面harbor配置的是http方式，需要在docker端配置insecure registry 。 CI/CD持续集成部署对于开发测试来说还是非常有用的，这个实验是使用docker作为容器的运行环境（slave） ，另外，还可以使用kubernetes作为容器承载环境，配置会更复杂一些，但是部署完成后的使用会更加健壮
Harbor的安装使用都是很方便的，部署方式本身也是通过docker和容器编排docker-compose 实现 ，主要解决了局域网内的容器镜像管理问题。 这里没有使用https的方式部署，使用的是http方式，其中需要注意客户端docker中需要配置对“非安全” http的支持，加入--inscure-registry 参数的支持。 Harbor产品本身解决了本地局域网内部集中管理容器镜像的问题，如果是生产环境，可以考虑再加入同步复制的功能以确保数据的安全性，这里就不展开说，我也没用到，用到的时候再说。
原来一直想偷懒直接使用kubernetes的kubeadmin 部署工具自动化部署，但是，由于软件安装源的问题，对相关模块的相互关系都不熟悉，另外，由于工作上面也没有用到，没有足够的热情，这个实验一直没能完成 ，后面订阅了一个订阅号专门介绍kubernetes这一块的内容，还是老老实实跟着老师傅通过二进制包进行安装，这样也可以对k8s的整个体系结构会更加了解。
实验参考文章，转载自： http://blog.51cto.com/lizhenliang/2325770
ProxmoxVE确实使用太方便了，对于稍显复杂的ceph分布式存储，已经做到了方便实施的极限，只需要简单几条初始化的指令，后面全部通过web管理界面进行配置和部署，方便至极，更棒的是，web管理界面还可以实时看到ceph存储的各种状态，相当于完全把ceph存储的管理融合进了PVE的统一管理。 但是使用ceph的前提是，必须对ceph分布式存储本身的一些概念弄清楚，比如ceph 的存储规则，pg的概念，bucket的概念，ceph自身的功能组件mon、osd、pool的概念等等，建议如果对这些概念不熟悉，先通读一遍ceph社区官网的文档，然后动手搭建ceph存储试验。熟悉ceph之后，回过头来再使用pve自带的ceph管理功能就显得非常简单了。 通过上面的实验，也可以看到ProxmoxVE可以做到在自己的平台上快速搭建环境嵌套虚拟化，可以方便广大的PVE爱好者快速的熟悉PVE 的使用。通过我个人的经历，openstack的试验过程和复杂度，比PVE要高出好多倍，openstack如果要做一个完整的试验下来，熟练的情况下，如果要5天，那么，PVE的试验，
继上次在PVE环境上搭建了oracle12C RAC环境（请参考博文“ProxmoxVE 之 安装oracle12C rac集群”）并且安装使用CDB和PDB（请参考博文“ProxmoxVE 之 安装oracle12C 数据库（CDB和PDB）”）之后，继续往下深入，在这个RAC环境中安装第二个CDB，验证一个RAC环境下面使用多个CDB和PDB的复杂应用情况。
前两天在PVE环境上搭建了oracle12C 的RAC环境（详见另一篇博文“ProxmoxVE 之 安装oracle12C rac集群”），安装完成了grid集群环境的安装以及oracle数据库软件的安装，具备了创建数据库的条件。现在在这个RAC环境上使用dbca创建数据库CDB和PDB。
最近公司使用到了oracle12C的产品，原来对oracle11g2的RAC比较熟悉，12C版本有一个大的特性是容器和可插拔式，即CDB和PDB，还是需要熟悉一下。准备使用PVE环境搭建一套12C的rac。
桌面云的一个环节是瘦客户端，如果在企业当中有老旧电脑，可以利旧改造为瘦客户端。在这里使用开源软件thinstation，最新版可以支持各种桌面协议，包括红帽的spice协议。
在线客服上面左边是我的个人微信，如需进一步沟通，请加微信。右边是我的公众号“Openstack私有云”，如有兴趣，请关注。最近一个朋友咨询到堡垒机，这一块没有涉及过，现在对于系统安全管理越来越重视，这一块还是有必要了解一下。还是老规矩，首先看看有没有相应的开源产品，不出所料，有一个产品叫jumpserver的开源产品，是专门做堡垒机的，从名字上看，叫跳板机，据说是中国的一个团队开发的。为了加快学习
平时使用的虚拟机是win10，放在vmware5.1的虚拟机上面跑，有时候使用的时候会有卡顿的情况出现，想迁移到PVE 环境使用。准备使用clonezilla进行迁移，现在记录一下迁移过程。
有时候使用vmware虚拟机的时候发现登录不了，在vmware client点击关机或重启虚拟机都无效，这时候只有通过直接登录到esxi 的shell客户端直接杀进程了，具体操作方法使用命令行强制关闭
安装完pve之后，需要用到win10操作系统作为桌面虚拟机，这里记录一下制作过程。
nfs挂载
公司有两台测试服务器，是华为的RH2288 V3 ，配置64G内存，2颗16核CPU ，4块1TSAS盘，原来是单机使用，为了更充分的利用硬件资源，计划将这两台服务器安装PVE5-3进行虚拟化。
记录一台winserver 2012服务器迁移到esxi5.1 虚拟机的过程
一个主机加固项目的需要，在测试环境AIX6.1上需要安装openssh7.8 ，由于AIX光驱没有，安装盘也没有，只能找相关的lib包先下载好，再上传到服务器上，有点乱，记录一下备忘。
公司有一台旧服务器，原来的IBM X3650m2 服务器，2物理CPU，24G内存，8块300G硬盘。原来上面直接装了一个win10，后面想想其实资源还是可以利用一下，毕竟24G内存还是可以虚拟出几个虚拟机的，至少可以自己做做小实验的资源还是可以的。最主要的原因是我每天带笔记本电脑上班，费劲，想买一个瘦客户端直接使用云桌面解决的办公电脑的问题，一直都在吹牛说咱们是搞IT的，搞云计算的，自己都还没使用云桌面，还没有使用过云桌面，没法交代啊 ：）
有了ProxmoxVE之后，准备自己的一些虚拟机镜像模板很有必要，这样每次用一些常用的系统的时候，直接导入虚拟机模板可以节约很多时间。这里我记录一下制作centos7虚拟机模板的过程。
当重装ProxmoxVE后发现除了系统盘会格式化之外，其他原先的盘的分区信息还是存在，特别是残留了大量的lvm的信息，所以还是需要手工去干预处理。这里做一个记录。
继上篇博文《ProxmoxVE之集群安装(V5.2)》，本来想模拟生产环境实现3节点集群，并且使用ceph分布式存储实现虚拟机级别的HA，但是在使用pveceph工具创建ceph环境的时候出错了，发现需要商业订阅才能使用。因此这篇博文想从另一个角度，先搭建外部ceph存储集群，供pve直接使用外部ceph存储。
本篇博文尝试搭建一套3节点的Proxmox VE 集群，安装过程非常快，概念也很清晰，web管理界面非常好用，但是在进行到存储ceph安装的时候出现了订阅问题。 安装到这里，反正也已经基本摸了一遍集群的实际落地操作，并踩到了一个大坑，那就是ceph的安装配置5.2版本需要订阅官方授权才能使用。具体如何解决，初步2个办法，第一个是测试历史版本，据说历史版本可以使用，第二个是手动安装ceph集群，然后在pve中做一些简单配置连接使用这个ceph集群，第二个办法的缺点是没有办法统一集成管理pve和ceph，只能分开管理，但是对于大规模的应用场景，可能反倒是一个优点。我的想法是，两个办法都要去踩一遍，对于小规模使用场景使用第一个用历史版本的办法，对大规模场景，都可以。
最近51cto出了一片热文，《超融合、低成本、高可用私有云解决方案》 ，我仔细看了一下，给了我比较大的震撼。该文作者使用的是proxmox ，我上网查了一下相关资料，对proxmox先有个大概了解。官网的介绍是这样的： Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的Web界面，您可以轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。
iptables主要有3个表filter、nat、mangle，5个链INPUT、OUTPUT、FORWORD、PREROUTING、POSTROUTING，可以实现非常复杂的各类防火墙功能，比如本机服务器的消息过滤、转发，nat端口映射，内外网消息转发等等。在我的应用当中，主要用到nat端口映射和内网外消息转发。
由于版本跨度太大，mysql5.7到mariadb10.2.16 的升级其实都不能叫做“升级”了，实际是就是新安装，关键是找到备机，将原有的数据库备份到备机上解决后面重装数据库的后顾之忧。 数据库安装的方法可以通过联网yum 安装，或者离线通过软件包进行安装，在这个案例中，由于客户服务器不能连接外网，因此全部的安装都是使用下载好软件安装包进行安装。这种离线安装方式相对来说效率更低一些，也容易出错。
为了达到不同的pool可以使用不同类型的硬盘组成的存储池，对于只是需要解决存储分级的小规模集群场景来说，先使用kolla进行统一部署ceph，在部署完成之后，然后通过手动调整ceph crush存储规则，新建rule，将相应的osd划入对应的rule，最后将相应的pool调整到相应的rule。这里我们就这个想法进行实际验证。
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
