cloudstack4.21 + kvm 故障
系统有问题应先看看日志信息；
# /var/log/cloudstack/management/management-server.log
1、全局设置：
secstorage.allowed.internal.sites 改为 10.10.10.0/24（实际存储网段）
management.network.cidr 改为 10.10.10.0/24 （实际管理网段）
其它要关注的一些全局参数：
expunge 删除实例弥留时间相关参数
ha.tag 高可用标签
ha.workers 高可用守护线程数
overprovisioning 系统资源超配相关参数
( 如果超配不起作用，看看数据库 cluster_detail 和 vm_template_details表 )
snapshot 快照相关参数；
kvm.snapshot.enabled 使用kvm作为宿主机这个参数必须设置为true
allocated.capacity 资源分配阀值相关参数，超过阀值将无法创建和运行虚拟机。
network.throttling.rate 网络带宽，默认值是200Mbps
vm.network.throttling.rate 网络带宽，默认值是200Mbps
expunge.delay=30
expunge.interval=30
secstorage.allowed.internal.sites=0.0.0.0/0
//模板下载web所在的网段
system.vm.use.local.storage=true
//启用本地存储
host=172.16.0.20
// 主机地址
management.network.cidr=172.16.0.0/24
模板地址下载的网段
全局设置的 虚拟机管理程序；
对于虚拟机平台 都有最大 来宾数的限制；
2、libvirtd 状态报错:
libvirtd dead but subsys locked
然后发现 cloudstack-agent 也是这个状况；
你启动libvirtd 服务失败的时候。用status查看状态的时候提示的是“libvirtd dead but subsys locked；
而 有时候才 cloudstack-agent 也是这个状况；dead but subsys locked；
所以就有可能是新安装之后 KVM 虚拟化之后有些管理按服务没有启动；（根据有的提示进程启动）
/etc/init.d/messagebus start
/etc/init.d/avahi-daemon start
/etc/init.d/libvirted start
当时想使用KVM管理工具virsh时候提示/var/run/libvirt/libvirt-sock 找不到文件夹。
在你安装libvirt包的情况下还出现这个问题
你可能有几个服务没有安装。用yum安装
# yum install libdaemon avahi
3、无法重置密码
出现无法写入路由表（日志报错）：
Resource [DataCenter:1] is unreachable: Unable to apply save password entry on router
就进入 虚拟路由进行查看；
有时候重启下就好了；有时候会是资源占用的问题；
4、加载二级存储失败
查看辅助存储信息是否有异常，删除异常的辅助存储，重新添加。
查看数据库cloud.p_w_picpath_store表，清除异常的二级存储信息。
注意nfs server开放防火墙端口，不仅是针对management和kvm主机，还要针对系统虚拟机（如ssvm）开放端口，还要注意ssvm每次重启后IP是可能会变的。
（如果没有其他办法 就关闭防火墙测试）
5、清除僵尸虚拟机
主机被关机后，虚拟机已挂掉，但控制台中仍看到活着的虚拟机，且无法迁移、重启、关闭。
在数据库中修改cloud.vm_instance相应字段，将其状态置为Destroyed。
6、无法挂载nfs
内部错误 Child process
先查看下权限问题；
# more /etc/exports
然后重启下服务；
# /etc/init.d/nfs restart
7、删除主机
删除主机后重新添加，可能会因信息残留而无法再添加；建议是将主机改名后再添加试试；
8、无法创建快照
cloudstack Failed to create snapshot due to an interna
修改全局变量 kvm.snapshot.enabled
9、无法启动ssvm系统虚拟机
管理主机和kvm主机都要修改配置文件 /etc/idmapd.conf
# vi /etc/idmapd.conf
//取消Domain前的注释，并修改为管理主机和虚拟主机所在的实际域名，即修改company.com
Domain = mycloud.com.cn
注意查看以下这几个文件；
/etc/libvirt/qemu.conf
/etc/idmapd.conf
/etc/libvirt/libvirtd.conf
/etc/sysconfig/libvirtd
10、SSVM无法挂载二级存储
日志报错：Unable to mount *.*.*.* :/目录 at 路径
登录ssvm控制台执行：
ssh -i /root/.ssh/id_rsa.cloud -p 3922 root@ip （本地链接地址）
# /usr/local/cloud/systemvm/ssvm-check.sh
如果有这样的错误：
ERROR: NFS is not currently mounted
查看nfs挂载是否有问题，并尝试手动挂载看有没有错误：
然后重新挂载；
挂载时候有错误，检查网络设置，同时nfs服务器防火墙针对SSVM开放端口。
11、CPVM 不正常；agent 状态 不正常；
查看java进程；
ps -ef |grep java
检查SSVM中的程序是否正常运行：
service cloud status
如果 CloudStack cloud service is not running
运行 # /usr/local/cloud/systemvm/ssvm-check.sh 如果有这样的错误：
ERROR: Java process not running. Try restarting the SSVM.
可以再查看 :# /var/log/cloud/cloud/out 日志；
则看下 java进程内存应用过大；
export _JAVA_OPTIONS="-Xmx256M"
然后执行/usr/local/cloud/systemvm/run.sh
ok
如果程序一直起不来，也有可能是系统模板版本不对，打开数据库vm_template表看看（可能会跟初始化的数据库值不一样的），不对的话重新下载安装系统模板。
12、无法创建镜像
com.cloud.utils.exception.CloudRuntimeException: Failed to backup 1670c7fd-2e66-42b5-8155-1564cc2c4e3a for disk /mnt/0373c9c2-5fd2-3ec4-b7be-128c11a0114b/e2341ae2-4d9a-49fb-b6b9-286918932bb0 to /mnt/7c3f19d1-784c-3585-a8bd-e881a6ac312c/snapshots/2/10
qemu-img版本兼容性问题，在kvm主机上执行：
# yum install qemu-img
# rpm -q qemu-img
qemu-img-0.12.1.2-2.415.el6_5.7.x86_64
# mkdir cloud-qemu-img
# cd cloud-qemu-img
# wget http://vault.centos.org/6.4/updates/x86_64/Packages/qemu-img-0.12.1.2-2.355.el6_4_4.1.x86_64.rpm
# rpm2cpio qemu-img-0.12.1.2-2.355.el6_4_4.1.x86_64.rpm |cpio -idmv
# cp ./usr/bin/qemu-img /usr/bin/cloud-qemu-img
13、无法启动虚拟机，/var/log/cloudstack/agent/agent.log报错：
Requested operation is not valid: domain 'r-4-VM' is already being started
手工把虚拟机启动：
# virsh start r-4-VM
再手工关闭：
# virsh shutdown r-4-VM
如果shutdown关闭不了，就用destroy
再到CS控制台中启动虚拟机。
注意：最小化安装的centos等系统（VM）是无法用virsh shutdown来关闭的，要用的话得在VM中安装acpid
# yum -y install acpid
# service acpid restart
# chkconfig acpid on
14、某kvm host主机挂掉后重新上线，云系统找不到cloudstack-agent，
打开数据库vm_instance表检查各虚拟机的运行状态（state字段）是否跟实际有出入（比如明明应是Stopped的，说它Running），
把错误的地方修改保存后重启cloudstack-management。
15、明明有资源，却说没有资源无法启动虚拟机，
manage日志报错如下：
hostId: 1 is in avoid set, skipping this and trying other available hosts
hostId: 5 is in avoid set, skipping this and trying other available hosts
...........................
No suitable hosts found
No suitable hosts found under this Cluster: 1
Could not find suitable Deployment Destination for this VM under any clusters, returning.
...........................
Removing from the clusterId list these clusters from avoid set: [1]
...........................
No clusters found after removing disabled clusters and clusters in avoid list, returning.
...........................
查看是不是有的host并没有在线（要看cloudstack-agent日志有没有错误，控制台有时看到的是假象）
16、host无法正常加入系统，反复断开
cloudstack-agent日志报错如下：
Connected to 10.10.10.15:8250
Proccess agent startup answer, agent id = 0
Set agent id 0
Startup Response Received: agent id = 0
Connected to the server
Lost connection to the server. Dealing with the remaining commands...
注意看manage的日志中的host id 和cloudstack-agent日志中的agent id，是不是对应不上，是的话删除这个host重新添加。
如果删不掉，关闭manage和agent，清除数据库中host_details和host表与这个host对应的数据（如果提示其它表有关联数据也一起删除），重启manage和agent。
17、已经能正常运行的系统，某次host掉线重新连接后，主存、二存、防火墙都没有问题，但ssvm等系统虚拟机反复重启无法启动成功
查看agent.log是否有这样的日志：
ERROR [kvm.storage.LibvirtStorageAdaptor] (agentRequest-Handler-4:null) org.libvirt.LibvirtException: ?????? '/nfsprimary/afe3bed3-c0ad-4ea5-9a39-b59644043966': ??????
可能这个VM已经变成了僵尸，关掉它
查看volumes表中afe3bed3-c0ad-4ea5-9a39-b59644043966对应的卷名，关掉对应的VM（卷名和VM的数字是相等的）
18、服务器意外关闭，重启后一个VM无法启动，日志报错“no usable volumes found for the VM”，查看该VM的卷，文件可访问，
查看数据库，volumes表中该VM行的state字段值为Snapshotting，显然服务器意外关闭时该VM正在做快照，VM被冻结，服务器重启后未解除冻结状态，
将state字段值改为Ready，VM可正常启动。
# Some Global Params you'll want to Check or Set:
check.pod.cidrs
consoleproxy.capacity.standby
consoleproxy.launch.max
external.firewall.default.capacity
guest.domain.suffix
host
management.network.cidr
max.account.*
max.project.*
max.template.iso.size
network.guest.cidr.limit
remote.access.***.client.iprange
remote.access.***.psk.length
remote.access.***.user.limit
router.cpu.mhz
sdn.ovs.controller.default.label
secstorage.allowed.internal.sites
secstorage.capacity.standby
secstorage.session.max
system.vm.default.hypervisor
usage.execution.timezone
（没什么意外 不要轻易修改注册表 ）
CPVM 数据库表 信息；
（agent state 状态） //主机信息中的系统虚机信息
mysql> SELECT * FROM host WHERE name like '%v-1746-VM%'\G
*************************** 1. row ***************************
id: 18
name: v-1746-VM
uuid: 8cee7395-080f-44df-8ee6-11e3673cdbc6
status: Up
type: ConsoleProxy
private_ip_address: 172.16.1.38
private_netmask: 255.255.255.0
private_mac_address: 06:d5:12:00:00:25
storage_ip_address: 172.16.1.38
storage_netmask: 255.255.255.0
storage_mac_address: 06:d5:12:00:00:25
storage_ip_address_2: NULL
storage_mac_address_2: NULL
storage_netmask_2: NULL
cluster_id: NULL
public_ip_address: 42.51.3.98
public_netmask: 255.255.255.192
public_mac_address: 06:74:aa:00:00:43
proxy_port: NULL
data_center_id: 1
pod_id: 1
cpus: NULL
speed: NULL
url: NoIqn
fs_type: NULL
hypervisor_type: NULL
hypervisor_version: NULL
ram: 0
resource: NULL
version: 4.2.1
parent: NULL
total_size: NULL
capabilities: NULL
guid: Proxy.1746-ConsoleProxyResource
available: 1
setup: 0
dom0_memory: 0
last_ping: 1384452097
mgmt_server_id: 52239605088
disconnected: NULL
created: 2014-12-04 07:39:57
removed: NULL
update_count: 11
resource_state: Enabled
owner: NULL
lastUpdated: NULL
engine_state: Disabled
1 row in set (0.00 sec)
（VM state 状态）//虚拟机实例中的系统虚机信息；
mysql> SELECT * FROM vm_instance WHERE name like '%v-1746-VM%'\G
*************************** 1. row ***************************
id: 1746
name: v-1746-VM
uuid: 25cd9d5e-5eaa-4c80-99a3-c44f2bb7801f
instance_name: v-1746-VM
state: Running
vm_template_id: 3
guest_os_id: 15
private_mac_address: 06:d5:12:00:00:25
private_ip_address: 172.16.1.38
pod_id: 1
data_center_id: 1
host_id: 17
last_host_id: 17
proxy_id: NULL
proxy_assign_time: NULL
vnc_password: DebZf1YTAJa5BeXCHs6Sa+ml/EMTt1kgQvvynQuqgT0=
ha_enabled: 0
limit_cpu_use: 0
update_count: 3
update_time: 2014-12-04 06:34:23
created: 2014-12-04 06:33:16
removed: NULL
type: ConsoleProxy
vm_type: ConsoleProxy
account_id: 1
domain_id: 1
service_offering_id: 39
reservation_id: ca734fa3-09b3-40b9-9b43-d94f400af307
hypervisor_type: KVM
disk_offering_id: NULL
cpu: NULL
ram: NULL
owner: NULL
speed: NULL
host_name: NULL
display_name: NULL
desired_state: NULL
dynamically_scalable: 0
display_vm: 1
1 row in set (0.01 sec)
mysql>
