iostat
命令详解
Linux系统中的iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。
iostat常用命令格式如下：
iostat [参数] [时间] [次数]
命令参数说明如下：
-c 显示CPU使用情况
-d 显示磁盘使用情况
-k 以K为单位显示
-m 以M为单位显示
-N 显示磁盘阵列(LVM) 信息
-n 显示NFS使用情况
-p 可以报告出每块磁盘的每个分区的使用情况
-t 显示终端和CPU的信息
-x 显示详细信息使用实例
命令：iostat -x
说明：显示详细信息
输出：
Linux 3.10.0-957.el7.x86_64 (realspark1) 07/16/2019 _x86_64_ (48 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.02 0.00 0.01 0.00 0.00 99.97
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.02 0.11 0.60 11.00 172.33 0.00 1.53 5.38 0.87 0.22 0.00
sdb 0.00 0.01 0.00 0.30 0.06 13.36 88.17 0.00 0.93 0.46 0.94 0.06 0.00
dm-0 0.00 0.00 0.02 0.12 0.53 10.97 169.41 0.00 1.52 5.82 0.86 0.21 0.00
dm-1 0.00 0.00 0.00 0.00 0.01 0.00 54.67 0.00 1.39 1.39 0.00 1.00 0.00
dm-2 0.00 0.00 0.00 0.31 0.06 13.36 86.08 0.00 0.94 0.33 0.95 0.06 0.00输出内容详解：
%user：CPU处在用户模式下的时间百分比
%nice：CPU处在带NICE值的用户模式下的时间百分比
%system：CPU处在系统模式下的时间百分比
%iowait：CPU等待输入输出完成时间的百分比
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比
%idle：CPU空闲时间百分比
Device：设备名称
rrqm/s：每秒合并到设备的读取请求数
wrqm/s：每秒合并到设备的写请求数
r/s：每秒向磁盘发起的读操作数
w/s：每秒向磁盘发起的写操作数
rkB/s：每秒读K字节数
wkB/s:每秒写K字节数
avgrq-sz：平均每次设备I/O操作的数据大小
avgqu-sz：平均I/O队列长度
await：平均每次设备I/O操作的等待时间 (毫秒)，一般地，系统I/O响应时间应该低于5ms，如果大于 10ms就比较大了
r_await：每个读操作平均所需的时间；不仅包括硬盘设备读操作的时间，还包括了在kernel队列中等待的时间
w_await：每个写操作平均所需的时间；不仅包括硬盘设备写操作的时间，还包括了在kernel队列中等待的时间
svctm：平均每次设备I/O操作的服务时间 (毫秒)（这个数据不可信！）
%util：一秒中有百分之多少的时间用于I/O操作，即被IO消耗的CPU百分比，一般地，如果该参数是100%表示设备已经接近满负荷运行了命令：iostat -d 2 3
输出：
Linux 3.10.0-957.el7.x86_64 (realspark1) 07/16/2019 _x86_64_ (48 CPU)
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.13 0.60 11.00 280599 5137326
sdb 0.31 0.06 13.37 29840 6240985
dm-0 0.14 0.53 10.97 247715 5121989
dm-1 0.00 0.01 0.00 2460 0
dm-2 0.31 0.06 13.37 26236 6240985
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 1.00 0.00 9.00 0 18
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 1.00 0.00 9.00 0 18
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0输出内容详解：
tps：每秒I/O数（即IOPS。磁盘连续读和连续写之和）
kB_read/s：每秒从磁盘读取数据大小，单位KB/s
kB_wrtn/s：每秒写入磁盘的数据的大小，单位KB/s
kB_read：从磁盘读出的数据总数，单位KB
kB_wrtn：写入磁盘的的数据总数，单位KB性能监控指标
上面说了这么多，也看了那么多的系统输出，那我们在日常运维中到底需要关注哪些字段呢？下面就来说说这篇文章的重点了，我们到底该关注哪些输出内容就可以确定这台服务器是否存在IO性能瓶颈。
- %iowait：如果该值较高，表示磁盘存在I/O瓶颈
- await：一般地，系统I/O响应时间应该低于5ms，如果大于10ms就比较大了
- avgqu-sz：如果I/O请求压力持续超出磁盘处理能力，该值将增加。如果单块磁盘的队列长度持续超过2，一般认为该磁盘存在I/O性能问题。需要注意的是，如果该磁盘为磁盘阵列虚拟的逻辑驱动器，需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目，以获得平均单块硬盘的I/O等待队列长度
- %util：一般地，如果该参数是100%表示设备已经接近满负荷运行了
最后，除了关注指标外，我们更需要结合部署的业务进行分析。对于磁盘随机读写频繁的业务，比如图片存取、数据库、邮件服务器等，此类业务吗，tps才是关键点。对于顺序读写频繁的业务，需要传输大块数据的，如视频点播、文件同步，关注的是磁盘的吞吐量。
VMSTAT
命令详解
在系统中运行的每个进程都需要使用到内存，但不是每个进程都需要每时每刻使用系统分配的内存空间。当系统运行所需内存超过实际的物理内存，内核会释放某些进程所占用但未使用的部分或所有物理内存，将这部分资料存储在磁盘上直到进程下一次调用，并将释放出的内存提供给有需要的进程使用。
在Linux内存管理中，主要是通过“调页Paging”和“交换Swapping”来完成上述的内存调度。调页算法是将内存中最近不常使用的页面换到磁盘上，把活动页面保留在内存中供进程使用。交换技术是将整个进程，而不是部分页面，全部交换到磁盘上。
分页(Page)写入磁盘的过程被称作Page-Out，分页(Page)从磁盘重新回到内存的过程被称作Page-In。当内核需要一个分页时，但发现此分页不在物理内存中(因为已经被Page-Out了)，此时就发生了分页错误（Page Fault）。
当系统内核发现可运行内存变少时，就会通过Page-Out来释放一部分物理内存。经管Page-Out不是经常发生，但是如果Page-out频繁不断的发生，直到当内核管理分页的时间超过运行程式的时间时，系统效能会急剧下降。这时的系统已经运行非常慢或进入暂停状态，这种状态亦被称作thrashing(颠簸)。
VMSTAT常用命令格式如下：
vmstat [-a] [-n] [-S unit] [delay [ count]]
vmstat [-s] [-n] [-S unit]
vmstat [-m] [-n] [delay [ count]]
vmstat [-d] [-n] [delay [ count]]
vmstat [-p disk partition] [-n] [delay [ count]]
vmstat [-f]
vmstat [-V]命令参数说明如下：
-a：显示活跃和非活跃内存
-f：显示从系统启动至今的fork数量 。
-m：显示slabinfo
-n：只在开始时显示一次各字段名称。
-s：显示内存相关统计信息及多种系统活动数量。
delay：刷新时间间隔。如果不指定，只显示一条结果。
count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。
-d：显示磁盘相关统计信息。
-p：显示指定磁盘分区统计信息
-S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）
-V：显示vmstat版本信息。命令：vmstat 3
输出：
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 100569776 2108 8762156 0 0 0 1 0 2 0 0 100 0 0
1 0 0 100569776 2108 8762156 0 0 0 56 2404 5026 0 0 100 0 0
0 0 0 100569776 2108 8762156 0 0 0 27 2363 4951 0 0 100 0 0
0 0 0 100569832 2108 8762104 0 0 0 112 2847 5821 0 0 100 0 0输出内容详解：
Procs（进程）：
r: 运行队列中进程数量，这个值也可以判断是否需要增加CPU。（长期大于1）
b: 等待IO的进程数量
Memory（内存）：
swpd: 使用虚拟内存大小
注意：如果swpd的值不为0，但是SI，SO的值长期为0，这种情况不会影响系统性能。
free: 空闲物理内存大小
buff: 用作缓冲的内存大小
cache: 用作缓存的内存大小
注意：如果cache的值大的时候，说明cache处的文件数多，如果频繁访问到的文件都能被cache处，那么磁盘的读IO bi会非常小。
Swap：
si: 每秒从交换区写到内存的大小，由磁盘调入内存
so: 每秒写入交换区的内存大小，由内存调入磁盘
注意：内存够用的时候，这2个值都是0，如果这2个值长期大于0时，系统性能会受到影响，磁盘IO和CPU资源都会被消耗。有些朋友看到空闲内存（free）很少的或接近于0时，就认为内存不够用了，不能光看这一点，还要结合si和so，如果free很少，但是si和so也很少（大多时候是0），那么不用担心，系统性能这时不会受到影响的。
IO：（现在的Linux版本块的大小为1kb）
bi: 每秒读取的块数
bo: 每秒写入的块数
注意：随机磁盘读写的时候，这2个值越大（如超出1024k)，能看到CPU在IO等待的值也会越大。
系统：
in: 每秒中断数，包括时钟中断。
cs: 每秒上下文切换数。
注意：上面2个值越大，会看到由内核消耗的CPU时间会越大。
CPU（以百分比表示）：
us: 用户进程执行时间百分比(user time)
注意： us的值比较高时，说明用户进程消耗的CPU时间多，但是如果长期超50%的使用，那么我们就该考虑优化程序算法或者进行加速。
sy: 内核系统进程执行时间百分比(system time)
注意：sy的值高时，说明系统内核消耗的CPU资源多，这并不是良性表现，我们应该检查原因。
wa: IO等待时间百分比
注意：wa的值高时，说明IO等待比较严重，这可能由于磁盘大量作随机访问造成，也有可能磁盘出现瓶颈（块操作）。
id: 空闲时间百分比命令：iostat -d 2 3
输出：
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free inact active si so bi bo in cs us sy id wa st
0 0 0 100552528 3545988 25564984 0 0 0 1 0 2 0 0 100 0 0
0 0 0 100552104 3545988 25565292 0 0 0 32 2930 5719 0 0 100 0 0
1 0 0 100552336 3545992 25565248 0 0 0 28 2318 4898 0 0 100 0 0输出内容详解：
使用-a选项显示活跃和非活跃内存时，所显示的内容除增加inact和active外，其他显示内容与例子1相同。
字段说明：
Memory（内存）：
inact: 非活跃内存大小（当使用-a选项时显示）
active: 活跃的内存大小（当使用-a选项时显示）
总结：
目前说来，对于服务器监控有用处的度量主要有：
r（运行队列）
pi（页导入）
us（用户CPU）
sy（系统CPU）
id（空闲）free
free常用命令格式如下：
free [-参数]命令参数说明如下：
-b：以Byte为单位显示内存使用情况；
-k：以KB为单位显示内存使用情况；
-m：以MB为单位显示内存使用情况；
-o：不显示缓冲区调节列；
-s<间隔秒数>：持续观察内存使用状况；
-t：显示内存总和列；
-V：显示版本信息。命令：vmstat 3
输出：
total used free shared buff/cache available
Mem: 128188 21485 98144 10 8558 105895
Swap: 32767 0 32767输出内容详解：
1，2表示1，2行的内容
total1:表示物理，内存总量
used1:总计分配给缓存(包含Buffer和cache)使用的数量，但其中可能部分缓存并未实际使用
free1:未被分配的内存
shared1:共享内存，一般系统不会用到，这里也不讨论
buffers1:系统分配但未被使用的buffers数量
cached1:系统分配但未被使用的cache数量
used2:实际使用的buffers和cache总量，也是实际使用的内存总量
free2:未被使用的Buffers和cache和未被分配的内存之和，这就是系统当前实际可用内存。
如下公式：
total1=used1(buffers1+cached1+used2)+free1 7869=7651(191+5081+2378)+218
total1=used2+free2(buffers1+cached1+free1) 7869=2378+5490(191+5081+218)
buffer和cache也是内存的一部分，如果需要，可以释放这2部分的内存pagecache和buffercache的区别：
pagecache实际上是针对文件系统的，是文件的缓存，在文件上的数据会缓存到pagecahce,文件的逻辑层需要映射到实际的物理磁盘，这种映射关系由文件系统来完成，当pagecache中的数据需要刷新时，pagecache中的数据交给buffercache。但这种处理在2.6版本内核之后就变得简单了，没有真正意义的cache操作。
buffercache是针对磁盘块的缓存，也就是在没有文件系统的情况下，直接对磁盘操作的数据会缓存到buffercache中，如：文件系统的元数据都会缓存到buffercache中。简单来说，
pagecache用来缓存文件数据，buffercache用来缓存磁盘数据。在有文件系统的情况下，对文件操作，数据会缓存到pagecache。若直接采用dd工具对磁盘进行读写，那么数据会
缓存到buffercache。
