NVMe协议详解(二)
- 2. PCIe寄存器配置
- 2.1 PCIe总线的基本结构
- 2.2寄存器配置
- 2.2.1 PCI header
- 2.2.2 PCI Capabilities
- 2.2.3 PCI Express Extended Capabilities
- 3.NVMe寄存器配置
- 3.1 寄存器定义
- 3.2寄存器理解
2. PCIe寄存器配置
NVMe over PCIe,通过利用PCIe总线实现数据交互的功能,实现对物理层的抽象功能。
2.1 PCIe总线的基本结构
PCIe总线分为三层,物理层,数据链路层,处理层(类似于计算机网络的分层结构),通过包来转发数据。NVMe协议定义的内容相当于PCIe的上一层应用层,处于应用层。PCIe给NVMe提供了底层的抽象。
NVMe SSD相当于一个PCIe的端设备(EP)。
2.2寄存器配置
在协议中主要定义了PC header、PCI Capabilities和PCI Express Extended Capabilities三部分内容。
具体在host内存中会占有4KB,结构如下:
2.2.1 PCI header
PCI header有两种类型,type0表示设备,type1表示桥。NVMe 控制器属于EP,所以定义为type0的类型。共64KB,如下图:
2.2.2 PCI Capabilities
这里配置了PCI Capbilities,包括电源管理、中断管理(MSI、MSI-X)、PCIe Capbilities。
2.2.3 PCI Express Extended Capabilities
这里配置有关错误恢复等高级功能。
3.NVMe寄存器配置
3.1 寄存器定义
NVMe寄存器主要分为两部分,一部分定义了Controller整体属性,一部分用来存放每组队列的头尾DB寄存器。
- CAP——控制器能力,定义了内存页大小的最大最小值、支持的I/O指令集、DB寄存器步长、等待时间界限、仲裁机制、队列是否物理上连续、队列大小;
- VS——版本号,定义了控制器实现NVMe协议的版本号;
- INTMS——中断掩码,每个bit对应一个中断向量,使用MSI-X中断时,此寄存器无效;
- INTMC——中断有效,每个bit对应一个中断向量,使用MSI-X中断时,此寄存器无效;
- CC——控制器配置,定义了I/O SQ和CQ队列元素大小、关机状态提醒、仲裁机制、内存页大小、支持的I/O指令集、使能;
- CSTS——控制器状态,包括关机状态、控制器致命错误、就绪状态;
- AQA——Admin 队列属性,包括SQ大小和CQ大小;
- ASQ——Admin SQ基地址;
- ACQ——Admin CQ基地址;
- 1000h之后的寄存器定义了队列的头、尾DB寄存器。
3.2寄存器理解
- CAP寄存器标识的是Controller具有多少能力,而CC寄存器则是指当前Controller选择了哪些能力,可以理解为CC是CAP的一个子集;如果重启(reset)的话,可以更换CC配置;
- CC.EN置一,表示Controller已经可以开始处理NVM命令,从1到0表示Controller重启;
- CC.EN与CSTS.RDY关系密切,CSTS.RDY总是在CC.EN之后由Controller改变,其他不符合执行顺序的操作都将产生未定义的行为;
- Admin队列有host直接创建,AQA、ASQ、ACQ三个寄存器标识了Admin队列,而其他I/O队列则有Admin命令创建(eg,创建I/O CQ命令);
- Admin队列的头、尾DB寄存器标识为0,其他I/O队列标识由host按照一定规则分配;只有16bit的有效位,是因为队列深度最大64K。