我们在 浅谈Linux PCI设备驱动(上)中(以下简称 浅谈(一) )介绍了PCI的配置寄存器组,而Linux PCI初始化就是使用了这些寄存器来进行的。后面我们会举个例子来说明Linux PCI设备驱动的主要工作内容(不是全部内容),这里只做文字性的介绍而不会涉及具体代码的分析,因为要分析代码的话,基本就是对 Linux内核源代码情景分析(下册)第八章的解读,读者若想分析代码,可以参考该书的内容 , 这里就不去深入分析这些代码了。
Linux PCI设备驱动代码必须扫描系统中所有的PCI总线,寻找系统中所有的PCI设备(包括PCI-PCI桥设备)。系统中的每条PCI总线都有个编号number,根PCI总线的编号为0。系统当前存在的所有根总线(因为可能存在不止一个Host/PCI桥,那么就可能存在多条根总线) 都通过其pci_bus结构体中的node成员链接成一个全局的根总线链表,其表头由struct list_head类型的全局变量pci_root_buses描述,我们在/linux-2.4.18/linux/drivers/pci/pci.c的38行可以看到如下定义:
LIST_HEAD(pci_root_buses);
而根总线下面的所有下级总线则都通过其pci_bus结构体中的node成员链接到其父总线的children链表中。这样,通过这两种PCI总线链表,Linux内核就将所有的pci_bus结构体以一种倒置树的方式组织起来。
另外,每个PCI设备都由一个pci_dev结构体表示,每个pci_dev结构体都同时连入两个队列,一方面通过其成员global_list挂入一个总的pci_dev结构队列(队列头是pci_devices);同时又通过成员bus_list挂入其所在总线的pci_dev结构队列devices(队列头是pci_bus.devices,即该pci设备所在的pci总线的devices队列),并且使指针bus(指pci_dev结构体里的bus成员)指向代表着其所在总线的pci_bus结构。
如果具体的设备是PCI-PCI桥,则还要使其指针subordinate指向代表着另一条PCI总线的pci_bus结构。同样我们在/linux-2.4.18/linux/drivers/pci/pci.c的39行可以看到如下定义:
LIST_HEAD(pci_devices);
对于PCI设备链表,我们可以通过图1来理解。
图1 Linux PCI设备链表
注:该图摘自Linux设备驱动开发详解 第21章 PCI设备驱动。
而对于我们在浅谈(一)中贴出的图1的PCI系统结构示意图,Linux内核中对应的数据结构如图2所示。
图2 Linux内核PCI数据结构
Linux PCI初始化代码从PCI总线0开始扫描,它通过读取"Vendor ID"和"Device ID"来试图发现每一个插槽上的设备。如果发现了一个PCI-PCI桥,则创建一个pci_bus数据结构并且连入到由pci_root_buses指向的pci_bus和pci_dev数据结构组成的树中。PCI初始化代码通过设备类代码0x060400来判断一个PCI设备是否是PCI-PCI桥。
然后,Linux核心开始构造这个桥设备另一端的PCI总线和其上的设备。如果还发现了桥设备,就以同样的步骤来进行构建。这个处理过程称之为深度优先算法。PCI-PCI桥横跨在两条总线之间,寄存器PCI_PRIMARY_BUS和PCI_SECONDARY_BUS的内容就说明了其上下两端的总线号,其中PCI_SECONDARY_BUS就是该PCI-PCI桥所连接和控制的总线,而PCI_SUBORDINATE_BUS则说明自此以下、在以此为根的子树中最大的总线号是什么。
我们可以在/linux-2.4.18/linux/include/linux/pci.h看到如下定义:
112: /* Header type 1 (PCI-to-PCI bridges) */
113: #define PCI_PRIMARY_BUS 0x18 /* Primary bus number */
114: #define PCI_SECONDARY_BUS 0x19 /* Secondary bus number */
115: #define PCI_SUBORDINATE_BUS 0x1a /* Highest bus number behind the bridge */
由于在枚举阶段做的是深度优先扫描,所以子树中的总线号总是连续递增的。当CPU往I/O寄存器0xCF8中写入一个综合地址以后,从0号总线开始,每个PCI-PCI桥会把综合地址中的总线号与自身的总线号相比,如果相符就用逻辑设备号在本总线上寻访目标设备;
否则就进一步把这个总线号与PCI_SUBORDINATE_BUS中的内容相比,如果目标总线号落在当前子树范围中,就把综合地址传递给其下的各个次层PCI-PCI桥,要不然就不予理睬。这样,最终就会找到目标设备。当然,这个过程只是在PCI设备的配置阶段需要这样做,一旦配置完成,CPU就直接通过有关的总线地址访问目标设备了。
PCI-PCI桥要想正确传递对PCI I/O,PCI Memory或PCI Configuration地址空间的读和写请求,必须知道下列信息:
(1)Primary Bus Number(主总线号)
该PCI-PCI桥所处的PCI总线称为主总线。
(2)Secondary Bus Number(子总线号)
该PCI-PCI桥所连接的PCI总线称为子总线/次总线号。
(3)Subordinate Bus Number
PCI总线的下属PCI总线的总线编号最大值。有点绕,看后面的分析就明白了。
PCI I/O 和 PCI Memory 窗口
PCI桥的配置寄存器与一般的PCI设备不同。一般PCI设备可以有6个地址区间,外加一个ROM区间,代表着设备上实际存在的存储器或寄存器区间。而PCI桥,则本身并不一定有存储器或寄存器区间,但是却有三个用于地址过滤的区间。每个地址过滤区间决定了一个地址窗口,从CPU一侧发出的地址,如果落在PCI桥的某个窗口内,就可以穿过PCI桥而到达其所连接的总线上。
此外,PCI桥的命令寄存器中还有”memory access enable”和”I/O access enable ”的两个控制位,当这两个控制位为0时,这些窗口就全都关上了。在未完成对PCI总线的初始化之前,还没有为PCI设备上的各个区间分配合适的总线地址时,正是因为这两个控制位为0,才不会对CPU一侧造成干扰。例如, 对于浅谈(一)的 PCI系统示意图 ,仅当读和写请求中的PCI I/O或PCI memory地址属于SCSI或Ethernet设备时,PCI-PCI桥才将这些总线上的请求从PCI总线0传递到PCI总线1。这种过滤机制可以避免地址在系统中没必要的繁衍。
为了做到这点,每个PCI-PCI桥必须正确地被设置好它所负责的PCI I/O或PCI memory的起始地址和大小。当一个读或写请求地址落在其负责的范围之内,这个请求将被映射到次级的PCI总线上。系统中的PCI-PCI桥一旦设置完毕,如果Linux中的设备驱动程序存取的PCI I/O和PCI memory地址落在在这些窗口之内,那么这些PCI-PCI桥就是透明的。这是个很重要的特性,使得Linux PCI设备驱动程序开发者的工作容易些。
问题是配置一个PCI-PCI桥的时候,并不知道这个PCI-PCI桥的subordinate bus number。那么就不知道该PCI桥下面是否还有其他的PCI-PCI桥。即使你知道,也不清楚如何对它们赋值。解决方法是利用上述的深度扫描算法来扫描每个总线。每当发现PCI-PCI桥就对它进行赋值。
当发现一个PCI-PCI桥时,可以确定它的secondary bus number。然后我们暂时先将其subordinate bus number赋值为0xFF。紧接着,开始扫描该PCI-PCI桥的downstream桥。这个过程看起来有点复杂,下面的例子将给出清晰的解释:
图3,配置PCI系统 第一步
PCI-PCI桥编号 – 第一步
以图3的拓扑结构为例,扫描时首先发现的桥是Bridge1。Bridge 1的downstream PCI总线号码被赋值1。自然该桥的secondary bus number也是1。其subordinate bus number暂时赋值为0xFF。上述赋值的含义是所有类型1的含有PCI总线1或更高(<255)的号码的PCI配置地址将被Bridge 1传递到PCI总线1上。
如果PCI总线号是1,Bridge 1 还负责将配置地址的类型转换成类型0(对于这里说的类型0和类型1,请参考浅谈(一))。否则,就不做转换。上述动作就是开始扫描总线1时Linux PCI初始化代码所完成的对总线0的配置工作。
图4,配置PCI系统 第二步
PCI-PCI桥编号 – 第二步
由于Linux PCI设备驱动使用深度优先算法进行扫描,所以初始化代码开始扫描总线1。从而Bridge 2被发现。因为在Bridge 2下面发现不再有PCI-PCI桥,所以Bridge 2的subordinate bus number是2,等于它的secondary bus number。图4显示了在这个时刻总线和PCI-PCI桥的赋值情况。
图5 ,配置PCI系统 第三步
PCI-PCI桥编号 – 第三步
Linux PCI设备驱动代码从总线2的扫描中回来接着进行扫描总线1,发现Bridge 3。它的primary bus number被赋值为1,secondary bus number为3。因为总线3上还发现了PCI-PCI桥,所以Bridge 3的subordinate bus number暂时赋值0xFF。图5显示了这个时刻系统配置的状态。到目前为止,含有总线号1,2,3的类型1的PCI配置都可以正确地传送到相应的总线上。
图6 , 配置PCI系统 第四步
PCI-PCI桥编号 – 第四步
现在Linux开始扫描PCI总线3,Bridge 3的downstream。PCI总线3上有另外一个PCI-PCI桥,Bridge 4。因此Bridge 4的primary bus number的值为3,secondary bus number为4。由于Bridge 4下面没有别的桥设备,所以Bridge 4的subordinate bus number为4。
然后回到PCI-PCI Bridge 3。这时就将Bridge 3的subordinate bus number从0xFF改为4,表示总线4是从Bridge 3往下走的最远的PCI-PCI桥。最后,Linux PCI设备驱动代码将4以同样的道理赋值给Bridge 1的subordinate bus number。图6反映了系统最后的状态。
注:浅谈Linux PCI设备驱动(下)暂时的整体结构就是这样了。在此强烈推荐想学Linux PCI设备驱动的朋友结合《Linux内核源代码情景分析下册》第八章和《Linux设备驱动开发详解》第21章 来学习。