第5章 构建数据中心的物理网络（Underlay网络）

5.1 物理组网和基础网络

  • 包含Fabric、Spine、Leaf、Service Leaf、Server Leaf、Border Leaf角色
  • Fabric提供接入节点间的无差异互访
  • Server Leaf、Service Leaf、Border Leaf在网络转发层面上没有差异性，仅仅是接入设备不同
  • 采用Spine-Leaf的扁平结构，东西向流量转发路径较短，转发效率较高
  • Fabric网络架构可实现弹性伸缩，服务器增加时，增加Leaf数量即可。Spine带宽不足时，可增加Spine节点的个数
  • Spine和Leaf设备的推荐：
  • 针对Spine设备：推荐单机部署，Leaf到Spine的收敛比为1:9~1:2
  • 针对Leaf设备：使用M-LAG双活方式部署，也可以使用虚拟机框类技术iStack
  • Leaf和Spine之间通过三层路由接口互联，通过动态路由协议OSPF或BGP实现
  • 推荐采用ECMP实现负载分担，基于L4的源端口号的负载分担算法（因VXLAN目的端口4789不变）

5.2 设计数据中心的物理网络

5.2.1 路由协议选择

  • 推荐OSPF，只有在规模较大、需要分区部署，且需要BGP灵活的路由控制能力的情况下，才推荐使用EBGP
  • 1. Underlay路由选用OSPF
  • 小于100台规模使用
  • 针对单Fabric内部：
  • 所有设备均处于Area0中，使用三层路由口地址建立OSPF邻居，network类型建议为P2P
  • 针对多Farbic：
  • 如果仍然是一个VXLAN域，多Fabric之间的互联设备部署在OSPF Area0，Fabric1和Fabric2部署在Area1和Area2中，整体仍然是一个OSPF进程
  • 如果是2个VXLAN域，建议每个Fabric单独部署OSPF，互联设备通过BGP进行路由交互
  • 选择BGP EVPN协议作为Overlay的控制平面，在选择OSPF后，实现了Underlay和Overlay的故障域隔离
  • 2. Underlay路由选用EBGP
  • 大于100台规模使用
  • 针对单Fabric：
  • Spine划为一个AS，每组Leaf节点分别划为一个AS，Leaf和Spine之间部署EBGP邻居
  • 针对多Fabric：
  • Spine划为一个AS，每组Leaf节点分别划为一个AS，Leaf和Spine之间部署EBGP邻居。每个Fabric通过DC互联的Leaf和对方AS互联，互联的Leaf单独部署在一个AS内，通过EBGP和Spine建立邻居
  • 使用EBGP的明显缺陷在于配置的复杂性，但故障域相比OSPF较小，且具有丰富的路由控制手段

5.2.2 服务器接入方案选择

  • Leaf选择支持iStack或M-LAG技术的，比较推荐M-LAG
  • 服务器使用10GE或25GE接入，Leaf下行带宽和上行带宽的比例一般为1:9~1:2
  • 推荐服务器Eth-Trunk接入Leaf M-LAG工作组

5.2.3 Border Leaf和Service Leaf节点设计及其原理

  • Border Leaf主要用于南北向网关，将南北向流量发送给对端的PE及从PE接收发往数据中心内部的流量
  • Service Leaf主要用作接入VAS设备，如防火墙、负载均衡器
  • Border Leaf和Service Leaf设计需要考虑：
  • Border Leaf双活+静态路由/BGP ECMP
  • Border Leaf和Service Leaf基于业务数量和路由数量选择合设或分设
  • 根据VAS接入设备的要求确定Service Leaf的组数
  • 1. Service Leaf和Border Leaf合设场景
  • L4~L7设备旁挂在合设节点两侧，双规接入两台交换机（Leaf）
  • 流量到达Spine后，直接被重定向到VAS设备，处理后再发回Spine设备
  • 扩展性不佳，适合中小型数据中心
  • 2. Service Leaf和Border Leaf分设场景
  • 两种Leaf可单独扩展
  • 流量到达Spine后，会发往独立部署的Service Leaf设备，再将流量发往VAS设备，处理后再发回Spine设备
  • 组网成本较高，但可根据业务规模灵活调整，适合有较强技术能力的企业

5.2.4 出口网络设计

  • 设计时需考虑如下因素
  • PE独立部署，采用堆叠、或通过E-Trunk、VRRP保障可靠性
  • PE与Border Leaf采用交叉型互联
  • Border Leaf建议采用双活技术（M-LAG）部署，与PE之前通过三层路由接口或虚接口互联（如VBDIF、VLANIF）
  • 每个VRF，PE有4个L3接口与Border Leaf互联
  • 出口路由规划
  • 逃生链路和M-LAG的peer-link链路分开部署
  • 每台Border Leaf上配置静态默认路由，下一跳为对端PE的L3接口地址
  • 每台PE上配置静态明细路由，目的地址为内网业务网段，下一跳为对端Border Leaf设备的L3接口地址。建议进行路由汇聚
  • 针对逃生链路，Border Leaf配置低优先级的静态默认路由，下一跳为对端Border Leaf的L3互联接口。这样在指向PE的静态路由失效后，这条低优先级默认路由会生效
  • 动态路由对接时，Border Leaf仍然配置静态默认路由，并将静态路由引入OSPF中
  • PE和PE之间也通过一条L3链路建议OSPF邻居，作为PE设备的逃生链路