1 某电子政务网改造前后拓扑
1.1 改造前拓扑
行政中心办公及及原机房内网采用2台cisco 6513交换机作为核心交换设备,提供政府办公业务及数据中心应用。
DMZ区采用1台cisco 4507交换机作为核心交换设备。
采用1台cisco 6506与1台cisco 6509交换机作为外单位与镇区的汇聚设备,提供外联单位访问政务内网的汇聚接入。
1.2 改造后整体网络拓扑
1.3 改造后DMZ区域拓扑
1、机房DMZ区核心采用2台CE12804设备,组成CSS系统
2、接入层采用2x台S5800交换机,组成x套Istack系统,提供DMZ区的web/Email和DB等电子政务服务器的业务接入,每套Istack系统使用4条10GE链路,保证链路的带宽与冗余性。
3、新增2y台全万兆接入设备,组成两台Istack系统,用于后续万兆服务器的接入。每套CE6850分别使用4条40GE链路上行,保障链路的带宽与冗余性。
1.4 改造后机房内网区域拓扑
1、机房内网区域核心采用2台CE12812设备,组成CSS系统
2、接入层采用2a台S5800交换机,组成a套Istack系统,提供机房内网服务器的业务接入,每套Istack系统使用4条10GE链路,保证链路的带宽与冗余性。
3、新增2b台全万兆接入设备,组成两台Istack系统,用于后续万兆服务器的接入。每套CE6850分别使用4条40GE链路上行,保障链路的带宽与冗余性。
1.5 外单位与镇区改造后拓扑
1、外单位与镇区核心采用2台CE12812设备,组成CSS系统
2、外单位与镇区接入区采用2台S12708设备作为外网接入交换机的汇聚,通过高密万兆线卡连接外网接入交换机。
3、外单位与镇区设备通过专线(SDH、裸光纤)、SSL VPN或MPLS VPN接入政务内网,在S12700汇聚后访问核心区交换设备。
2 详细设计
2.1 CSS/iStack介绍与设计
2.1.1 CSS/iStack介绍
CSS(Cluster Switch System/集群交换机系统)是指把两台支持集群的交换机链接起来,虚拟成一台更大的交换机。通过交换机的堆叠能够实现数据中心大数据量转发和网络高可靠性。堆叠建立后堆叠成员对外体现为一个统一的逻辑实体,用户使用一个IP地址对堆叠中的所有交换机进行管理和维护。
1. 全面提升高可靠性
2. 控制平面/数据平面所有信息的跨框冗余
3. 跨设备链路捆绑提供链路冗余
4. 简化管理维护性
5. 简化网络逻辑拓扑,提高运营效率,降低维护成本
6. 不再需要STP计算逻辑拓扑
7. 无需使用VRRP,简化配置
8. 带宽倍增
9. 与其他设备的连接都采用链路捆绑,所有流量负载分担
10. 本地优先转发,流量自动走最优路径
2.1.2 CSS/iStack设计
CE12800建议使用八条40GE链路作为数据转发链路,使用两条10GE链路作为双主检测链路,保障双主检测的正确性
CE6850使用两条40GE链路作为数据转发链路,使用两条10GE链路作为双主检测链路
CE5810使用两条10GE链路作为数据转发链路,使用两条GE链路作为双主检测链路
2.2 服务器接入设计
当前现网中服务器为单接入,存在可靠性方面的风险,后续需要采用双网卡接入的方式,双网卡接入有如下两种:
2.2.1 主备模式:
两个网卡的MAC相同
服务器在发现主网卡故障后,切换到备网卡;并通过备网卡发现免费ARP,刷新汇聚交换机上的ARP表项,避免下行流量发送到错误的方向
有些服务器的聚合网卡切换后,不发送免费ARP,会导致流量单通,需要注意服务器是否支持
2.2.2 负载均衡模式:
两个网卡的MAC相同
两个网卡都可以发送和接收流量,带宽利用率较高。
如果接入设备非堆叠,会导致汇聚交换机上的MAC地址表不停的在两个端口间”跳跃”,导致系统的不稳定
2.3 生成树对接设计
CE12800端口默认可以透传思科PVST协议报文,如果检测到环路,会自动在思科设备侧破环。
思科设备无法透传CE12800的MSTP协议报文,所以CE12800会将于与思科直连的口识别为边缘端口。
2.4 单播路由设计
OSPF继承原先的设计,所有配置了OSPF的设备(S12700上与少数的外联单位使用其它AREA)全部加入AREA 0,简单易维护。
核心设备路由数量在1K条左右,设备基本无路由方面的压力。
2.5 组播路由设计
组播应用主要为IPTV业务,视频源在机房内网中,为其它地方的办公人员提供服务。
使用PIM-SM协议、IGMP V2版本,CE12812作为组播接入,直接生成IGMP group表项。
2.6 节点可靠性设计
图中红X表示模拟设备故障情况,可以看到由于堆叠设备的冗余性,所有节点的设备任意一台出现故障都不会业务的继续运行。
2.7 网络可靠性设计
所有堆叠系统之间全部使用4条链路交叉互联,加入同一个LAG中。
任意一条链路down掉之后,流量会立刻切换到其它链路,切换时间为毫秒级。
2.8 安全设计
现网核心设备有大量ARP表项,差不多5K左右,因此有必要专门针对ARP攻击进行适当的优化。
调整老化时间,将ARP表项老化时间延长,避免老化时间集中导致的短时间内大量的ARP请求报文,老化时间可以默认的20分钟调整为120分钟。
开启ARP严格学习模式,开启严格学习模式之后,仅针对由IP报文触发的ARP请求生成ARP表项,避免攻击造成的无用表项挤占ARP表项资源以及伪造的ARP报文将错误地更新设备ARP表项,导致合法用户无法正常通信。
调整ARP报文限速功能,设备默认对每一个目的IP地址的ARP报文速率限制为500,即设备在1秒内最多允许同一个目的IP地址的500个ARP报文通过。可以根据现网实际情况进行相应调整,如某个设备会往外发大量arp攻击报文,则调整为对每一个源IP地址的ARP报文速率限制为50,或者更小。