1.1 弹性可扩展
由于目前无法准确预知业务系统长期的扩展需求及服务器规模,为了保证网络架构可以灵活满足业务系统的需求,网络架构应该具有充分的弹性和扩展能力,可以适应公司各类业务系统、各种规模应用系统的需求,具体表现在:
具有充足的端口扩展能力,具有充足的服务器支撑能力;
具有灵活的组网能力以支持非虚拟化和虚拟化服务器;
支持服务器从GE到10GE、40GE过渡的能力;
以上能力的具备不需要对机房布线和网络架构进行调整。
1.2 虚拟化
网络架构能够支持各类业务的动态部署能力。网络资源能够根据虚拟机按需分配,动态迁移。网络能够根椐业务需求调整网络资源。
1.3 运维自动化
数据中心部署大量交换、路由、安全、L4交换等多种设备,尤其是接入层设备,需要统一管理,自动化的开局,运维工具。
新建数据中心大量部署虚拟机,虚拟资源的不可视性、动态性,需要网络感知虚拟资源并具备统一管理运维能力,网络还需要具备根据虚拟机状态、位置进行自动化网络策略管理的能力。
1.4 存储以太网络融合
为了减少机房布线复杂性,满足存储网络与以太数据网络有逐步融合的趋势。
1.5 高可靠
数据中心必须实现从方案级到设备级的可靠性设计。
1.6 高安全
数据中心必须充分考虑各种业务系统安全, 满足等级保护要求。
2 系统整体设计
2.1 网络整体结构图
信息机房网络整体结构参见下图,主要有核心交换区,业务服务器区,测试区,安全控制区。整网IDC网络核心交换机与机房监控网、视频中控网、内部信息局域网核心、综合数据网、调度生产网、内外网数据交换区、移动接入平台和短信接入平台的对接部署方式,整网对接都采用静态路由的方式部署
2.2 以POD为单位的接入区域设计
在模块化、标准化设计原则的指导下,网络设计将POD作为最小粒度的设计单元,在POD内部署接入交换机。POD的优势是部署经验的可复制性,新的POD可以通过复制原有的POD而迅速完成部署。考虑到不同的服务器类型对网络、供电、物理空间等方面的需求也存在不同,建议同一个POD中只部署同一类型的服务器,如:X86 POD、小型机POD、大型机POD。数据中心的建设,一般会随着业务的扩展而逐步建设。为了适应业务的弹性增加,以及业务的灵活部署,POD设计的不能过大。建议:每一列机柜划入一个POD。
该数据中心有三类等级的业务(业务级别1,业务级别2,业务级别3)需要部署,本次在一个机房内同时部署三个级别的业务,规划稍复杂,但对于应对部分机房意外断电等事故,安全性更高。
3 系统详细设计
3.1 核心层设计
核心交换区配置2台高端数据级核心交换机,交换机采用高可靠的冗余配置,同时2台交换机CSS虚拟化,冗余热备份增强可靠性。
交换核心区是整个数据中心网络的枢纽,如上图交换核心部分,要求高可靠性和大容量交换。交换核心通常采用数据中心核心交换机,具备关键部件冗余技术、可提供高密度10GE直至40GE接入能力,并可提供超大容量的交换容量,具备线速无收敛的交换能力,以支撑未来横向流量增长,无阻塞网络演进的能力。同时将两台核心设备使能CSS,实现2:1虚拟化,组成一台逻辑设备,实现2台交换机的转发负载均衡以及统一配置管理;进一步增强可靠性,实现2台交换机之间毫秒级的故障自愈。
采用华为CE12800系列数据中心交换机,可以提供高达48Tbps的交换容量,以及2Tbps的槽位带宽,均高于业界水平3-4倍。通过配置高密度线速板卡,CE128系列最高可提供13824万兆端口无阻塞接入或55296千兆端口无阻塞接入。可满足未来十年的性能增长需求。
CE12800系列交换机10GE板卡接口具备自适应到GE的能力,同一板卡可以与10GE,GE同时对接,满足数据中心多种接口带宽和设备利旧的需要。
3.2 汇聚层设计
汇聚区负责连接多个下游的POD,是业务系统的网关和出口设备,一般在汇聚交换机上部署防火墙等设备提供业务的安全和管控。本次设计涉及的服务器分布在4个机房中,承载3个不同级别的业务。
主机房不设置汇聚层节点,汇聚层节点上移至网络存储主机房,以各级别业务系统为单位配置独立的汇聚层设备。
6台汇聚交换机,2台为一组,作为一种业务的汇聚点,使能CSS,实现N:1虚拟化,逻辑上形成一个高可用的交换机,实现高效无环网络,实现业务二层互通;两台框式设备冗余,负载分担,提高架构可靠性。
该架构有如下特点:
可以在汇聚层完成同级别业务交互,跨机房数据流量不需要穿越核心层,减轻核心层压力。
通过CSS(N:1)虚拟化技术实现全网高效二层互通,达到跨机房的服务器资源共享的目的。机房内不同业务分区随业务调整出现变化,如服务器机房内的3级业务调整,承载1级业务,可在网络机房内通过物理跳线方式实现。
各级业务系统之间的安全规则集中部署在汇聚层,在安全策略简单时,配置简易,更利于运维。
汇聚、核心部署在同一机房内,更利于汇聚带宽向40GE方向演进(40GE多模光纤距离较短,仅100m左右)。
需要说明的是,该方案接入、汇聚跨机房部署会增加综合布线的长度,同时将汇聚层均部署在主机房内,扩展灵活性有限。
综合上述分析,该方案在架构系统性能及演进方向,服务器计算资源共享及池化能力,安全策略部署等各方面都满足当前某公司落新建数据中心要求。
3.3 接入层设计
在本次方案设计中,选用的接入交换机和汇聚交换机都采用设备N:1虚拟化技术(CSS,iStack),在保持设备及链路物理不变的情况下,可将每两台接入交换机和两台汇聚交换机分别组合成两台虚拟逻辑交换机,在逻辑接入交换机与逻辑汇聚交换机间通过捆绑链路连接,如下图所示。
方案优点:高可用性网络。虚拟化技术通过成员设备的N:1备份、跨设备链路聚合实现了服务器接入网络高可用性设计。高可扩展性网络。服务器接入VLAN可跨汇聚交换机,且不存在二层环路问题,实现了大二层服务器接入网络,使数据中心服务器接入层具备很强的扩展能力。网络配置管理简单。从逻辑上看,一个堆叠组就是一台设备,因此接入交换机和汇聚交换机间不存在二层环路,可以避免生成树协议的配置管理,简化网络设计。
机架式服务器以及刀片式服务器接入时,都可采用基于设备N:1虚拟化技术的接入方案。
3.4 测试区组网设计
测试区部署某公司正在开发、测试、试运行等的业务系统。新的业务系统需要在开发测试区进行开发测试,提供有限的网络资源及访问权限,同时防止测试工作对现网生产业务带来的影响。新的业务系统试运行验收后,通过网络物理连接、安全策略等的设置或迁移,即可正式上线运行,对外提供服务。测试区配置汇聚交换机与核心交换设备互联,架构设计见下图。
3.5 防火墙部署设计
防火墙采用旁挂路由的方式部署:
如下图所示:防火墙旁挂在汇聚交换机上,并且采用主备方式部署。
该方案中服务器的业务网关部署在汇聚交换机上,部分需要负载分担的服务网关部署在负载均衡上,汇聚交换机与防火墙,负载均衡启用VRRP协议,实现主备备份,防火墙VRRP1作为与负载均衡和汇聚交换机对接,VRRP2作为防火墙与核心交换机对接。通过静态路由的方式将流量全部引到防火墙。负载均衡旁挂在汇聚交换机上,并且需要负载分担的服务器的业务网关设置在负载均衡上,通过静态路由设备所有流量先经过防火墙后再通过交换机出去。
3.6 设备级可靠性设计与部署
设备级上保障可靠性方面的特点,设备采用电源、风扇、主控、交换网、接口板卡冗余结构。
3.7 设备安全部署
设备安全方面的安全配置信息,例如关闭某些服务、加强口令复杂度、限制访问控制权限、软件补丁技术、设备配置备份、开启防火墙防护和防病毒等。
3.8 访问控制类
带内管理最大连接数
带外网管最大连接数限制
telnet源地址限制配置
AAA认证和本地认证配置
对用户的分级分权控制配置
SSH功能应用
3.9 网络管理设计与部署
检查SNMP协议的版本,团体名设置,设置ACL只允许特定地址网管主机的访问;
改变缺省的community string 值如public /private为其它值并设置ACL限制访问;
配置SNMP维护信息、设置管理员联系方法和路由器物理位置;
配置Trap功能及时上报设备上的重要事件;
推荐采用SNMP V3版本,V3版本内置了比较强的安全认证机制