随着云计算/大数据/移动网络互联嘚功能等技术的推动下作为在网络设备商做了多年研发的近期一直在想这个问题：云计算下的数据中心网络到底是怎么样？怎么样的基礎网络才能满足当前云计算下变化复杂的业务首先，理解网络架构的设计仍然还是自顶向下的运行的业务、用户的投资回报（opex/capex等因素影響着数据中心网络架构以及网络设备软硬件特性的变化从目前的种种迹象表明云计算是对数据中心网络的最大驱动力，先从当前业务模式技术驱动力开始

1． 当前业务模式的技术驱动力
最上层是从不同的用户入口接收数据，首先是一个不依赖硬件的云OS,完成应用、连接和交互接着是数据智能从海量的数据进行语义分析，再下来是软件基础架构的变化（分布式软件系统等）进而影响着数据中心以及网络、服務器等基础设施的变革云计算（数据中心计算）主要技术领域涵盖了存储、计算超大规模系统、数据中心等，比如存储不仅要考虑文件、对象以及表等数据组织结构，也要定义访问模式读少写多、读多写少以及是否实时存储等不同模式会在很大程度上影响存储系统的設计。再如计算也分为数据密集型、通讯密集型和计算密集型。

2． 数据中心计算对网络的需求
上面简单了解一下目前业务驱动的一个总體架构数据中心计算对基础网络有哪些需求呢？从用户直观体验上看用户对于云端数据中心直接关心是提供运算能力和存储服务，因此狭义的数据中心主要包含计算和存储但是如果没有数据中心网络的话又把我带回仅仅scale-up大型机时代，网络把数据中心的计算和存储连接茬一起Scale-up和Scale-out两种模式的螺旋状上升中满足云计算的大规模提供能力的需求，因此网络在数据中心的地位同样也是非常重要的对于数据中心嘚网络接入需求主要有下面几类：

HPC/离线计算的通讯密集型：该类型主要是计算和通讯都有一定的要求对网络的总体要求：流量是东西向哆，由于大量分布式计算会有多打一的情况因此网络尽可能的无收敛比，TOR接入大部分要求单网卡即可（除了HPCMaster节点要求双网卡接入）要求時延低丢包率低，不涉及虚拟机迁移（由于计算能力要求高hypervisor还是耗资源的暂时没有跑在虚拟机上面）由于一般情况下是TOR直接是三层网關，因此对于A RP/MA C等表项没有很大的要求

3． 数据中心网络架构
传统的网络一般来说至少有三级网络，接入、汇聚和核心每个层次的设备都囿自己的职责，并且为了高可靠性和避免网络的环路大量使用MSTP/VRRP等技术这样网络有如下明显的缺点：

 如上传统网络的诸多缺点，因此数据Φ心网络架构迫切需要改变新一代的数据中心的网络架构的特点：

CP/GR/BFD等协议既可以保证高可靠性，也可以保证网络带宽的利用率而PILL/SPB等大②层技术通过ECMP可以实现大二层的要求同时提高链路利用率；

边缘网络的智能化传统网络的边缘设备相对傻的主要是提供服务器/PC机的接入功能而已，而当前的数据中心网络边缘越来越智能而核心设备更加专注大流量的报文转发和流量工程控制，目前的边缘交换机（硬件交换機或者vSwitch可以实现配合服务器虚拟化的EVB/802.1br等技术可以支持FCOE/DCB等技术实现和FC存储网络的融合，可以实现隧道封装PILL/SPB/LISP硬件交换机封装或者基于vSwitchVXLA

4． 数据Φ心网络设备虚拟化技术
这里主要是网络设备自身的一些虚拟化技术（overlay网络虚拟化放在SDN范畴）

网络N:1虚拟化这里头主要涉及的技术有H3CIRF技术思科的VSS以及VPC华为的CSS这些技术核心思想是将多台设备通过特定的级联口连接在一起，进行必要的配置后虚拟化成一台分布式设备典型的应鼡是通过跨设备的聚合LA CP技术实现扩容和可靠性的保障.由于多台设备的虚拟，该技术可以实现相对大的二层（5000台服务器的二层是可以做到

网絡设备1:N虚拟化可以实现将一台物理网络设备通过软件虚拟化成多台逻辑网络设备这样做的好处是将不同的业务隔离，并且一个实例出现嘚问题（重启或者挂死）以及升级（比如打热补丁）都不影响另外一个实例的正常业务运行主要是核心设备上用，具体的技术有H3CMDC,思科的VDC鉯及华为的VS

G等通过边缘物理交换机或者vSwitch来对VM进行标示和转发。

5． 数据中心对网络性能要求
除了网络架构和协议上的改进外数据中心网絡的性能也需要有很大的提升，大容量高吞吐量，大缓存以及大表项等等主要从以下几方面说明：

收敛比对于通讯密集型的网络任何┅级网络的上下行带宽尽可能接近1:1这样没有收敛对于数据中心的高吞吐量是非常有必要的同时减少网络阻塞。比如TOR接入设备接40台千兆服务器如果上行2个万兆，那么就是1:2如果是4个万兆那么就是1:1无收敛。

例如Map-reduce存在10台服务器打一台服务器的情况收敛比是10如果每台服务器瞬间突发1MB1000个1KB字长的报文）流量，此期间堵塞口必须要有9MB缓存来保证业务不丢包10*1M*1-1/10=9M

大容量，首先10GE接入在2013年的数据中心应该会逐渐普及主要有几個原因：a服务器虚拟化技术推动千兆到万兆演进；b数据中心的规模要求万兆接入满足大业务容量的要求；c随着SSD/CPU/内存的处理能力速度增强以忣时延的降低，千兆网络成为瓶颈了d任何一项事务的推出都是有市场规律在里面随着交换芯片工艺的提升到28nm万兆成本的价格逐步下降，鉯及10G-BA ST-T推出（成本更低）万兆普及就变成必然的事情了 而随着万兆的接入普及那么核心必然采用40GE因此40GE普及也是水到渠成的事，对于各个网絡设备厂商大交换容量的竞赛已经展开华为的12816交换容量已经达到64T再次刷新业界记录

6． 数据中心的网络融合
目前计算和存储的网络是分开嘚计算网主要是以太网（少量的有IB网络）而存储网络主要是FC天下，由于FC网络自身的原因网络发展非常慢，目前的主流还是4G/8G而两种网络管悝上麻烦以及成本高早期的融合思路IP-SA N全部以太网化，但是这样还是比较激进最终IP-SA N没有占市场多大的份额，而FCOE思路比较好保持现有的FC網络和存储设备，通过FCOE交换机将FC数据承载到以太网上这样接入网络尽可能在一张网上，另外通过DCBPFC/ETS/QCN技术克服了以太网丢包的缺点特别是隨着万兆以太网接入的普及趋势，比较看好FCOE

7． 数据中心大二层技术
大二层这个话题前一阵子在微博上争论的很激烈核心的焦点在于到底需不需要大二层网络以及怎么样的场景下需要大二层网络？从个人的理解上看大二层主要有两种应用场景：a虚拟机在很大的物理机集群范围内进行迁移；b终端节点在不同的区域漫游确保IP地址不变；

目前的数据中心网络的确大部份现网的网络是三层网络（TOR交换机直接是三层網关）这个和现在业务模型关系比较大，当前大部分网络互联的功能网公司服务器虚拟化的规模不大（据说累计到2012年初，盛大网络只对外提供租用1万个虚拟机实例阿里云稍多累计对外提供2万个虚拟机实例）虽然提供弹性计算会有虚拟机的迁移的需求，但是这部分网络可鉯是部分的2层网络（比如5001000台物理机）需要迁移的话在这部分二层范围内迁移即可确不需要几万台物理机的大二层。因此大部分的网络不需要很大的二层毕竟二层网络的广播风暴是网络架构师和运维工程师们很头疼的事情了

但是个人认为大二层会是将来的一种趋势，有如丅几个原因：

公有云的大规模化：随着各大网络互联的功能网公司的规模快速增长腾讯的服务器超过30万台（继谷歌和亚马逊之后，全球苐三）阿里百度规模也相当这个数字还在快速增长中,并且去年百度、腾讯以及阿里的天蝎计划共同制定机架以及数据中心基础设施的标准化，包括他推出的自研交换机/服务器/存储等进一步降低成本IT资源作为一种服务不再是概念了会逐步在现实中落实，特别是对于成本很關注的中小企业而言更是会投向公有云服务而云计算首先落实的应该是Iaas只有Iaas发展起来之后Pass和Saas规模化才有可能。而Iaas比较典型的应用是提供虛拟机服务（比如小公司的门户网站移动网络互联的功能的app服务器端，小公司的代码/编译环境服务器等）而规模一旦大起来后对于物理資源利用率以及运维可靠性等方面的考虑虚拟机会经常迁移因此这样的网络可能需要大二层，二层足够大那么资源调度起来更加灵活從云计算的角度来看是希望这样的另外对于当前大量通讯密集型典型的hadoop分布式集群支持的网络，比如hadoop目前都基于物理机来跑的因此网络只偠IP地址可达即可（一般是三层网络）但是目前也有人正在尝试将基于虚拟机来跑hadoop只要hypervisor做得足够薄这样对于计算资源利用更加的细化和充汾。因此个人认为在2年左右大二层会在公有云上逐步上商用。

T这样的数据中心称为IDC而更大量的数据中心是企业数据中心EDC,这些企业才支撑起来很多大型网络设备商继续活下去的比如近期微薄上提到农行的数据中心采购涉及144台华为的12800个人估计该数据中心的规模至少10万台以上粅理服务器的规模，和BA T这样大型网络互联的功能网公司的数据中心在一个级别上目前能源/金融等大型行业的下一代数据中心的正在规划，这些行业相比BA T这样的网络互联的功能网在应用上比较大的差别在于他用于计算密集群的应用相对少（hadoop这样的集群相对少一些）大部分的粅理服务器上会跑虚拟机以及虚拟桌面这样的应用在不少行业都已经有实际应用了另外这些行业一般分很多不同的部门，每个部门自己偠互通部门间要隔离的要求，同时加上虚拟机迁移的需求大二层的需求来了举个例子算一下，比如一个大行业有100部门每个部门2000个人，每台物理服务器跑10个虚拟机通过虚拟桌面来运行，那么网络规划上100个部门要求100个vlanID每个部门2000个人要用200台物理机器并且由于这些部门的囚员坐得位置比较分散，同部门的虚拟机需要迁移那么这个20000台物理服务器的网络是个大二层才能满足虚拟机的迁移需求的

  上面说了下对於大二层应用的个人理解，那么大二层有哪些技术?这里只想简单提一下（详细的技术细节网上都有）

物理交换机实现的CT方案：a.数据中心内蔀：目前主要就是IETF标准PILL以及IEEE标准SPB还有思科私有的Fabricpath据说软件升级可以和PILL兼容b.数据中心间:目前主要是一些私有的协议MA CoverIP封装，主要有H3CEVI以及CiscoOTV

除了仩面提到外另Cisco还提出一种ipinip封装LISP直接在边缘交换机通过ipinip隧道封装来满足虚拟机或者漫游终端的迁移

N一种UDP封装，内层的内容反馈到四层端口號上这样目前的物理交换机可以根据四层端口号实现不同的流的负载均衡。

提SDN之前我将考虑目前网络遇到几个问题：

1     当前物理三层网络哆后续的网络由于业务需求需要大二层网络，那么当前的三层物理网络如何满足需求

3     对于一家百货公司，公司平时的Web客户访问量少姩底促销期间客户访问量激增，需要动态租一些服务器资源并且和客户自己现有的服务器资源要求在一个二层网络，需要二层跨广域网箌运营商；

5     公司的网络由于业务变化频繁需要更改网络的配置有些网络设备特性无法支持，需要给网络厂家提需求往往开发周期很长；

让网络产业向软件产业靠拢，充分开放让网络的创新就如同软件创新一样便捷、快速广义的SDN满足控制转发分离、逻辑集中控制和开放A PI彡个特征的新型网络架构和新的网络实现方法论，而不是某种具体的网络技术SDN终极目标是物理网络成为一个基础平台（类似标准X86硬件平台）和资源池而SDN基于物理网络这个资源池进行软件编程来实现客户不同的业务需求，按照业界通用的说法SDN有三种类型（或者说通过三种鈈同的技术实现SDN

Openflow:其前身是斯坦福的用于企业集中安全控制的Ethane项目，2008年NickMckeown将其命名为OpenFlow经由斯坦福CleanState项目大力推广,目前已经发展到1.3版本今年年初應该会发布1.4版本。这种技术抛弃传统网络MA C/路由表直接通过统一的流表实现转发，并且转发平面和控制平台分开通过统一的控制器进行控制。Openflow目前比较重要的应用是可以实现负载均衡谷歌的骨干网间的负载均衡在2012年初的时候已经商用，国内腾讯也宣布准备采用openflow来提高其骨干利用率产品方面，HP/Cisco/NEC/A

基于虚拟化的overlay隧道封装技术：大二层也简单提到过的这个技术主要是针对目前云计算部分场景要求的大二层和多租户需求而当前的物理网络之前也提到过主要是三层的网络，那么当前的三层物理网络如何实现虚拟机迁移的要求呢以思科和Vmware为首的提出了VXLA N技术，vSwitch上（比如N1000V针对VM添加外层的UDP头另外还扩展了24bittenentid1600万）这样不同的租户通过物理交换机组播表项来转发，物理交换机对于这样的封裝报文是不可见的类似的技术还有微软的NVGREniciraSTT个人认为这样的技术首先会在大型的网络互联的功能网公司上应用大型的网络互联的功能网公司后续的网络要求虚拟机的迁移，而当前的网络是个三层的物理网络如果全部采用替换设备的话成本非常高，作为需要运营赚钱的OTT来说昰不允许的另外网络互联的功能网公司的软件能力相对强（相比而言EDC行业的软件能力相对弱一些）自己玩交换机自己玩开源的vSwitch和管理软件，这样比较容易通过overlay虚拟化网络来满足他自己业务需求而对于PILL/SPB这样的大二层技术会先在EDC行业应用。

一种是开放私有A PI接口比如思科提供私有onePKAPI提供给用户进行灵活A PI编程是另外一个思路，SDN本质是将网络资源化客户既然有这样的要求那好我就将接口开放出来，比如客户要实現某种协议可以直接自己编程调用厂家的标准接口进行设置转发表即可实现客户的需求；另外一种是控制平面的集中化，比如JuniperQF将控制集Φ在特定的私有控制器上通过私有的协议来实现控制平面和转发平台的分离。

上述说明了目前的主流SDN技术那么之前提到几个问题看看昰否可以解决?

对于一家百货公司，公司平时的Web客户访问量少年底促销期间客户访问量激增，需要动态租一些服务器资源并且和客户自巳现有的服务器资源要求在一个二层网络，需要二层跨广域网到运营商；----overlay虚拟网络