阿里云國際站代理商:從0到3.0,揭秘阿里云洛神云網(wǎng)絡(luò)的進(jìn)化之路
聚搜云(m.gzjcsc123.com)是上海聚搜信息技術(shù)有限公司旗下品牌,坐落于魔都上海,服務(wù)于全球、2019年成為阿里云代理商生態(tài)合作伙伴。與阿里云代理商、騰訊云、華為云、西部數(shù)碼、美橙互聯(lián)、AWS亞馬遜云國際站代理商、聚搜云,長期戰(zhàn)略合作的計(jì)劃!阿里云國際站代理商專業(yè)的云服務(wù)商!
近日,2021年度浙江省科學(xué)技術(shù)獎揭曉,由阿里云牽頭聯(lián)合浙江大學(xué)攻堅(jiān)的超大規(guī)模高性能云計(jì)算網(wǎng)絡(luò)系統(tǒng)(阿里云洛神系統(tǒng))榮獲浙江省技術(shù)發(fā)明一等獎。
由多名院士及資深專家組成的專家評委會對阿里云洛神給予了極高的評價(jià):
“
該項(xiàng)目技術(shù)復(fù)雜,研制難度大,在虛擬網(wǎng)絡(luò)高速轉(zhuǎn)發(fā)、網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)多尺度觀測、大規(guī)模網(wǎng)絡(luò)高性能調(diào)控等方面具有原始性創(chuàng)新,達(dá)到了國際領(lǐng)先水平,是我國在云計(jì)算網(wǎng)絡(luò)領(lǐng)域趕超世界先進(jìn)水平、構(gòu)建自主生態(tài)的成功實(shí)踐和重大成果。
”
從一開始的一片空白到現(xiàn)在的完整體系,洛神云網(wǎng)絡(luò)中間經(jīng)歷了三次重大技術(shù)升級。本文將揭秘阿里云洛神云網(wǎng)絡(luò)的起源以及如何歷經(jīng)三代演進(jìn)到今。
01
緣起飛天
2010年,阿里云用服務(wù)器搭載軟件的方式,開發(fā)出第一款云網(wǎng)絡(luò)產(chǎn)品——負(fù)載均衡SLB(Server Load Balancer),對網(wǎng)絡(luò)流量(網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量)進(jìn)行均衡分發(fā)。由此拉開了云網(wǎng)絡(luò)高速發(fā)展的序幕。
跟“飛天”操作系統(tǒng)一樣,云網(wǎng)絡(luò)也有一個(gè)屬于自己的取自中華傳統(tǒng)神話的名字“洛神”,洛神是掌管河水之神,象征著連接、匯聚和流動,這也契合了云網(wǎng)絡(luò)連接數(shù)字世界的定位。
洛神云網(wǎng)絡(luò)發(fā)展到現(xiàn)在經(jīng)歷三個(gè)重要的階段:
2010年的洛神1.0,即云數(shù)據(jù)中心網(wǎng)絡(luò);
2016到2020年的洛神2.0,是云廣域網(wǎng)絡(luò);
再到2020年開始的洛神3.0,是應(yīng)用-云-邊-端一體的智能網(wǎng)絡(luò)。
在不同的階段,洛神云網(wǎng)絡(luò)給用戶提供了不同的產(chǎn)品能力,滿足用戶的網(wǎng)絡(luò)需求。
02
從零起步
自研云計(jì)算網(wǎng)絡(luò),說起來容易,但是做起來無比艱難。區(qū)別于傳統(tǒng)物理網(wǎng)絡(luò)設(shè)備,云計(jì)算網(wǎng)絡(luò)天然有三大特性:多租戶、大規(guī)模、高彈性。
多租戶:云計(jì)算網(wǎng)絡(luò)天然是一張多租戶的網(wǎng)絡(luò),需要讓不同的租戶的應(yīng)用能同時(shí)運(yùn)行在這張網(wǎng)絡(luò)上,并且不用租戶之間的網(wǎng)絡(luò)能互相隔離。
大規(guī)模:云計(jì)算的本質(zhì)就是將資源通過虛擬化技術(shù)進(jìn)行池化之后以更高效的方式提供給用戶,云計(jì)算的規(guī)模越大其池化效果越好,因此,云計(jì)算網(wǎng)絡(luò)在管理和控制技術(shù)上需要突破傳統(tǒng)網(wǎng)管技術(shù)至少一個(gè)數(shù)量級才有可能達(dá)到這種規(guī)模
高彈性:云計(jì)算網(wǎng)絡(luò)需要能為用戶提供按需使用的彈性調(diào)度能力,針對用戶的高帶寬高吞吐的場景還需要提供超高性能的網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力。
針對這三個(gè)特性,2009年的阿里云面臨的是三個(gè)空白:
學(xué)術(shù)方面:以Jennifer Rexford為代表的國際網(wǎng)絡(luò)領(lǐng)域?qū)W者從2004年開始探索如何讓網(wǎng)絡(luò)的管理和控制如何更加高效靈活。
其中最有代表性的是04年發(fā)表在SIGCOMM會議上的“Network-Wide Decision Making: Toward A Wafer-Thin Control Plane”,首次明確提出了轉(zhuǎn)發(fā)和控制分離的理念,這為后面Software Defined Networking的誕生奠定了理論基礎(chǔ)。
回到國內(nèi),2009年國內(nèi)在學(xué)術(shù)上對SDN領(lǐng)域產(chǎn)出稀少,學(xué)術(shù)上的研究儲備基本空白。
技術(shù)方面:VXLAN以及NVGRE等用于多租戶的云計(jì)算網(wǎng)絡(luò)報(bào)文格式還僅僅是草案;
以VMWare為代表商業(yè)虛擬化軟件公司有一套私有的虛擬網(wǎng)絡(luò)解決方案,并且已經(jīng)實(shí)現(xiàn)了多租戶虛擬化網(wǎng)絡(luò);
OpenStack, OpenFlow等開源技術(shù)方案也尚未出現(xiàn),對于阿里云來說當(dāng)時(shí)幾乎沒有可以借鑒的技術(shù)來實(shí)現(xiàn)一套多租戶高彈性的云計(jì)算網(wǎng)絡(luò)。
產(chǎn)品方面:以亞馬遜AWS以及微軟Azure為代表的云計(jì)算廠商已經(jīng)在該領(lǐng)域深耕多年,AWS推出的VPC(Virtual Private Cloud)幾乎成了云計(jì)算網(wǎng)絡(luò)中數(shù)據(jù)中心網(wǎng)絡(luò)上云之后的標(biāo)準(zhǔn)模版。
隨后幾乎所有的云計(jì)算公司在網(wǎng)絡(luò)領(lǐng)域都會以VPC這個(gè)產(chǎn)品為基礎(chǔ)打造自己的云計(jì)算網(wǎng)絡(luò)產(chǎn)品體系。
阿里云作為后來者面臨從零開始搭建自己的產(chǎn)品體系,并且不得不考慮被海外公司培養(yǎng)好的用戶習(xí)慣,這對剛起步的阿里云云網(wǎng)絡(luò)產(chǎn)品有很高的要求。
如果不解決云網(wǎng)絡(luò)的這些問題,阿里云在最重要的IAAS層就不完整,飛天也就缺少了它的一個(gè)關(guān)鍵子系統(tǒng),如何破局是阿里云云網(wǎng)絡(luò)團(tuán)隊(duì)需要面臨的第一個(gè)挑戰(zhàn)。
03
初見雛形
為了能讓阿里云的業(yè)務(wù)跑起來,阿里云開始了洛神1.0的自研,并且將目標(biāo)定位為多租戶的云數(shù)據(jù)中心網(wǎng)絡(luò)。洛神1.0的核心由兩部分組成:基于X86實(shí)現(xiàn)的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層和第一代阿里云SDN控制器。
基于X86的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層
云計(jì)算通過將數(shù)據(jù)中心虛擬化給客戶帶來極大的便利和應(yīng)用價(jià)值的同時(shí)也讓數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)例密度提升了數(shù)十倍,交換機(jī)的ARP表、MAC表的容量相繼出現(xiàn)了瓶頸,傳統(tǒng)的物理設(shè)備無法支撐容納這么多的虛擬機(jī)IP。
針對這些問題,洛神1.0研發(fā)了一層基于X86的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層。其根據(jù)部署所處的位置,可以分為兩個(gè)關(guān)鍵的組件:部署在計(jì)算節(jié)點(diǎn)端側(cè)的虛擬交換機(jī)vSwitch和部署在數(shù)據(jù)中心出入口的虛擬網(wǎng)關(guān)。
通過將業(yè)務(wù)邏輯從內(nèi)核態(tài)遷移到用戶空間來減少內(nèi)核協(xié)議棧損耗,洛神1.0的虛擬交換機(jī)性能達(dá)到百萬級PPS,萬兆帶寬,虛擬網(wǎng)關(guān)單機(jī)性能達(dá)到千萬級PPS,百GB帶寬,能力足以支撐當(dāng)時(shí)的大部分主流應(yīng)用,比如web網(wǎng)站、政務(wù)系統(tǒng)、在線游戲等等。
第一代SDN控制器
洛神的第一代SDN控制器嚴(yán)格遵循了學(xué)術(shù)界將data plane和control plane分離的模式,由一個(gè)純軟件實(shí)現(xiàn)的控制器(Controller)去控制數(shù)據(jù)面的行為。整個(gè)控制器由兩部分組成,Northbound(北向)負(fù)責(zé)管理租戶的實(shí)例,Southbound(南向)負(fù)責(zé)管理虛擬網(wǎng)絡(luò)設(shè)備。
通過這套基于軟件實(shí)現(xiàn)的網(wǎng)絡(luò)控制器,洛神里面所有網(wǎng)絡(luò)配置都統(tǒng)一由它管理,轉(zhuǎn)發(fā)設(shè)備只需要專注于按照規(guī)則和配置去處理報(bào)文。
這種設(shè)計(jì)不僅極大地簡化了轉(zhuǎn)發(fā)層的設(shè)計(jì)復(fù)雜度,讓轉(zhuǎn)發(fā)能專注提高性能,同時(shí)也讓洛神能更靈活得對外提供新的產(chǎn)品和功能,也奠定了洛神的整體技術(shù)分層。
04
性能飛躍
洛神1.0伴隨著國內(nèi)云計(jì)算的飛速發(fā)展,時(shí)間來到2016年,阿里云的業(yè)務(wù)已經(jīng)不僅限于國內(nèi)幾大地域,海外客戶的快速增長要求阿里云需要盡快覆蓋全球更多地域,而網(wǎng)絡(luò)則是阿里云拓展邊界的先鋒,洛神需要從一張張數(shù)據(jù)中心網(wǎng)絡(luò)走向全球互聯(lián)的廣域網(wǎng)。
另一個(gè)決定了洛神發(fā)展趨勢的是云上出現(xiàn)了超大規(guī)模的企業(yè)客戶,最典型的就是阿里巴巴自身的核心業(yè)務(wù)全棧上云。
在洛神1.0時(shí)代一個(gè)VPC內(nèi)通常容納幾百到幾萬臺虛擬機(jī),很少客戶擁有十萬級以上規(guī)模的虛擬機(jī)。但是阿里巴巴核心業(yè)務(wù)上云則直接要求單VPC百萬級虛擬機(jī),并且Tb級的帶寬要求也遠(yuǎn)超之前的中小客戶,這些技術(shù)指標(biāo)是第一代洛神無法提供的。
面對上面的兩個(gè)變化,阿里云開始了洛神2.0的研發(fā),也是通過這一代洛神實(shí)現(xiàn)了技術(shù)指標(biāo)的飛躍,在關(guān)鍵性能及規(guī)模指標(biāo)上趕上了國際友商。相比1.0,洛神2.0有三大技術(shù)突破:
在數(shù)據(jù)面,自研Sailfish:可編程高性能虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層,通過網(wǎng)絡(luò)加速芯片以及可編程交換機(jī)實(shí)現(xiàn)了Tbps的轉(zhuǎn)發(fā)能力,從而突破了性能瓶頸。
在數(shù)據(jù)面,自研Cyberstar: 彈性網(wǎng)元平臺,基于虛擬機(jī)構(gòu)建了一套NFV轉(zhuǎn)發(fā)平臺,從而實(shí)現(xiàn)了云網(wǎng)絡(luò)網(wǎng)元技術(shù)的NFV化。
在管控面,自研第二代阿里云SDN控制器:實(shí)現(xiàn)了十萬級設(shè)備的秒級配置下發(fā),單VPC支持百萬級虛擬機(jī),從而突破了規(guī)模瓶頸。
Sailfish:可編程高性能虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層
網(wǎng)絡(luò)設(shè)備的技術(shù)演進(jìn)始終呈現(xiàn)螺旋上升的發(fā)展態(tài)勢,圍繞著靈活性和高性能,軟件和硬件在相互融合、相互促進(jìn)。
從最開始的專用硬件轉(zhuǎn)發(fā)設(shè)備,到軟件轉(zhuǎn)發(fā)+通用x86設(shè)備,再到目前硬件卸載的軟硬一體化轉(zhuǎn)發(fā)設(shè)備以及大行其道的可編程轉(zhuǎn)發(fā)設(shè)備。
靈活性和高性能就像一只無形的手,引導(dǎo)著技術(shù)的持續(xù)發(fā)展。而在這方面,云計(jì)算服務(wù)商的驅(qū)動力更大,促使云網(wǎng)絡(luò)的研發(fā)走在了業(yè)界的前面。
為了能在進(jìn)一步提升性能的同時(shí)保留軟件的靈活性,洛神2.0通過軟硬件結(jié)合的技術(shù)自研了一套可編程高性能轉(zhuǎn)發(fā)層:Sailfish,其主要部件有負(fù)責(zé)大流量轉(zhuǎn)發(fā)的P4可編程交換芯片,負(fù)責(zé)大表項(xiàng)轉(zhuǎn)發(fā)的自研網(wǎng)卡芯片,負(fù)責(zé)業(yè)務(wù)編排和智能調(diào)度的CPU模塊。
Sailish單機(jī)可以支持Tb級,不僅為大客戶上云解決了網(wǎng)絡(luò)連通性的問題,更解決了超大帶寬挑戰(zhàn)下的規(guī)模、性能、效率等一系列問題。
Cyberstar:彈性網(wǎng)元平臺
網(wǎng)元是云網(wǎng)絡(luò)的重要組成部分,為用戶提供了豐富的增值功能,解決端到端、點(diǎn)到點(diǎn)的連接問題。
最初的網(wǎng)元基于X86服務(wù)器構(gòu)建,但隨著更多大型企業(yè)用戶上云,用戶對彈性的要求越來越高,經(jīng)常提出突增百倍甚至千倍的彈性需求。
在這樣的背景下,原有的基于x86服務(wù)器構(gòu)建的技術(shù)架構(gòu)就不能滿足業(yè)務(wù)需求了,Cyberstar 1.0應(yīng)運(yùn)而生。
CyberStar彈性網(wǎng)元平臺最大的特點(diǎn)是網(wǎng)元不再直接部署在裸金屬服務(wù)器或?qū)S糜?jì)算資源池內(nèi),而是基于公共云上ECS部署,基于ECS構(gòu)建意味著資源“無限”,彈性“無限”,解決了采用物理服務(wù)器部署擴(kuò)容長、彈性擴(kuò)展困難等問題。
CyberStar彈性網(wǎng)元平臺廣泛應(yīng)用在應(yīng)用負(fù)載均衡ALB,NAT網(wǎng)關(guān),PrivateLink,CEN-TR,全球加速GA,VPN網(wǎng)關(guān)等核心產(chǎn)品。應(yīng)用負(fù)載均衡ALB提供每實(shí)例100萬QPS能力,并可“無限”彈性,真正做到讓用戶按需彈性。
第二代SDN控制器
第二代阿里云SDN控制器有兩個(gè)使命:一是實(shí)現(xiàn)洛神全球一張網(wǎng)的統(tǒng)一管理;二是支撐單VPC百萬級虛擬機(jī)的超大規(guī)模。
為了達(dá)到這兩個(gè)目標(biāo),第二代SDN控制器在第一代的基礎(chǔ)上做了兩個(gè)關(guān)鍵變化:
自研跨地域網(wǎng)絡(luò)控制系統(tǒng):
區(qū)別于第一代SDN控制器圍繞云數(shù)據(jù)中心進(jìn)行數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)管理,第二代SDN控制器需要具備全局管控能力,因此在之前的北向?qū)又显黾恿艘粚涌绲赜蚬芸貙樱瑏韺?shí)現(xiàn)跨地域的網(wǎng)絡(luò)調(diào)控。
自研高性能南向配置層:
為了能讓控制器能穩(wěn)定可靠的管理大規(guī)模的網(wǎng)絡(luò)設(shè)備,第二代SDN控制器重新設(shè)計(jì)了南向?qū)?,通過一套自研的配置協(xié)議及服務(wù)來實(shí)現(xiàn)高性能大規(guī)模的南向設(shè)備配置能力,從而突破南向設(shè)備管理的規(guī)模瓶頸。
第二代SDN控制器的上線對實(shí)現(xiàn)洛神全球一張網(wǎng)的目標(biāo),支撐百萬級設(shè)備管理、單VPC百萬級虛擬機(jī)的超大規(guī)模至關(guān)重要。
05
萬物互聯(lián)
對于洛神而言,洛神1.0構(gòu)建了一張?jiān)粕系臄?shù)據(jù)中心網(wǎng)絡(luò),洛神2.0在這個(gè)基礎(chǔ)上將云網(wǎng)絡(luò)的范圍擴(kuò)展到全球各地形成一張超大規(guī)模高性能的全球化網(wǎng)絡(luò)。
而新一代洛神需要在前兩代的基礎(chǔ)上真正做到面向企業(yè)客戶的應(yīng)用場景來提供場景更豐富、能力更差異化的訪問能力。因此,洛神3.0應(yīng)運(yùn)而生。
如果用一句話來定義洛神3.0,那就是一張應(yīng)用-云-邊-端一體的萬物互聯(lián)的智能云網(wǎng)絡(luò)。洛神3.0有三個(gè)核心技術(shù)特征:
網(wǎng)絡(luò)智能化:用數(shù)據(jù)賦能網(wǎng)絡(luò),讓整個(gè)網(wǎng)絡(luò)的管理和控制更加簡單、高效、智能。
面向應(yīng)用和生態(tài):洛神3.0是一張開放的面向應(yīng)用和生態(tài)的網(wǎng)絡(luò),不僅會提供面向應(yīng)用生態(tài)的服務(wù)連接,并且也會成為面向云原生的基礎(chǔ)設(shè)施。
云邊一體、萬物互聯(lián):為了能滿足不同應(yīng)用場景,洛神3.0不僅會與5G等其他網(wǎng)絡(luò)技術(shù)進(jìn)行融合,并且也通過小型化等技術(shù)輸出到更多環(huán)境里提供網(wǎng)絡(luò)服務(wù)。
Cyberstar2.0: Serverless網(wǎng)元平臺
隨著業(yè)務(wù)需求的不斷發(fā)展,網(wǎng)元的不斷豐富,新網(wǎng)元的不斷出現(xiàn),結(jié)合技術(shù)架構(gòu)演進(jìn),推出了新一代的Cyberstar2.0平臺。
Cyberstar2.0定位于構(gòu)建通用、靈活的網(wǎng)元平臺能力,用Serverless技術(shù)推動業(yè)務(wù)網(wǎng)元創(chuàng)新,降低業(yè)務(wù)網(wǎng)元NFV化的門檻和成本,提高產(chǎn)品能效,帶來超高彈性、任意部署、極致成本的網(wǎng)元競爭力,促進(jìn)網(wǎng)元長久健康發(fā)展,助力云網(wǎng)絡(luò)的發(fā)展。
Cyberstar2.0平臺讓網(wǎng)元業(yè)務(wù)方專注于業(yè)務(wù)邏輯本身,為網(wǎng)元提供高吞吐、高并發(fā)、高新建、高可靠、高彈性、快速交付、小型化部署、低成本、易部署、易運(yùn)維、三方網(wǎng)元集成等的能力支持,為網(wǎng)元提供更有競爭力的技術(shù)方案,獲得更大的技術(shù)優(yōu)勢和成本競爭力。
網(wǎng)絡(luò)智能化
隨著洛神規(guī)模的快速增長,運(yùn)維方面的挑戰(zhàn)開始凸顯出來??偨Y(jié)來說洛神在內(nèi)外部運(yùn)維上核心面臨三大挑戰(zhàn):
可觀測:面對高度動態(tài)變化的網(wǎng)絡(luò)拓?fù)?,如何?shí)時(shí)觀測到整網(wǎng)、節(jié)點(diǎn)以及鏈路的質(zhì)量,即時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)異常。
大規(guī)模:從第二代洛神支持單VPC百萬級虛擬機(jī)開始,洛神在虛擬網(wǎng)絡(luò)資源的數(shù)量級就開始快速增長,到洛神3.0時(shí)代全網(wǎng)核心虛擬網(wǎng)絡(luò)資源的數(shù)量級已達(dá)千萬級,不改變運(yùn)維模式,僅人工運(yùn)維的成本就是第二代時(shí)代的十倍以上。
高復(fù)雜:經(jīng)歷三代洛神演進(jìn),洛神已經(jīng)成為了一張多層次、多模態(tài)、異構(gòu)的復(fù)雜網(wǎng)絡(luò)模型,靠人工經(jīng)驗(yàn)管理這張網(wǎng)絡(luò)變得非常困難,運(yùn)維決策的成本高。
針對這些挑戰(zhàn),洛神3.0開始將數(shù)據(jù)融合到運(yùn)維和管控中,在內(nèi)部打造了一套智能化運(yùn)維平臺-齊天,在外部輸出了包括NIS、CEN等網(wǎng)絡(luò)智能化產(chǎn)品。
以齊天為例,洛神自研的齊天運(yùn)維平臺為了克服以上三大挑戰(zhàn)自研了包括vTrace、虛擬網(wǎng)絡(luò)可視化分析、分布式主被動測量,無人值守等運(yùn)維能力。
其中,vTrace成為國內(nèi)云網(wǎng)絡(luò)領(lǐng)域首次網(wǎng)絡(luò)領(lǐng)域旗艦會議SIGCOMM的論文。
06
展望未來
今年6月,阿里云提出了”Back to Basic”戰(zhàn)略,回到云計(jì)算的本質(zhì),堅(jiān)持技術(shù)長征。
回顧洛神的十年演進(jìn),更高性能、更大規(guī)模、更高彈性一直是洛神技術(shù)演進(jìn)的方向。
從基于X86的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層到可編程的高性能轉(zhuǎn)發(fā)技術(shù),從第一代傳統(tǒng)的SDN架構(gòu)到超大規(guī)模的第二代SDN控制技術(shù),從基于物理機(jī)的網(wǎng)元技術(shù)到基于虛擬機(jī)以及容器的超高彈性網(wǎng)元平臺,以及從傳統(tǒng)的自動化運(yùn)維演進(jìn)到數(shù)據(jù)融合的智能化網(wǎng)絡(luò)運(yùn)維,洛神不斷的通過軟硬件深度協(xié)同的模式在打破技術(shù)瓶頸。
作為阿里云云數(shù)據(jù)中心專用處理器CIPU中網(wǎng)絡(luò)部分的核心技術(shù)組成,洛神不僅需要在各項(xiàng)技術(shù)指標(biāo)上繼續(xù)深挖,同時(shí)也會探索5G融合,邊緣小型化等新領(lǐng)域,幫助阿里云拓展云的邊界,助力阿里云重新定義下一個(gè)時(shí)代的云計(jì)算架構(gòu)。


