1、目標和概述

全球已經(jīng)掀起行業(yè)數字化轉型的浪潮，數字化是基礎、網(wǎng)絡(luò )化是支撐、智能化是目標。智能化社會(huì )的一個(gè)典型特征即物理世界和數字世界的深度融合，未來(lái)數字世界通過(guò)IoT、AR等技術(shù)提供的傳感器、執行器，與真實(shí)世界產(chǎn)生互動(dòng)。網(wǎng)絡(luò )作為物理世界和數字世界的連接的橋梁實(shí)現數據流動(dòng)。網(wǎng)絡(luò )連接的一側是IoT的傳感器和執行器的I/O，作為物理世界和數字世界的接口產(chǎn)生海量數據，對網(wǎng)絡(luò )提出更高帶寬、更低時(shí)延、更強安全的需求；另一側是人工智能運算所需要的數據、算力、算法，實(shí)現數據價(jià)值化。海量數據的傳輸、分析和存儲對傳統網(wǎng)絡(luò )和云計算提出了巨大挑戰，使云計算和網(wǎng)絡(luò )面臨“傳不暢、算不動(dòng)、存不下”的局面， 所以為了滿(mǎn)足大數據傳輸，或者低時(shí)延、高安全的業(yè)務(wù)需求，驅動(dòng)計算從云端下移到接近數據源的邊緣近處理和分析數據。從云計算、邊緣計算乃至到普適計算的發(fā)展大趨勢下，未來(lái)社會(huì )中會(huì )在靠近用戶(hù)的不同距離遍布許多不同規模的算力，通過(guò)全球網(wǎng)絡(luò )為用戶(hù)提供各類(lèi)個(gè)性化的服務(wù)。從百億量級的智能終端，到全球十億量級的家庭網(wǎng)關(guān)，再到每個(gè)城市中未來(lái)MEC帶來(lái)的數千個(gè)具備計算能力的基站，以及數百個(gè)NFV化帶來(lái)的Cloud CO機房，以及每個(gè)國家數十個(gè)大型的云DC，形成海量的泛在算力從各處接入互聯(lián)網(wǎng)，形成計算和網(wǎng)絡(luò )深度融合的趨勢。面對網(wǎng)絡(luò )計算融合的新網(wǎng)絡(luò )趨勢，邊緣計算乃至泛在計算場(chǎng)景中，由于單個(gè)站點(diǎn)的算力資源有限，需要多個(gè)分布式邊緣計算站點(diǎn)互聯(lián)，組成松散耦合的邊緣云集群協(xié)同工作，現有架構一般通過(guò)集中式編排層來(lái)管理和調度，存在可擴展和調度性能差的問(wèn)題。

傳統基于客戶(hù)端/服務(wù)器客戶(hù)端與長(cháng)生存周期的服務(wù)端進(jìn)程通信，服務(wù)端處理大部分業(yè)務(wù)邏輯。隨著(zhù)微服務(wù)的發(fā)展，傳統的客戶(hù)端/服務(wù)器模式被解構，服務(wù)器側的應用解構成功能組件部署在云平臺上，由API網(wǎng)關(guān)統一調度，可以做到按需動(dòng)態(tài)實(shí)例化，服務(wù)器中的業(yè)務(wù)邏輯轉移到客戶(hù)側，客戶(hù)只需要關(guān)心計算功能本身，而無(wú)需關(guān)心服務(wù)器、虛擬機、容器等計算資源，聚焦業(yè)務(wù)邏輯，從而實(shí)現函數即服務(wù)。 而當前互聯(lián)網(wǎng)的假設是靜態(tài)的server加上移動(dòng)的client，傳統基于DNS解析的IP尋址，以及建立TCP/TLS會(huì )話(huà)的網(wǎng)絡(luò )模式，也難以發(fā)揮動(dòng)態(tài)、微服務(wù)、泛在計算的優(yōu)勢，不能保證計算效率最大化。未來(lái)網(wǎng)絡(luò )需要能夠支持不同的計算類(lèi)應用，根據不同的業(yè)務(wù)需求，網(wǎng)絡(luò )實(shí)時(shí)狀況，計算資源實(shí)時(shí)狀況，可以動(dòng)態(tài)地路由到離client不同距離的計算節點(diǎn)上執行計算任務(wù)，實(shí)現用戶(hù)體驗最優(yōu)、計算資源利用率最優(yōu)、網(wǎng)絡(luò )效率最優(yōu)。

該方案主體目標為面向網(wǎng)絡(luò )計算融合趨勢，以無(wú)所不在的網(wǎng)絡(luò )連接為基礎，基于分布式的邊緣計算節點(diǎn)，通過(guò)服務(wù)的自動(dòng)化最優(yōu)路由和負載均衡，構建算力感知的全新的網(wǎng)絡(luò )基礎設施，真正實(shí)現網(wǎng)絡(luò )無(wú)所不達，算力無(wú)處不在，智能無(wú)所不及。 幫助海量應用、海量功能函數、海量計算資源構成一個(gè)開(kāi)放的生態(tài); 海量的應用能夠按需、實(shí)時(shí)調用不同地方的計算資源，提高計算資源利用效率實(shí)現用戶(hù)體驗最優(yōu)、計算資源利用率最優(yōu)、網(wǎng)絡(luò )效率最優(yōu)。

圖1 算力感知網(wǎng)絡(luò )總體架構

2、解決方案介紹

2.1　面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案系統架構

面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案系統架構如圖2所示，主要包括以下部分：

• 入口節點(diǎn)功能：面向客戶(hù)端，負責服務(wù)的實(shí)時(shí)尋址和流量調度?！?/p>

• 出口節點(diǎn)功能：面向服務(wù)端，負責服務(wù)狀態(tài)的查詢(xún)、匯聚和全網(wǎng)發(fā)布。

• 算力感知網(wǎng)絡(luò )節點(diǎn)(CAN節點(diǎn))：主要互聯(lián)分布式的邊緣計算節點(diǎn),并對算力可感知、可度量以及可控制的網(wǎng)絡(luò )節點(diǎn)。

圖2 面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案系統架構

2.2 面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案

面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案，即基于當前網(wǎng)絡(luò )可用的算力和服務(wù)，結合網(wǎng)絡(luò )實(shí)時(shí)狀況，靈活匹配、動(dòng)態(tài)調度計算資源，將終端的計算卸載到合適計算節點(diǎn)，邊緣或者中心云，支撐業(yè)務(wù)的計算需求，保證業(yè)務(wù)的用戶(hù)體驗。面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案技術(shù)方案具體包括算力服務(wù)感知協(xié)議與流程交互、邊云協(xié)同調度機制、邊云協(xié)同的數據通信等部分。

（1）算力服務(wù)感知協(xié)議與流程交互

通過(guò)在路由表中增加計算性能評估參數，如計算剩余能力、計算時(shí)延、以及其他可擴展參數，加權計算網(wǎng)絡(luò )性能與計算性能之和，綜合考量網(wǎng)絡(luò )與計算性能，選出最優(yōu)執行節點(diǎn)，為計算業(yè)務(wù)做路由轉發(fā)。由于所選路由以計算優(yōu)先為原則，使其時(shí)延大大降低，配合邊緣算力可以滿(mǎn)足低時(shí)延應用需求。路由表中包含計算性能數據和網(wǎng)絡(luò )性能數據，路由節點(diǎn)周期性發(fā)送網(wǎng)絡(luò )性能探測包、計算性能探測包，收集本地及臨近路由節點(diǎn)網(wǎng)絡(luò )與計算性能數據，用以更新路由表。路由節點(diǎn)收到業(yè)務(wù)請求后，根據服務(wù)ID、網(wǎng)絡(luò )與計算性能加權結果確定業(yè)務(wù)路由。計算和網(wǎng)絡(luò )信息可以通過(guò)擴展現有BGP、IGP協(xié)議在CFN網(wǎng)絡(luò )進(jìn)行擴散和同步。

同一個(gè)service，對應唯一的service ID，在網(wǎng)絡(luò )中不同節點(diǎn)部署該service時(shí)，即在網(wǎng)絡(luò )中散布服務(wù)多副本，對應多個(gè)不同的service IP地址，將同一個(gè)service的多副本映射為同一個(gè)service ID。為與現有業(yè)務(wù)層兼容，service ID使用業(yè)務(wù)層定義的業(yè)務(wù)ID（即以IP格式轉意的業(yè)務(wù)ID）。Age是路由項老化時(shí)間。

圖3 算力服務(wù)感知協(xié)議交互流程

（2）云邊協(xié)同的分布式調度機制

當本地路由節點(diǎn)收到計算任務(wù)的數據包時(shí)，首先確定該數據包的計算任務(wù)類(lèi)型，計算任務(wù)類(lèi)型包含服務(wù) ID、流粘性需求屬性等，基于預先獲取的計算任務(wù)類(lèi)型、其他計算節點(diǎn)和計算性能的對應關(guān)系，確定該計算任務(wù)類(lèi)型對應的至少一個(gè)其他節點(diǎn)和其對應的計算性能?；谄渌濣c(diǎn)的計算性能，以及本地節點(diǎn)與其他節點(diǎn)之間的網(wǎng)絡(luò )性能如鏈路狀態(tài)，綜合考量確定執行的目標節點(diǎn)。目標節點(diǎn)的地址即數據包的路由目的地址，而后基于目標地址對數據包進(jìn)行轉發(fā)。計算和網(wǎng)絡(luò )性能信息可以通過(guò)擴展現有BGP、IGP協(xié)議在CFN網(wǎng)絡(luò )進(jìn)行擴散和同步。

（3）邊云協(xié)同的數據面通信過(guò)程

對于實(shí)時(shí)性,可靠性要求更高的業(yè)務(wù)，可以在接收到首個(gè)服務(wù)報文后, 選擇基于隨路查詢(xún)進(jìn)一步選擇最佳節點(diǎn)來(lái)提供服務(wù)： 入口節點(diǎn)功能模塊（ingressnode）接收用戶(hù)設備發(fā)往目標服務(wù)節點(diǎn)的首個(gè)報文后將原始報文復制多份并隨路發(fā)送服務(wù)以及網(wǎng)絡(luò )查詢(xún)測量報文（即OAM報文，OAM查詢(xún)測量報文可以在原始報文頭部或單獨發(fā)送），同時(shí)發(fā)送給多個(gè)出口節點(diǎn)功能模塊（egress node），通過(guò)查詢(xún)測量獲取取其計算性能（如服務(wù)負載）和/或網(wǎng)絡(luò )性能（如時(shí)延）。egressnode收到后根據本地計算和網(wǎng)絡(luò )的實(shí)時(shí)信息通過(guò)OAM應答ingress node，并將原始首包繼續轉發(fā)到服務(wù)計算節點(diǎn)，ingress node基于egress node返回的計算性能和/或網(wǎng)絡(luò )性能確定目標路由節點(diǎn)并建立轉發(fā)流表FIB，由該目標路由節點(diǎn)連接的一個(gè)目標服務(wù)節點(diǎn)為用戶(hù)設備提供服務(wù)。

圖4 跨邊緣計算節點(diǎn)的數據面通信過(guò)程

2.3　基于中國移動(dòng)邊緣計算自研SIGMA平臺的應用

中國移動(dòng)的Sigma平臺是面向邊緣計算的PaaS平臺，基于云原生的架構，支持不同功能模塊的運行，為應用提供管理、網(wǎng)絡(luò )和行業(yè)特色API能力。面向邊緣應用開(kāi)放的能力API需要支持統一管理，構建統一的能力API注冊、注銷(xiāo)、激活、去激活、發(fā)布、訂閱更新以及更新通知等機制，方便應用調用并支持統一運營(yíng)與維護。滿(mǎn)足互聯(lián)網(wǎng)和行業(yè)用戶(hù)業(yè)務(wù)使用邊緣能力的需求，提供邊緣計算集群管理、應用多集群的部署、第三方PaaS能力引入等云能力。具備集群可擴展和多集群等特征，適配將來(lái)大規模邊緣計算集群PaaS管理。Simga平臺支持“智慧城市”、“智能制造”、“車(chē)聯(lián)網(wǎng)”、“醫療教育”、“游戲直播”等行業(yè)，提供運營(yíng)商特有的無(wú)線(xiàn)能力和核心網(wǎng)能力包括位置服務(wù)、帶寬管理服務(wù)、無(wú)線(xiàn)網(wǎng)絡(luò )信息服務(wù)。

本技術(shù)方案已經(jīng)集成在中國移動(dòng)移動(dòng)邊緣計算自研SIGMA平臺，作為Sigma網(wǎng)絡(luò )特色能力，進(jìn)行邊跨緣計算站點(diǎn)之間的云邊協(xié)同，實(shí)現計算任務(wù)的按需匹配和靈活調度。目前已經(jīng)聯(lián)合浙江移動(dòng)啟動(dòng)邊緣計算試點(diǎn)進(jìn)行現網(wǎng)實(shí)驗局概念驗證，從集成測試、功能測試和性能測試不同維度驗證本技術(shù)方案的可行性和性能，推動(dòng)本技術(shù)方案的標準和規?；渴?。

圖5 測試拓撲圖

3、代表性及推廣價(jià)值

（1）面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò )解決方案將分散的邊緣計算站點(diǎn)互聯(lián)，組成松散耦合的邊緣云集群協(xié)同工作以提高系統的可伸縮性和健壯性，構建邊緣與中心云的一體化生態(tài)；提供分布化計算和存儲系統的全局優(yōu)化，內建計算任務(wù)動(dòng)態(tài)路由的能力，根據業(yè)務(wù)需求，基于實(shí)時(shí)的計算資源性能、網(wǎng)絡(luò )性能、成本等多維因素，動(dòng)態(tài)、靈活地調度計算任務(wù)，從而提高資源利用率，網(wǎng)絡(luò )利用效率，提高業(yè)務(wù)用戶(hù)體驗。

（2）本技術(shù)方案通過(guò)互聯(lián)分布化的邊緣計算站點(diǎn)，拉通不同位置的邊緣云和中心云構成融合業(yè)務(wù)網(wǎng)絡(luò )，實(shí)現“網(wǎng)絡(luò )云（In-network Cloud）”基礎設施，實(shí)現計算資源即插即用，解決服務(wù)多副本、服務(wù)動(dòng)態(tài)性問(wèn)題。

（3）面向OTT提供開(kāi)放的計算和存儲能力，助力傳統運營(yíng)商向In-Net Cloud轉型。

（4）通過(guò)計算資源統計復用，及組播等技術(shù)，實(shí)現計算資源、網(wǎng)絡(luò )資源最大化利用。

（5）新的交易模式催生網(wǎng)絡(luò )貨幣化，資源提供者變現，助力運營(yíng)商實(shí)現網(wǎng)絡(luò )即服務(wù)功能。

 圖6 基于算力感知網(wǎng)絡(luò )的邊邊協(xié)同應用場(chǎng)景

摘自《自動(dòng)化博覽》2020年7月刊