★綴初網(wǎng)絡(luò )技術(shù)（上海）有限公司

 1　目標和概述 

隨著(zhù)5G時(shí)代的到來(lái)，車(chē)聯(lián)網(wǎng)、智慧城市、基于A(yíng)R/ VR等新型應用和工作場(chǎng)景層出不窮，終端設備的種類(lèi)和數量也大規模增長(cháng)。這些交互界面和終端設備產(chǎn)生了大規模的實(shí)時(shí)數據。除此之外，未來(lái)的交互，不僅是目前所熟悉的人與人、人與機器的交互，還會(huì )產(chǎn)生大量機器與機器之間，甚至集群級別的交互。同時(shí)，伴隨機器的單機或群體智能水平提升，數據將會(huì )呈現指數級增長(cháng)。面對新型應用和巨量的實(shí)時(shí)數據，邊緣云的應用場(chǎng)景和行業(yè)愈加廣泛，從技術(shù)商業(yè)化的歷史發(fā)展規律來(lái)看，PPIO基于邊緣云計算的高質(zhì)量音視頻邊緣服務(wù)與優(yōu)化解決方案將主要面向于以下應用場(chǎng)景： 

（1）短期：對低延時(shí)傳輸和控制成本有需求，比如短視頻和直播平臺、手機廠(chǎng)商等； 

（2）中長(cháng)期：云游戲、超低延時(shí)直播平臺等對超低延時(shí)有改善需求的場(chǎng)景； 

（3）長(cháng)期：邊緣云和邊緣計算最大的應用場(chǎng)景是有大量機器交互，對超低延時(shí)有剛性要求的新應用場(chǎng)景，而不僅僅是改善現有應用的效果，比如車(chē)聯(lián)網(wǎng)、智慧城市、空間數字化、基于A(yíng)R/VR的生活和工作場(chǎng)景等。這些場(chǎng)景對超低延時(shí)級別的數據傳輸和計算要求更加嚴格，達到了紅線(xiàn)標準的級別。

 PPIO高質(zhì)量音視頻邊緣服務(wù)與優(yōu)化解決方案，主 要目標在于為各類(lèi)內容提供商和終端用戶(hù)提供低時(shí)延、 高帶寬、高質(zhì)量的音視頻服務(wù)，利用邊緣計算架構、云原生框架、軟件定義網(wǎng)SDN、AI預測+調度算法等系統 和技術(shù)優(yōu)化邊緣云服務(wù)的服務(wù)質(zhì)量，實(shí)現邊緣云服務(wù)的 靈活、高效、智能部署。除此之外，PPIO在原有中心 云的架構上進(jìn)行彈性伸縮，從技術(shù)角度為用戶(hù)降低部署 成本。此系統以云原生為核心，可實(shí)現中心云與邊緣云 的多元融合。整套系統的底層結構不變，意味著(zhù)原本使 用中心云的客戶(hù)不用修改底層架構，其算力可以直接接 入彈性伸縮的邊緣側，從而大大降低客戶(hù)的部署成本。 彈性伸縮也是本方案的關(guān)鍵降本措施之一，以靈活的部 署和計費方案，實(shí)現資源的按需分配及回收。具有技術(shù) 創(chuàng )新性、廣泛的行業(yè)價(jià)值和社會(huì )價(jià)值。

 2　方案介紹 

  2.1　架構設計與基本能力 

圖1 項目核心架構 

如圖1所示，本方案面向匯聚邊緣計算能力，設計 了無(wú)縫連接的K8s@Edge、SDN@Edge、AIDevOps@ Edge三大主要框架，以整合服務(wù)節點(diǎn)并面向B端用戶(hù)輸 出的邊緣計算服務(wù)。通過(guò)大數據分析和智能調度技術(shù)， 實(shí)現按需求靈活調度，將分發(fā)內容調度至加速節點(diǎn)，優(yōu) 化終端用戶(hù)體驗。該技術(shù)適用于下載、點(diǎn)播、直播等多 種傳輸場(chǎng)景，實(shí)現了按需求調度，提升用戶(hù)體驗和服務(wù) 可靠性，同時(shí)降低帶寬成本。目前整體框架和核心技術(shù) 成熟，并在不斷迭代優(yōu)化。

 （1）K8s@Edge，標準開(kāi)放的云原生技術(shù)和能力K8s@Edge敏捷部署系統架構如圖2所示。 

 圖2 K8s@Edge敏捷部署系統架構圖 

首先，PPIO實(shí)現了K8s@Edge面向邊緣異構資 源的全局調度編排，將閑置資源用起來(lái)。云原生技 術(shù)是實(shí)現這種分布式系統最佳的選擇，但是傳統的 Kubernetes架構一般都是跑在一個(gè)機房?jì)鹊亩嗯_服 務(wù)器上的，需要將Kubernetes分布在全國數千個(gè)機 房的不同配置的服務(wù)器上，所以在保持接口兼容性 的情況下，PPIO高質(zhì)量音視頻邊緣服務(wù)編排系統對 Kubernetes做了定制化改造，增強了在網(wǎng)絡(luò )和存儲隔 離方面的能力，保證了安全可靠，同時(shí)可以和客戶(hù)指定 的中心云廠(chǎng)商實(shí)現跨云無(wú)縫對接，以實(shí)現算力在云邊兩 側的彈性伸縮和協(xié)同。 

基于目前主流的容器引擎K8s，在邊緣云領(lǐng)域進(jìn)行 了創(chuàng )新，提升了對資源的彈性納管能力，實(shí)現了云機效 率的極致。K8s在邊緣云的應用沒(méi)有先例，憑借技術(shù)團 隊的堅持和能力積累，成功實(shí)現了這款主流容器引擎在 邊緣云上的應用，是技術(shù)領(lǐng)域的重大突破。通過(guò)多次迭 代優(yōu)化，避免了“重復造車(chē)”的效率低下問(wèn)題。更重要 的是，K8s是現在云原生架構中使用的主流容器，基于 K8s進(jìn)行迭代開(kāi)發(fā)，可以保障產(chǎn)品和解決方案與業(yè)界通 用標準的高度兼容，能大幅提升解決方案和產(chǎn)品的開(kāi)放 性。 

（2）SDN@Edge，服務(wù)邊緣云分布式節點(diǎn)場(chǎng)景的創(chuàng )新Overlay網(wǎng)絡(luò )服務(wù)框架 

圖3 SDN@Edge與傳統SDN的架構對比 

PPIO高質(zhì)量音視頻邊緣服務(wù)編排系統拋棄傳 統網(wǎng)絡(luò )中使用的樹(shù)狀結構，參考服務(wù)網(wǎng)格（Service Mesh）思路，提供面向服務(wù)的點(diǎn)到點(diǎn)發(fā)現、路由和穩 定通信能力，并發(fā)式地實(shí)施監控預警、流量預測。任務(wù) 運行過(guò)程中，一旦發(fā)現某個(gè)節點(diǎn)有問(wèn)題，就會(huì )通過(guò)路徑 尋優(yōu)的方式，找到最適合的路徑來(lái)支持或疏解，從而保 證了云協(xié)同的流暢度，以及高質(zhì)量、穩定的網(wǎng)絡(luò )服務(wù)。 

SDN@Edge與傳統SDN的架構對比如圖3所示。 

（3）AI DevOps@Edge，云邊智能協(xié)同方案對傳統自動(dòng)化運維進(jìn)行升級，更好適配邊緣計算環(huán)境 

圖4 AI DevOps@Edge基礎架構 

對傳統的DevOps方案進(jìn)行智能化改造，利用 改進(jìn)的Boosting模型，對業(yè)務(wù)需求波動(dòng)進(jìn)行時(shí)空預 測，根據需求預測結果和不同客戶(hù)的SLA等級，利用 EdgeMatrix框架進(jìn)行業(yè)務(wù)調度優(yōu)化，并結合K8s@ Edge進(jìn)行運維部署，極大提高邊緣計算場(chǎng)景下的產(chǎn)品 交付質(zhì)量和運維效率，以及邊緣節點(diǎn)的資源利用率，并 有效解決了資源異構、資源競爭和供需兩端動(dòng)態(tài)波動(dòng)的 三個(gè)問(wèn)題。 

（4）KaiS，其為邊云集群系統設計的基于學(xué)習的 調度框架 

圖5 面向Kubernetes邊緣云系統的雙尺度調度

 KaiS采用了一種雙時(shí)間尺度調度機制來(lái)協(xié)調請求指 派和服務(wù)編排，并給出了部署上述算法與原生K8s組件 兼容的設計實(shí)現，首先基于圖神經(jīng)網(wǎng)絡(luò )進(jìn)行集中式服務(wù) 編排，從而將不同類(lèi)型的服務(wù)部署到各個(gè)計算節點(diǎn)，然 后基于多智能體算法進(jìn)行分布式請求指派，從而將不同 類(lèi)型的請求卸載到各個(gè)計算節點(diǎn)，實(shí)現高效系統調度。 

（5）EdgeMatrix，引入了網(wǎng)絡(luò )化多智能體演員-評 判家算法，將物理資源重新定義為邏輯隔離的資源組合 EdgeMatrix引入了網(wǎng)絡(luò )化多智能體演員-評判家算法 （Networked Multi-agent Actor-Critic, NMAC）進(jìn)行 資源定制，以及基于次模函數優(yōu)化的啟發(fā)式算法JSORD 用于解決請求指派和服務(wù)編排問(wèn)題。

    圖6 EdgeMatrix框架

  2.2　應用與部署案例 

截至目前，PPIO高質(zhì)量音視頻邊緣服務(wù)與優(yōu)化解決 方案已為多家互聯(lián)網(wǎng)巨頭、一線(xiàn)云計算服務(wù)商、獨角獸級 創(chuàng )業(yè)公司，提供符合低時(shí)延、高帶寬、海量數據分布處理 需求的邊緣云計算服務(wù)，所有解決方案和服務(wù)均承諾可用 性不低于99.9%，多環(huán)節冗余災備實(shí)現高可用保證。 

（1）直播 

業(yè)務(wù)痛點(diǎn)：隨著(zhù)電子競技行業(yè)的蓬勃發(fā)展，越來(lái)越 多的正規電競賽事開(kāi)始被宣傳和關(guān)注。作為業(yè)內領(lǐng)先的 電競賽事直播平臺，客戶(hù)希望能夠在賽事直播高峰期間 減少CDN源站壓力，同時(shí)提供時(shí)延更低、彈性擴容、 性?xún)r(jià)比更高的網(wǎng)絡(luò )來(lái)保證終端用戶(hù)的觀(guān)賽體驗。 

 解決方案：為了滿(mǎn)足客戶(hù)的需求，在原有方案的 基礎上進(jìn)行了SDK定制化開(kāi)發(fā)，簡(jiǎn)化客戶(hù)開(kāi)發(fā)工作的同 時(shí)增強了系統容錯性；通過(guò)自研的智能調度算法和支持 彈性擴容的海量資源池，不斷優(yōu)化直播場(chǎng)景相關(guān)質(zhì)量指 標，其中“放大比”等關(guān)鍵指標多次受到客戶(hù)的肯定。 

 服務(wù)效果：不僅在重要賽事直播期間幫助客戶(hù)源站減 輕了大量的請求和分發(fā)壓力，而且在各項質(zhì)量指標正常的 情況下承接住了較大量級的用戶(hù)需求，為多項國際電競賽 事的直播提供了良好的保障，也為客戶(hù)節省了帶寬成本。 

 （2）短視頻 

業(yè)務(wù)痛點(diǎn)：在短視頻業(yè)務(wù)全面爆發(fā)的大環(huán)境下，客 戶(hù)平臺的用戶(hù)數量呈現高速增長(cháng)的趨勢，且用戶(hù)群體向 下沉市場(chǎng)發(fā)展。如何能夠保證終端用戶(hù)的體驗，并實(shí)現 降本增效，成為客戶(hù)的首要問(wèn)題。

 解決方案：針對客戶(hù)的痛點(diǎn)及需求，通過(guò)業(yè)務(wù)類(lèi)型 分析聚類(lèi)技術(shù)，為客戶(hù)匹配最佳機器配置，在短時(shí)間內 提供滿(mǎn)足需求區域的資源節點(diǎn)，并快速部署任務(wù)，根據 業(yè)務(wù)的實(shí)際使用情況不斷進(jìn)行優(yōu)化，為客戶(hù)提供了穩定 的、可伸縮的、性?xún)r(jià)比高的邊緣容器云環(huán)境，大幅提升 了應用部署效率。 

 服務(wù)效果：致力于為客戶(hù)提供更加靠近終端用戶(hù) 的緣加速節點(diǎn)，解決“最后一公里”問(wèn)題的用戶(hù)體驗問(wèn) 題，尤其是在春節及其他重大節日流量陡增時(shí)，PPIO高 質(zhì)量音視頻邊緣服務(wù)編排系統的網(wǎng)絡(luò )彈性經(jīng)受住了一次 又一次的考驗，為客戶(hù)降本增效，獲得了客戶(hù)的好評。 

3　代表性及推廣價(jià)值 

  3.1　技術(shù)創(chuàng )新性 

PPIO之所以能夠深挖服務(wù)和應用場(chǎng)景，一部分能 力來(lái)自于之前在PPTV的技術(shù)積累，PPTV實(shí)現了將數 億臺PC機進(jìn)行鏈接，利用每個(gè)人閑置的帶寬和硬盤(pán)資 源來(lái)分布式存儲和傳輸視頻服務(wù)，從而大幅度降低了對 于服務(wù)器資源的使用。而PPIO針對的資源是碎片化、 非標異構的服務(wù)器資源，對于可靠性、安全性要求更 高，因此技術(shù)路線(xiàn)也有所不同。最后，由于節點(diǎn)的碎片 化和下沉，相互之間的網(wǎng)絡(luò )連接并沒(méi)有傳統數據中心的 骨干網(wǎng)或專(zhuān)線(xiàn)那么可靠，在流量高峰期的時(shí)候可能會(huì )出 現擁塞和丟包情況，PPIO又研發(fā)了一套動(dòng)態(tài)SDN的技 術(shù)，這個(gè)技術(shù)和之前開(kāi)發(fā)PPTV時(shí)采用的P2P流媒體技 術(shù)有相似的地方，相當于在各個(gè)節點(diǎn)之間建立了一套可 自定義服務(wù)質(zhì)量的Overlay傳輸網(wǎng)絡(luò )，通過(guò)這套網(wǎng)絡(luò )保 證了節點(diǎn)間網(wǎng)絡(luò )傳輸的質(zhì)量和穩定性。

   3.2　效益價(jià)值 

（1）毫秒級低延遲，時(shí)延<30ms 將優(yōu)質(zhì)節點(diǎn)部署在用戶(hù)終端周邊，覆蓋全國各縣市 和主流運營(yíng)商，將服務(wù)內容分發(fā)至全網(wǎng)加速節點(diǎn)，解決 網(wǎng)絡(luò )擁堵問(wèn)題，有效提升訪(fǎng)問(wèn)成功率和響應速度，降低 50%傳輸成本，提供低至毫秒級的處理時(shí)延。 

（2）極致效率，調度率提升35% 用標準開(kāi)放的云原生技術(shù)和能力來(lái)實(shí)現邊緣容器 編排，將資源調度效率提升了35%，實(shí)現了極致的云 機效率。 

（3）高質(zhì)服務(wù)，流暢度提高300% 拋棄傳統網(wǎng)絡(luò )樹(shù)狀結構的路徑，自主研發(fā)SDN@ Edge，即服務(wù)分布式邊緣節點(diǎn)的新型Overlay網(wǎng)絡(luò )服務(wù) 框架，將播放超高清視頻流暢度提高300%。 

（4）智能運營(yíng)，利用率提升15% 對傳統的DevOps方案進(jìn)行智能化改造，利用改進(jìn)的 Boosting模型，通過(guò)云邊智能協(xié)同，能夠自動(dòng)處理90%以上 的運維問(wèn)題極大地提高邊緣計算場(chǎng)景下的產(chǎn)品交付質(zhì)量和 運維效率，以及將邊緣節點(diǎn)的資源利用率提升15%。

摘自《自動(dòng)化博覽》2023年第2期暨《邊緣計算2023專(zhuān)輯》