北京金山云網(wǎng)絡(luò )技術(shù)有限公司

1 目標和概述

隨著(zhù)5G時(shí)代的到來(lái)，視頻用戶(hù)數及視頻業(yè)務(wù)量發(fā)展迅猛，用戶(hù)對視頻服務(wù)的體驗性要求越來(lái)越高，視頻數據如何高效、低成本地存儲、分發(fā)面臨極大的挑戰。

當前視頻行業(yè)內從客戶(hù)端產(chǎn)生的視頻數據均會(huì )在中心云進(jìn)行匯聚存儲，然后根據業(yè)務(wù)需求進(jìn)行計算或者分發(fā)、調閱。這種傳統的直播架構，會(huì )出現全量源站轉碼業(yè)務(wù)無(wú)法錯峰、資源利用率低、使用多廠(chǎng)商系統需求排期長(cháng)、故障難以定位等問(wèn)題。

這種架構下業(yè)務(wù)產(chǎn)生的大流量給骨干網(wǎng)絡(luò )和中心云帶來(lái)了非常大的負擔，同時(shí)由于中心云的承載能力有限，成本較高，也給業(yè)務(wù)的發(fā)展帶來(lái)了限制。

針對此情況，將中心云的能力選擇性下沉到邊緣成了邊緣計算必須要解決的問(wèn)題。金山云全球同步的邊緣計算存儲方案，將視頻云的能力下沉到邊緣，直播生產(chǎn)端完全自主可控，具備任意選擇分發(fā)端的能力，同時(shí)采用了熱流回源、冷流分發(fā)等核心技術(shù)，降低源站回源帶寬，提高資源利用率，成本更優(yōu)。

當前的解決方案通過(guò)在邊緣計算部署存儲系統，先解決數據存儲的問(wèn)題，從客戶(hù)端產(chǎn)生的數據將優(yōu)先按照區域歸屬進(jìn)行集中。數據在邊緣落地后進(jìn)一步進(jìn)行計算和分析。再按照業(yè)務(wù)需求到中心做二次集中。

該解決方案可以有效地降低中心云的負載，同時(shí)數據按照歸屬地邊緣和業(yè)務(wù)需求進(jìn)行分級存儲和按需集中，有效地降低業(yè)務(wù)的成本。系統會(huì )自行根據訪(fǎng)問(wèn)者劃分歸屬地，全程業(yè)務(wù)無(wú)感知，零侵入。

2 方案介紹

圖1是系統架構圖，邊緣計算部署計算和存儲服務(wù)。調度系統根據客戶(hù)端的來(lái)源確定其歸屬邊緣節點(diǎn)。設備直接訪(fǎng)問(wèn)歸屬地的邊緣節點(diǎn)。數據直接在對應的邊緣節點(diǎn)落地并存儲，利用邊緣計算進(jìn)行分析或者計算轉碼等業(yè)務(wù)流程，再根據業(yè)務(wù)需求集中到中心存儲。

圖1 系統架構圖

這種架構下，由于數據在邊緣進(jìn)行落地，需要解決數據的異地訪(fǎng)問(wèn)問(wèn)題。所以在存儲的基礎上，進(jìn)一步拓展數據同步和互訪(fǎng)的能力?？蛻?hù)訪(fǎng)問(wèn)數據會(huì )優(yōu)先訪(fǎng)問(wèn)歸屬地邊緣計算的存儲系統，存儲系統再根據該數據是否存在于歸屬地存儲本地，自動(dòng)地進(jìn)行數據同步拉取和返回。

2.1 產(chǎn)品定義

邊緣產(chǎn)品由邊緣存儲與邊緣計算兩個(gè)部分構成。核心從降低處理延時(shí)和降低與中心機房交互帶寬兩個(gè)層面優(yōu)化用戶(hù)體驗。在IoT場(chǎng)景下，特別在網(wǎng)絡(luò )視頻監控的場(chǎng)景下，對處理延時(shí)和成本要求都非常顯著(zhù)。此時(shí)邊緣相比于中心而言?xún)?yōu)勢非常明顯。

（1）邊緣存儲

邊緣存儲是在邊緣建設獨立的存儲節點(diǎn)，與中心相關(guān)聯(lián)，使得邊緣具備絕大部分的存儲能力。并遵循網(wǎng)絡(luò )訪(fǎng)問(wèn)最優(yōu)原則進(jìn)行區域內的網(wǎng)絡(luò )調度，以達到最優(yōu)化的訪(fǎng)問(wèn)性能。同時(shí)，系統會(huì )根據各節點(diǎn)帶寬的狀態(tài)，動(dòng)態(tài)地對邊緣的上行流量、邊緣與中心的數據同步進(jìn)行調整，合理地對邊緣與中心的帶寬進(jìn)行復用，以達到成本的最優(yōu)化。

（2）邊緣計算邊緣計算是通過(guò)在邊緣提供應用式的容器化的計算能力實(shí)現的。中心可以靈活地對邊緣的應用進(jìn)行配置和管理，可以任意指定其使用的鏡像版本、資源規格及配置，并支持對應用進(jìn)行灰度發(fā)布。一般認為，邊緣計算所需的數據會(huì )存在于同區域的存儲中。且對于邊緣存儲，邊緣計算也會(huì )依照最優(yōu)原則進(jìn)行網(wǎng)絡(luò )調度，以實(shí)現訪(fǎng)問(wèn)性能的最優(yōu)化。

2.2 產(chǎn)品設計

整個(gè)架構中，中心擁有最充裕的資源和最完整的能力。包括全量的元數據、計算的配置信息等。一般認為邊緣的數據最終會(huì )遷移回中心進(jìn)行存儲，且由于邊緣與邊緣之間網(wǎng)絡(luò )狀態(tài)完全不可控。所以有以下幾點(diǎn)設計原則：

通過(guò)數據流與請求流進(jìn)行說(shuō)明，數據流主要由上傳下載請求構成，其數據量較大，對網(wǎng)絡(luò )穩定性要求較高。請求流包含計算請求、內部控制請求等，數據量較小，重試成本較低。

對于數據流：由于網(wǎng)絡(luò )的關(guān)系，一般認為邊緣與邊緣之間不存在數據流。若存在跨邊緣數據讀取的情況，考慮直接回中心。且由于邊緣與中心之間的數據最終會(huì )遷移回中心存儲，所以一般情況下，認為邊緣與中心的數據流為單向的，即數據由邊緣流向中心。非必要情況下不考慮中心往邊緣回吐數據。

對于請求流：對于內部控制請求，出于安全考慮，邊緣與邊緣的交互經(jīng)由中心進(jìn)行路由。對于計算請求，若存在跨運營(yíng)商等惡劣網(wǎng)絡(luò )條件下的訪(fǎng)問(wèn)，考慮直接回中心，若同運營(yíng)商的訪(fǎng)問(wèn)，考慮重定向請求至對應節點(diǎn)。

上傳：分為普通上傳、分片上傳、追加上傳三種模式，普通上傳中數據直接上傳到邊緣節點(diǎn)，元數據信息會(huì )寫(xiě)到中心機房；分片上傳數據直接上傳到邊緣節點(diǎn)，分片元數據信息會(huì )寫(xiě)到中心機房；追加上傳數據直接上傳到邊緣節點(diǎn)，追加上傳元數據信息會(huì )寫(xiě)到中心機房。

下載：當用戶(hù)訪(fǎng)問(wèn)下載域名或使用SDK進(jìn)行下載時(shí)，調度系統將根據用戶(hù)網(wǎng)絡(luò )情況按照和上傳時(shí)一致的調度規則返回給用戶(hù)當前的下載節點(diǎn)。

調度：邊緣調度分為內部流量調度和外部訪(fǎng)問(wèn)調度。

外部訪(fǎng)問(wèn)調度主要是根據用戶(hù)區域將用戶(hù)的訪(fǎng)問(wèn)請求調度至對應的邊緣。內部流量調度主要用于調度邊緣與中心間的同步流量，充分進(jìn)行流量復用，以達到成本最優(yōu)。

3 代表性及推廣價(jià)值

近期，“能耗雙控”政策紛紛執行落地，限電限產(chǎn)措施在多個(gè)省份密集推出，“雙高”企業(yè)輪番接到限產(chǎn)通知。企業(yè)與相關(guān)產(chǎn)業(yè)鏈都受到波及。

2021年8月，國家發(fā)展改革委在例行新聞發(fā)布會(huì )上直接點(diǎn)名青海、寧夏、廣西、廣東、福建、新疆、云南、陜西、江蘇9地上半年能耗強度同比不降反升。此外，還有10個(gè)省份的能耗強度降低率未達到進(jìn)度要求，全國節能形勢十分嚴峻。

根據要求，上述地區2021年將暫停國家規劃布局重大項目以外的“兩高”項目節能審查，確保完成全年能耗雙控目標特別是能耗強度降低的目標任務(wù)。

對于視頻行業(yè)客戶(hù)而言，如果將所有數據都匯存在中心云，假如中心云地理位置在北京，北京的用戶(hù)訪(fǎng)問(wèn)北京數據，上海的用戶(hù)也要通過(guò)網(wǎng)絡(luò )來(lái)北京訪(fǎng)問(wèn)數據，全國用戶(hù)都向北京數據中心訪(fǎng)問(wèn)，就會(huì )造成網(wǎng)絡(luò )堵塞，能耗加大導致電力中斷或不穩定，可能會(huì )對作為企業(yè)數字命脈的IT系統持續運行造成重大影響。選擇一家專(zhuān)業(yè)云服務(wù)商，日常將數據上傳到云廠(chǎng)商的對象存儲保存，同時(shí)將數據文件下沉到離用戶(hù)最近的邊緣節點(diǎn)存儲備份，這樣就可以將業(yè)務(wù)中斷時(shí)間的數據丟失和損害的可能性降到最低；也可在緊急情況發(fā)生時(shí)，直接切換流量到邊緣端，保證業(yè)務(wù)和生產(chǎn)環(huán)境的連續性。

經(jīng)過(guò)一段時(shí)間的使用，全球同步的邊緣計算存儲方案為客戶(hù)帶來(lái)的效益是可觀(guān)的。很多客戶(hù)向金山云反映，他們體會(huì )到了邊緣計算存儲方案的優(yōu)秀存儲、分發(fā)機制，在訪(fǎng)問(wèn)邊緣存儲文件時(shí)速度比以前快了很多，而且再沒(méi)有出現過(guò)網(wǎng)絡(luò )堵塞現象。這表明，邊緣計算存儲方案的部署節省了客戶(hù)在讀取文件過(guò)程中所消耗的時(shí)間，并且幾乎杜絕了訪(fǎng)問(wèn)過(guò)程中的斷線(xiàn)情況。在客戶(hù)對邊緣計算存儲方案的評估過(guò)程中，金山云全球同步的邊緣計算存儲方案對網(wǎng)絡(luò )性能起到了驚人的加速效果，并且將帶寬的使用效率進(jìn)行了大幅度的提高，節省了43%的帶寬并將訪(fǎng)問(wèn)時(shí)間縮減為測試前的2/3。

摘自《自動(dòng)化博覽》2022年2月刊