1.4.3 聯(lián)接計算Fabric
聯(lián)接計算Fabric是一個(gè)虛擬化的聯(lián)接和計算服務(wù)層,主要價(jià)值包括:
屏蔽ECN節點(diǎn)異構性;
降低智能分布式架構在數據一致性、容錯處理等方面的復雜性;
資源服務(wù)的發(fā)現、統一管理和編排;
支持ECN節點(diǎn)間的數據和知識模型的共享;
支持業(yè)務(wù)負載的動(dòng)態(tài)調度和優(yōu)化;
支持分布式的決策和策略執行。
聯(lián)接計算Fabric的主要功能包括:
(1)資源感知
可以感知每個(gè)ECN節點(diǎn)的ICT資源狀態(tài)(如網(wǎng)絡(luò )聯(lián)接的質(zhì)量,CPU占有率等)、性能規格(如實(shí)時(shí)性)、位置等物理信息等,為計算負載在邊緣側的分配和調度提供了關(guān)鍵輸入。
(2)EVF服務(wù)感知
它能感知系統提供了哪些EVF服務(wù),這些服務(wù)分布在哪些ECN節點(diǎn)上,每個(gè)EVF服務(wù)在服務(wù)哪些計算任務(wù)、任務(wù)執行的狀態(tài)等。從而為計算任務(wù)的調度提供輸入。
(3)計算任務(wù)調度
既支持主動(dòng)的任務(wù)調度,能夠根據資源狀態(tài)、服務(wù)感知、ECN節點(diǎn)間的聯(lián)接帶寬、計算任務(wù)的SLA要求等,自動(dòng)化地在將任務(wù)拆分成多個(gè)子任務(wù)并分配到多個(gè)ECN節點(diǎn)上協(xié)同計算。也支持把計算資源、服務(wù)資源等通過(guò)開(kāi)放接口對業(yè)務(wù)開(kāi)放,業(yè)務(wù)能夠主動(dòng)地控制計算任務(wù)的調度過(guò)程。
(4)數據協(xié)同
ECN節點(diǎn)對南向的協(xié)議適配,ECN節點(diǎn)之間的東西聯(lián)接使用統一的數據聯(lián)接協(xié)議。通過(guò)數據協(xié)同,節點(diǎn)間可以相互交互數據、知識模型等。ECN節點(diǎn)需要知道特定的數據需要在哪些節點(diǎn)間共享,共享的方式包括簡(jiǎn)單的廣播、Pub-Sub模式等。
(5)多視圖呈現
能夠按照租戶(hù)、業(yè)務(wù)邏輯等進(jìn)行業(yè)務(wù)呈現,屏蔽物理聯(lián)接的復雜性。例如,每個(gè)租戶(hù)只需要看到他所運行的計算任務(wù),這些任務(wù)在計算聯(lián)接Fabric上的分布情況。同時(shí),也可以靈活地按需疊加所需要的智能資產(chǎn)、智能網(wǎng)關(guān)、智能系統的位置等物理信息。
(6)服務(wù)接口開(kāi)放
通過(guò)開(kāi)放接口提供計算任務(wù)請求、資源狀態(tài)反饋、任務(wù)執行狀態(tài)反饋等,屏蔽智能資產(chǎn)、智能網(wǎng)關(guān)和智能系統的物理差異。
圖5 功能視圖:聯(lián)接計算Fabric
1.4.4 開(kāi)發(fā)服務(wù)框架(智能服務(wù))
通過(guò)集成開(kāi)發(fā)平臺和工具鏈集成邊緣計算模型庫和垂直行業(yè)模型庫,提供模型與應用的開(kāi)發(fā)、集成、仿真、驗證和發(fā)布的全生命周期服務(wù)。
支持如下的關(guān)鍵服務(wù):
(1)模型化開(kāi)發(fā)服務(wù)
定義架構、功能需求、接口需求等模型定義,支持模型和業(yè)務(wù)流程的可視化呈現,支持基于模型生成多語(yǔ)言的代碼;支持邊緣計算領(lǐng)域模型與垂直行業(yè)領(lǐng)域模型的集成、映射等;支持模型庫版本管理。
(2)仿真服務(wù)
支持ECN節點(diǎn)的軟硬件仿真,仿真要能夠模擬目標應用場(chǎng)景的ECN節點(diǎn)規格(如內存,存儲空間等)。系統需要支持組件細粒度化、組件可裁剪和重新打包(系統重置),以匹配ECN節點(diǎn)規格。
基于仿真節點(diǎn),能夠進(jìn)行面向應用場(chǎng)景的組網(wǎng)和系統搭建,并將開(kāi)發(fā)的模型和應用在仿真環(huán)境下進(jìn)行低成本、自動(dòng)化的功能驗證。
(3)集成發(fā)布服務(wù)
從基線(xiàn)庫獲得發(fā)布版本,調用部署運營(yíng)服務(wù),將模型與應用部署到實(shí)際的ECN節點(diǎn)。
圖6 功能視圖:開(kāi)發(fā)服務(wù)框架
1.4.5 部署運營(yíng)服務(wù)框架(智能服務(wù))
包括業(yè)務(wù)編排、應用部署(略)和應用市場(chǎng)三個(gè)關(guān)鍵服務(wù)。
(1)業(yè)務(wù)編排
業(yè)務(wù)編排服務(wù),一般基于三層架構,如圖7所示:
圖7 功能視圖:業(yè)務(wù)編排分層
業(yè)務(wù)編排器
編排器負責定義業(yè)務(wù)Fab ri c,一般部署在云端(公私云)或本地(智能系統上)。編排器提供可視化的工作流定義工具,支持CRUD操作。編排器能夠基于和復用開(kāi)發(fā)服務(wù)框架已經(jīng)定義好的服務(wù)模板、策略模板進(jìn)行編排。在下發(fā)業(yè)務(wù)Fabric給策略控制器前,能夠完成工作流的語(yǔ)義檢查和策略沖突檢測等。
策略控制器
為了保證業(yè)務(wù)調度和控制的實(shí)時(shí)性,通過(guò)在網(wǎng)絡(luò )邊緣側部署策略控制器,實(shí)現本地就近控制。
策略控制器按照一定策略,結合本地的聯(lián)接計算Fabric所支持的服務(wù)與能力,將業(yè)務(wù)Fabric所定義的業(yè)務(wù)流分配給本地某個(gè)聯(lián)接計算Fabric進(jìn)行調度執行。
考慮到邊緣計算領(lǐng)域和垂直行業(yè)領(lǐng)域需要不同的領(lǐng)域知識和系統實(shí)現,控制器的設計和部署往往分域部署。由邊緣計算領(lǐng)域控制器負責對安全、數據分析等邊緣計算服務(wù)進(jìn)行部署。涉及到垂直行業(yè)業(yè)務(wù)邏輯的部分,由垂直行業(yè)領(lǐng)域的控制器進(jìn)行分發(fā)調度。
策略執行器
在每個(gè)ECN節點(diǎn)內置策略執行器模塊,負責將策略翻譯成本設備命令并在本地調度執行。ECN節點(diǎn)既支持由控制器推送策略,也可以主動(dòng)向控制器請求策略。
策略可以只關(guān)注高層次業(yè)務(wù)需求,而不對ECN節點(diǎn)進(jìn)行細粒度控制,從而保證ECN節點(diǎn)的自主性和本地事件響應處理的實(shí)時(shí)性。
(2)應用市場(chǎng)服務(wù)
應用市場(chǎng)服務(wù)可以很好地聯(lián)接需求方和供給方,將企業(yè)單邊創(chuàng )新模式轉變?yōu)榛诋a(chǎn)業(yè)生態(tài)的多邊開(kāi)放創(chuàng )新。供給方可以通過(guò)App封裝行業(yè)Know-How并通過(guò)應用注冊進(jìn)行快捷發(fā)布,需求方可以通過(guò)應用目錄方便地找到匹配需求的方案并進(jìn)行應用訂閱。
應用市場(chǎng)服務(wù)支持多樣化的App,包括基于工業(yè)知識構建的機理模型、基于數據分析方法構建的算法模型、可繼承和復用的業(yè)務(wù)Fabric模型、支持特定功能(如故障診斷)的應用等。這些App既可以被最終用戶(hù)直接使用,也可以通過(guò)基于模型的開(kāi)放接口進(jìn)行應用二次開(kāi)發(fā)。
1.4.6 管理服務(wù)
支持面向終端設備、網(wǎng)絡(luò )設備、服務(wù)器、存儲、數據、業(yè)務(wù)與應用的隔離、安全、分布式架構的統一管理服務(wù)。
支持面向工程設計、集成設計、系統部署、業(yè)務(wù)與數據遷移、集成測試、集成驗證與驗收等全生命周期。
1.4.7 數據全生命周期服務(wù)
(1)邊緣數據特點(diǎn)
邊緣數據是在網(wǎng)絡(luò )邊緣側產(chǎn)生的,包括機器運行數據、環(huán)境數據以及信息系統數據等,具有高通量(瞬間流量大)、流動(dòng)速度快、類(lèi)型多樣、關(guān)聯(lián)性強、分析處理實(shí)時(shí)性要求高等特點(diǎn)。
與互聯(lián)網(wǎng)等商業(yè)大數據應用相比,邊緣數據的智能分析有如下特點(diǎn)和區別:
因果 VS 關(guān)聯(lián)
邊緣數據主要面向智能資產(chǎn),這些系統運行一般有明確的輸入輸出的因果關(guān)系,而商業(yè)大數據關(guān)注的是數據關(guān)聯(lián)關(guān)系。
高可靠性 VS 較低可靠
制造業(yè)、交通等行業(yè)對模型的準確度和可靠性要求高,否則會(huì )帶來(lái)財產(chǎn)損失甚至人身傷亡。而商業(yè)大數據分析對可靠性要求一般較低。邊緣數據的分析要求結果可解釋?zhuān)院诤谢纳疃葘W(xué)習方式在一些應用場(chǎng)景受到限制。將傳統的機理模型和數據分析方法相結合是智能分析的創(chuàng )新和應用方向。
小數據 VS 大數據
機床、車(chē)輛等資產(chǎn)是人設計制造,其運行過(guò)程中的多數數據是可以預知的,其異常、邊界等情況下的數據才真正有價(jià)值。商業(yè)大數據分析則一般需要海量的數據。
(2)數據全生命周期服務(wù)
可以通過(guò)業(yè)務(wù)Fabric定義數據全生命周期的業(yè)務(wù)邏輯,包括指定數據分析算法等,通過(guò)聯(lián)接計算Fabric優(yōu)化數據服務(wù)的部署和運行,滿(mǎn)足業(yè)務(wù)實(shí)時(shí)性等要求。
圖8 功能視圖:數據全生命周期服務(wù)
數據全生命周期服務(wù)包括了:
數據預處理
對原始數據的過(guò)濾、清洗、聚合、質(zhì)量?jì)?yōu)化(剔除壞數據等)和語(yǔ)義解析。
數據分析
基于流式數據分析對數據即來(lái)即處理,可以快速響應事件和不斷變化的業(yè)務(wù)條件與需求,加速對數據執行持續分析。
提供常用的統計模型庫,支持統計模型、機理模型等模型算法的集成。支持輕量的深度學(xué)習等模型訓練方法。
數據分發(fā)和策略執行
基于預定義規則和數據分析結果,在本地進(jìn)行策略執行?;蛘邔祿D發(fā)給云端或其他ECN節點(diǎn)進(jìn)行處理。
數據可視化和存儲
采用時(shí)序數據庫等技術(shù)可以大大節省存儲空間并滿(mǎn)足高速的讀寫(xiě)操作需求。利用AR、VR等新一代交互技術(shù)逼真呈現。
1.4.8 安全服務(wù)
邊緣計算架構的安全設計與實(shí)現首先需要考慮:
安全功能適配邊緣計算的特定架構;
安全功能能夠靈活部署與擴展;
能夠在一定時(shí)間內持續抵抗攻擊;
能夠容忍一定程度和范圍內的功能失效,但基礎功能始終保持運行;
整個(gè)系統能夠從失敗中快速完全恢復。
同時(shí),需要考慮邊緣計算應用場(chǎng)景的獨特性:
安全功能輕量化,能夠部署在各類(lèi)硬件資源受限的IoT設備中;
海量異構的設備接入,傳統的基于信任的安全模型不再適用,需要按照最小授權原則重新設計安全模型(白名單);
在關(guān)鍵的節點(diǎn)設備(例如智能網(wǎng)關(guān))實(shí)現網(wǎng)絡(luò )與域的隔離,對安全攻擊和風(fēng)險范圍進(jìn)行控制,避免攻擊由點(diǎn)到面擴展;
安全和實(shí)時(shí)態(tài)勢感知無(wú)縫嵌入到整個(gè)邊緣計算架構中,實(shí)現持續的檢測與響應。盡可能依賴(lài)自動(dòng)化實(shí)現,但是人工干預時(shí)常也需要發(fā)揮作用。
圖9 功能視圖:安全服務(wù)
安全的設計需要覆蓋邊緣計算架構的各個(gè)層級,不同層級需要不同的安全特性。同時(shí),還需要有統一的態(tài)勢感知、安全管理與編排、統一的身份認證與管理,以及統一的安全運維體系,才能最大限度地保障整個(gè)架構安全與可靠。
節點(diǎn)安全:需要提供基礎的ECN安全、端點(diǎn)安全、軟件加固和安全配置、安全與可靠遠程升級、輕量級可信計算、硬件Safety開(kāi)關(guān)等功能。安全與可靠的遠程升級能夠及時(shí)完成漏洞和補丁的修復,同時(shí)避免升級后系統失效(也就是常說(shuō)的“變磚”)。輕量級可信計算用于計算(CPU)和存儲資源受限的簡(jiǎn)單物聯(lián)網(wǎng)設備,解決最基本的可信問(wèn)題。
網(wǎng)絡(luò )(Fabric)安全:包含防火墻(Firewall)、入侵檢測和防護(IPS/IDS)、DDoS防護、VPN/TLS功能,也包括一些傳輸協(xié)議的安全功能重用(例如REST協(xié)議的安全功能)。其中DDoS防護在物聯(lián)網(wǎng)和邊緣計算中特別重要,近年來(lái),越來(lái)越多的物聯(lián)網(wǎng)攻擊是DDoS攻擊,攻擊者通過(guò)控制安全性較弱的物聯(lián)網(wǎng)設備(例如采用固定密碼的攝像頭)來(lái)集中攻擊特定目標。
數據安全:包含數據加密、數據隔離和銷(xiāo)毀、數據防篡改、隱私保護(數據脫敏)、數據訪(fǎng)問(wèn)控制和數據防泄漏等。其中數據加密,包含數據在傳輸過(guò)程中的加密、在存儲時(shí)的加密;邊緣計算的數據防泄漏與傳統的數據防泄漏有所不同,邊緣計算的設備往往是分布式部署,需要特別考慮這些設備被盜以后,相關(guān)的數據即使被獲得也不會(huì )泄露。
應用安全:主要包含白名單、應用安全審計、惡意代碼防范、WAF(Web應用防火墻)、沙箱等安全功能。其中,白名單是邊緣計算架構中非常重要的功能,由于終端的海量異構接入,業(yè)務(wù)種類(lèi)繁多,傳統的IT安全授權模式不再適用,往往需要采用最小授權的安全模型(例如白名單功能)管理應用及訪(fǎng)問(wèn)權限。
安全態(tài)勢感知、安全管理與編排:網(wǎng)絡(luò )邊緣側接入的終端類(lèi)型廣泛,數量巨大,承載的業(yè)務(wù)繁雜,被動(dòng)的安全防御往往不能起到良好的效果。因此,需要采用更加積極主動(dòng)的安全防御手段,包括基于大數據的態(tài)勢感知和高級威脅檢測,以及統一的全網(wǎng)安全策略執行和主動(dòng)防護,從而更加快速響應和防護。再結合完善的運維監控和應急響應機制,則能夠最大限度保障邊緣計算系統的安全、可用、可信。
身份和認證管理:身份和認證管理功能遍布所有的功能層級。但是在網(wǎng)絡(luò )邊緣側比較特殊的是,海量的設備接入,傳統的集中式安全認證面臨巨大的性能壓力,特別是在設備集中上線(xiàn)時(shí)認證系統往往不堪重負。在必要的時(shí)候,去中心化、分布式的認證方式和證書(shū)管理成為新的技術(shù)選擇。
1.5 部署視圖
系統主要提供兩種典型的部署模型:三層模型和四層模型。
圖10 部署視圖
(1)三層部署模型
主要面向業(yè)務(wù)部署到一個(gè)或多個(gè)分散地域,且每個(gè)區域的業(yè)務(wù)流量規模較小的場(chǎng)景。
典型的場(chǎng)景包括:智慧路燈、智能電梯、智慧環(huán)保等場(chǎng)景。
智能資產(chǎn)完成本地處理后,多種或多個(gè)業(yè)務(wù)數據沿著(zhù)南北向匯聚到智能網(wǎng)關(guān)。智能網(wǎng)關(guān)除了提供智能資產(chǎn)接入、智能資產(chǎn)本地管理、總線(xiàn)協(xié)議轉換等網(wǎng)絡(luò )功能外,還提供實(shí)時(shí)流式數據分析、安全保護、小規模數據存儲等功能。網(wǎng)關(guān)將實(shí)時(shí)業(yè)務(wù)需求在本地完成處理,同時(shí)將非實(shí)時(shí)數據聚合后送到云端處理。
(2)四層部署模型
主要面向業(yè)務(wù)部署集中,業(yè)務(wù)流量規模較大的場(chǎng)景。
典型的場(chǎng)景包括:智能視頻分析、分布式電網(wǎng)、智能制造等場(chǎng)景。
與三層部署場(chǎng)景最典型的區別是:邊緣側數據量大,本地應用系統多,需要大量的計算、存儲資源。智能資產(chǎn)和智能網(wǎng)關(guān)完成本地最實(shí)時(shí)的處理后,將數據匯聚到本地分布式智能系統進(jìn)行二次處理。這些分布式ECN節點(diǎn)通過(guò)東西向聯(lián)接進(jìn)行數據和知識的交換,支持計算、存儲資源的橫向彈性擴展,能夠完成本地的實(shí)時(shí)決策和實(shí)時(shí)優(yōu)化操作。
摘自《自動(dòng)化博覽》2018年3月刊