邊云協(xié)同終身學(xué)習通過(guò)（1）多任務(wù)遷移學(xué)習適應不同邊緣局點(diǎn)數據異構，實(shí)現“千人千面”精準預測；（2）未知任務(wù)增量處理在小樣本下越學(xué)越聰明，逐步實(shí)現AI工程化與自動(dòng)化；（3）借助云側知識庫來(lái)記憶新情景知識，避免災難性遺忘；（4）邊云協(xié)同架構使得在應用云上資源的同時(shí)保證數據安全合規與邊緣AI服務(wù)離線(xiàn)自治，希望從根本上解決上述邊云協(xié)同機器學(xué)習的挑戰。

1  當前機器學(xué)習落地技術(shù)挑戰

1.1   當前機器學(xué)習落地有哪些問(wèn)題？

近二十年來(lái)，機器學(xué)習已廣泛應用于數據挖掘、計算機視覺(jué)、自然語(yǔ)言處理、生物特征識別、搜索引擎、醫學(xué)診斷、檢測信用卡欺詐、證券市場(chǎng)分析、DNA序列測序、語(yǔ)音和手寫(xiě)識別、戰略游戲和機器人等領(lǐng)域。

在實(shí)際業(yè)務(wù)落地過(guò)程中，大部分大型云平臺提供商均已提供機器學(xué)習算力等資源服務(wù)，同時(shí)支持多種機器學(xué)習框架等以提供開(kāi)放靈活的部署環(huán)境。但是，機器學(xué)習模型所需的數據往往并非從云平臺中產(chǎn)生，而是從傳感器、手機、網(wǎng)關(guān)等邊緣設備中產(chǎn)生。數據從邊側產(chǎn)生，而云端需從邊側采集數據以訓練和不斷完善機器學(xué)習模型。在實(shí)際落地時(shí)，當前機器學(xué)習需面對以下問(wèn)題：

（1）海量設備數據導致延遲和成本問(wèn)題

· 即使有100Mbps的專(zhuān)網(wǎng)連接，將10TB的數據運送到云端也需要10天。

· 大量邊緣連接設備每天生成數百兆字節甚至TB數據，帶來(lái)的延遲和成本對客戶(hù)和服務(wù)提供方來(lái)說(shuō)往往是難以承受的。

（2）數據壓縮導致的延遲和精度問(wèn)題

· 遷移所有數據通常不切實(shí)際，往往需要對數據進(jìn)行“壓縮”（如特征工程、難例識別等）并傳輸到云端，而數據壓縮過(guò)程容易引入新的延遲。

· 壓縮數據不一定能代表完整數據集信息，容易導致精度損失。

（3）邊側數據隱私和計算實(shí)時(shí)性問(wèn)題

上述問(wèn)題的本質(zhì)來(lái)源是數據在邊緣產(chǎn)生，而算力卻在云端更為充足。也就是說(shuō)，在機器學(xué)習服務(wù)將邊緣產(chǎn)生的數據轉換為知識的過(guò)程中，一方面需要在邊緣快速響應并處理本地產(chǎn)生的數據，另一方面需要云上算力與開(kāi)發(fā)環(huán)境的支持。隨著(zhù)邊緣設備數量指數級增長(cháng)以及設備性能的提升，邊云協(xié)同機器學(xué)習應運而生，以期打通機器學(xué)習的最后一公里。

1.2   當前邊云協(xié)同機器學(xué)習落地有哪些技術(shù)挑戰？

目前邊云協(xié)同機器學(xué)習的經(jīng)典模式是：  在云上給定一個(gè)數據集，運行機器學(xué)習算法構建一個(gè)模型，然后將這個(gè)模型不作更改應用在多個(gè)邊側的多次推理任務(wù)上。這種學(xué)習范式稱(chēng)為封閉學(xué)習（也稱(chēng)孤立學(xué)習[1]）， 因為它并未考慮其他情景學(xué)習到的知識和以往學(xué)習到的知識。雖然邊云協(xié)同機器學(xué)習技術(shù)的相關(guān)研究和應用都有著(zhù)顯著(zhù)的進(jìn)展，然而在成本、性能、安全方面仍有諸多挑戰：數據孤島、小樣本、數據異構及資源受限[2]。

在邊緣云背景下，不同邊側數據分布總是不斷變化，而邊側標注樣本也往往由于成本較高而數量稀少。因而封閉學(xué)習需不停標注樣本并重新訓練，這顯然給服務(wù)落地帶來(lái)巨大挑戰。這種數據分布和數據量上的挑戰分配稱(chēng)為數據異構和小樣本，屬于邊云協(xié)同機器學(xué)習的四大挑戰之一。

本文以一個(gè)熱舒適預測服務(wù)示例介紹相應挑戰，如圖1所示。該服務(wù)輸入外界溫度等環(huán)境特征，預測不同人員的熱舒適程度（熱、舒適、冷）。由于邊緣節點(diǎn)部署位置從室外變動(dòng)到室內，對于相同室外溫度特征值x=30，可以看到實(shí)際標注的熱舒適標注發(fā)生了較大變動(dòng)。原有室外模型上線(xiàn)預測值整體偏低，要匹配到室內模型，則需要訓練樣本重新調整。即面對分布動(dòng)態(tài)變化的不同邊側數據，由于沒(méi)有記憶歷史和不同情景任務(wù)知識，封閉學(xué)習需要頻繁重新訓練。

圖1 熱舒適預測服務(wù)中機器學(xué)習模型隨邊側 環(huán)境變化示意圖

1.3   當前邊云協(xié)同機器學(xué)習技術(shù)挑戰應如何解決？

從上面的討論可以了解到，當前的封閉學(xué)習范式可被用于提供數據同構和大數據的服務(wù)，但難以處理數據異構和小樣本的問(wèn)題，所以并不合適用于建立通用的機器學(xué)習系統。伊利諾伊大學(xué)芝加哥分校的劉兵教授也在Frontiers of Computer Science中總結，封閉學(xué)習范式一系列局限性的根本在于沒(méi)有記憶，這導致它通常需要大量的訓練樣本。

對應的范式改進(jìn)可以從人類(lèi)的學(xué)習過(guò)程中得到啟發(fā)?？梢钥吹?，人類(lèi)之所以能夠越學(xué)越聰明，是由于每個(gè)人并非自我封閉地學(xué)習，而是不斷地積累過(guò)去學(xué)習的知識，  并利用其他人的知識，  學(xué)習更多知識[1]。借鑒人類(lèi)這種學(xué)習機制，提出終身學(xué)習結合邊云協(xié)同可以發(fā)展出邊云協(xié)同終身學(xué)習。邊云協(xié)同終身學(xué)習通過(guò)多任務(wù)遷移學(xué)習適應不同邊緣節點(diǎn)數據異構，實(shí)現“千人千面” 精準預測；未知任務(wù)增量處理在小樣本下越學(xué)越聰明， 逐步實(shí)現AI工程化與自動(dòng)化；借助云側知識庫來(lái)記憶新情景知識，避免災難性遺忘；邊云協(xié)同架構使得在應用云上資源的同時(shí)保證數據安全合規與邊緣AI服務(wù)離線(xiàn)自治，從根本上解決上述邊云協(xié)同機器學(xué)習的挑戰。

2  邊云協(xié)同終身學(xué)習概念

基于1995年學(xué)界提出的終身學(xué)習概念[3] ，進(jìn)一步定義邊云協(xié)同終身學(xué)習為邊云協(xié)同的多機器學(xué)習任務(wù)持續學(xué)習。其中機器學(xué)習任務(wù)是指在特定情境下運用的模型，如中譯英（給定漢語(yǔ)翻譯為英語(yǔ)）、亞洲植物分類(lèi)等。正式定義如下：

邊云協(xié)同終身學(xué)習：給定云側知識庫中N個(gè)歷史訓練任務(wù)，推理持續到來(lái)的當前任務(wù)和未來(lái)M個(gè)邊側任務(wù)，  并持續更新云側知識庫。其中，  M趨向于無(wú)窮大，同時(shí)邊側M個(gè)推理任務(wù)不一定在云側知識庫N個(gè)歷史訓練任務(wù)當中。

具體來(lái)說(shuō)，邊云協(xié)同終身學(xué)習的一般流程如圖2所示。

圖2 邊云協(xié)同終身學(xué)習流程示意圖

（1）初始化知識庫：在云側知識庫中存儲和維護過(guò)去N個(gè)任務(wù)（記為第T-N到T-1個(gè)任務(wù)）中訓練并累積的知識。

（2）學(xué)習當前任務(wù)：在邊側設備面對當前任務(wù)（記為第T個(gè)任務(wù)）時(shí)，基于云側知識庫先驗知識訓練第T個(gè)任務(wù)。注意，第T個(gè)任務(wù)并不一定在歷史的N個(gè)任務(wù)當中。

（3）更新知識庫：將學(xué)習到的邊側第T個(gè)任務(wù)知識反饋到云側知識庫并更新。

（4）學(xué)習未來(lái)任務(wù)：持續學(xué)習未來(lái)M個(gè)任務(wù)（記為第T+1到T+M個(gè)任務(wù)）。與上面第T個(gè)任務(wù)利用過(guò)去N個(gè)任務(wù)知識（從T-N到T-1）類(lèi)似，第T+1個(gè)任務(wù)的邊側任務(wù)知識則利用過(guò)去N+1個(gè)云側任務(wù)知識（從T-N到T）  。以此類(lèi)推，直到完成第T+M個(gè)任務(wù)，結束整個(gè)流程。

邊云協(xié)同終身學(xué)習具備以下三大功能點(diǎn)：

（1）邊云協(xié)同持續學(xué)習：能夠基于云側算力和邊側數據合作完成持續推理與訓練，能夠在推理運行時(shí)增強模型訓練能力。

（2）邊云協(xié)同多任務(wù)知識維護：以云側知識庫作為中心，實(shí)現跨邊云的任務(wù)知識共享，處理邊側任務(wù)同時(shí)維護云端知識。

（3）邊側處理云側未知任務(wù)：需要邊側能夠發(fā)現和處理云端知識庫未知任務(wù)。其中未知任務(wù)是指運行或測試過(guò)程中發(fā)現的新任務(wù)，比如其應用情景或模型在知識庫當前知識之外。

3  Sedna邊云協(xié)同終身學(xué)習特性

KubeEd g e是一個(gè)開(kāi)源的邊緣計算平臺，它在Kubernetes原生的容器編排和調度能力之上，擴展實(shí)現了邊云協(xié)同、計算下沉、海量邊緣設備管理、邊緣自治等能力。KubeEdge還將通過(guò)插件的形式支持5G MEC、AI云邊協(xié)同等場(chǎng)景，目前在很多領(lǐng)域都已落地應用[3]。

KubeEdge AI SIG于2020年12月提出了KubeEdge子項目開(kāi)源平臺Sedna，  架構如圖3所示。Sedna基于KubeEdge提供的邊云協(xié)同能力，實(shí)現AI的跨邊云協(xié)同訓練和協(xié)同推理能力。支持現有AI類(lèi)應用無(wú)縫下沉到邊緣，快速實(shí)現跨邊云的增量學(xué)習、聯(lián)邦學(xué)習、協(xié)同推理等能力，最終降低邊云協(xié)同機器學(xué)習服務(wù)構建與部署成本、提升模型性能、保護數據隱私等[2]。

圖3 Sedna整體架構

在本次0.3版本更新中，Sedna發(fā)布了業(yè)界首個(gè)邊云協(xié)同終身學(xué)習的開(kāi)源特性。Sedna終身學(xué)習將基于邊側數據和云側算力，逐步實(shí)現適應邊側業(yè)務(wù)與模型異構“千人千面”的高可信自動(dòng)化人工智能。

Sedna的邊云協(xié)同終身學(xué)習作業(yè)分為三個(gè)階段：訓練、評估和部署，維護一個(gè)全局可用的知識庫（KB）  服務(wù)于每個(gè)終身學(xué)習作業(yè)（Lifelong Learning Job）。架構如圖4所示。

圖4 Sedna邊云協(xié)同終身學(xué)習架構

（1）啟動(dòng)Training Worker基于開(kāi)發(fā)者的AI模型和訓練數據集進(jìn)行多任務(wù)遷移學(xué)習，實(shí)現任務(wù)的知識歸納，包括：樣本屬性、AI模型、模型超參等。

（2）Training Worker完成對知識庫的更新后，啟動(dòng)評估數據集的Evaluation Worker，基于部署者定義的評估策略判斷符合下發(fā)部署約束的任務(wù)模型。

（3）Global Manager捕獲評估任務(wù)的完成狀態(tài)后通知Edge初始化啟動(dòng)Inference Worker進(jìn)行推理服務(wù)。邊緣節點(diǎn)基于Sedna Lifelong Learning API進(jìn)行推理，并進(jìn)行未知任務(wù)上云判別。

（4）通過(guò)對接第三方打標系統和知識庫的遷移學(xué)習，Local Controller基于預配置規則監聽(tīng)新數據變化并按配置的策略觸發(fā)Training Worker進(jìn)行增量學(xué)習，重訓練完成后重新下發(fā)邊緣側。

其中，當前Sedna選用的模塊化方案和樣本遷移方案使得開(kāi)源的邊云協(xié)同終身學(xué)習特性能夠實(shí)現模型無(wú)關(guān)：（1）同一個(gè)特性能夠同時(shí)支持結構化和非結構化不同模型，在特性中模型可插拔；（2）同一個(gè)特性能夠同時(shí)支持分類(lèi)、回歸、目標檢測、異常檢測等。

4  基于Sedna終身學(xué)習實(shí)現：樓宇熱舒適 預測控制

4.1  背景

（1）智能樓宇是智慧城市的重要組成部分

樓宇是大量先進(jìn)工業(yè)產(chǎn)品的“使用方”，引領(lǐng)其制造、運行和維護，在這一波能源革命和工業(yè)革命中占據重要地位。

現今樓宇都有自控系統，通常它們都在邊緣，這使得很多關(guān)于樓宇的應用更傾向于部署在邊緣側，其中一類(lèi)應用是熱舒適度預測。由于人們80%的工作和生活都在樓宇中度過(guò)，提高工作效率和生活舒適度（如通過(guò)樓宇智能化等方式）就顯得尤為重要。

（2）熱舒適度預測服務(wù)于智能樓宇

熱舒適度被定義為樓宇中的人對環(huán)境冷熱的滿(mǎn)意程度。它提供了一種定量的評估，把室內冷熱環(huán)境參數的設定與人的主觀(guān)評估聯(lián)系起來(lái)。而樓宇中辦公或者居住人員的熱舒適程度是建筑及其系統設計方案中的一個(gè)重要考量因素。在空調系統運作時(shí)，一旦熱舒適度被預測出來(lái)，那么就能將其用于調整樓宇內空調的控制策略。比方說(shuō)，一種基于熱舒適度的控制策略，是基于假定的空調參數設定以及溫濕度等環(huán)境特征下，給出預計的人體熱舒適程度，然后搜索尋優(yōu)出舒適度最高的空調設定。所以，這種情況下要實(shí)現舒適度最大的空調控制就依賴(lài)于較高精度的舒適度預測。

原有熱舒適度的預測要么需要房間中安裝額外設備，要么需要人工反饋，部署環(huán)境復雜、人工操作頻繁使得這種情況下熱舒適度的采集準確度非常低。據此，基于機器學(xué)習的熱舒適度預測方法被提出，它能降低部署要求、不需要人工反饋，因而更具備實(shí)用價(jià)值。

（3）熱舒適度預測服務(wù)實(shí)際部署時(shí)數據異構和小樣本問(wèn)題較為突出

由于人員個(gè)體差異、房間與城市差異等，不同個(gè)體、不同地點(diǎn)對于熱舒適的感受是不一樣的，那么就會(huì )導致相同的環(huán)境溫度和空調設定下對應的人員的熱舒適度標簽值不一樣，從而導致較為突出的數據異構問(wèn)題。

熱舒適度預測主要針對樓宇中的房間人員個(gè)體，具有個(gè)性化的特點(diǎn)。在環(huán)境因素變化較多的情況下，邊側房間人員個(gè)體的熱舒適度樣本通常有限，往往不足以支撐對單個(gè)人員進(jìn)行個(gè)性化模型的訓練，從而導致較為突出的小樣本問(wèn)題。

除了小樣本問(wèn)題之外，增量學(xué)習也能夠一定程度解 決歷史與當前情景的數據異構（時(shí)間上的數據異構）。但這種邊云協(xié)同增量學(xué)習范式通常不具備用于記憶的知識庫，導致很難處理非時(shí)間上的數據異構。比方說(shuō)，對于有多個(gè)人員的房間，在同一時(shí)刻會(huì )存在不同人員上的數據異構。這種情況不僅是同一個(gè)人不同時(shí)間上的數據異構，增量學(xué)習變得不太足夠。此時(shí)就需要使用邊云協(xié)同終身學(xué)習了。

4.2  方案

圖5是邊云協(xié)同終身學(xué)習的熱舒適預測方案架構，邊云協(xié)同終身學(xué)習的熱舒適預測方案主要有兩個(gè)步驟。

圖5 邊云協(xié)同終身學(xué)習的熱舒適預測方案架構

（1）創(chuàng )建舒適度預測終身學(xué)習任務(wù)

舒適度預測終身學(xué)習任務(wù)被創(chuàng )建后，Sedna知識庫中會(huì )生成舒適度預測的知識庫實(shí)例，知識庫會(huì )利用多地點(diǎn)多人員的歷史數據集進(jìn)行初始化，并提供推理和更新接口給邊側應用。

（2）部署邊云協(xié)同舒適度預測應用

舒適度預測應用被部署后，應用會(huì )通過(guò)邊側的設備數據采集接口獲取到多聯(lián)機空調系統的設定參數和當前溫濕度等環(huán)境特征信息。應用通過(guò)調用Sedna Lib庫終身學(xué)習接口，從知識庫中尋找對應的任務(wù)信息：

· 如果被判定為已知任務(wù)，例如已經(jīng)出現過(guò)的人員在已知的溫濕度條件下，則直接獲取對應模型進(jìn)行推理；

· 如果被判定為未知任務(wù)，例如是新來(lái)的人員，則通過(guò)知識庫來(lái)獲取針對未知任務(wù)的模型進(jìn)行推理。并將這些模型和模型之間的關(guān)系寫(xiě)入到知識庫中，以完成知識庫的更新操作，使得知識庫得到積累。

4.3  效果

本次案例基于開(kāi)源Ashrae Thermal Comfort II數據集。在這個(gè)開(kāi)源數據集中，收錄了全球28個(gè)國家99個(gè)城市1995~2015年之間樓宇內人員熱舒適真實(shí)數據，目標是構建一個(gè)機器學(xué)習分類(lèi)模型，給定環(huán)境特征，預測人群的熱傾向（Thermal Preference）。熱傾向分為三類(lèi)，希望更冷（覺(jué)得熱）、不希望變更（覺(jué)得舒適）、希望更熱（覺(jué)得冷）。

案例結果如圖6和圖7所示，整體分類(lèi)精度與單任務(wù)增量學(xué)習對比，相對提升5.12%（其中多任務(wù)提升1.16%）  。使用終身學(xué)習前后的預測效果在KotaKinabalu數據中預測率相對提升24.04%，在A(yíng)thens數據中預測率相對提升13.73%。  

圖6 ATCII各城市Sedna終身學(xué)習預測精度對比

圖7 ATCII各城市Sedna終身學(xué)習預測精度相對提升

作者簡(jiǎn)介：

鄭子木  （1991-），廣東人，博士，現就職于華為云邊緣云創(chuàng )新實(shí)驗室，研究方向為邊緣AI、多任務(wù)遷移學(xué)習及AIoT。發(fā)表AI算法與系統、分布式計算等領(lǐng)域國際頂級會(huì )議及期刊論文十余篇，多次獲得最佳會(huì )議論文獎項及華為公司技術(shù)貢獻獎項。目前正帶領(lǐng)團隊參與云原生計算基金會(huì )KubeEdge SIG AI的開(kāi)源工作。

參考文獻：

[1] B. Liu. Lifelong machine learning: a paradigm for continuous learning[J]. Frontiers of Computer Science, 2017, 11 (3) : 359 - 361.   

[2] 加速AI邊云協(xié)同創(chuàng )新! KubeEdge社區建立Sedna子項目[EB/OL]. 2021-01-29. 

[3] KubeEdge架構解讀: 云原生的邊緣計算平臺[EB/OL]. 2020-10-20. 

[4] kubeedge/Sedna[EB/OL] 2021-03-30.