近日,信息學(xué)院楊和林副教授和肖亮教授在智能邊緣計算和無(wú)線(xiàn)網(wǎng)絡(luò )研究取得重要進(jìn)展,與新加坡南洋理工大學(xué)Kwok-Yan Lam教授、Dusit Niyato教授和Hao Hu博士,新加坡設計大學(xué)Zehui Xiong教授, 和普林斯頓大學(xué)H. Vincent Poor教授合作,共同完成的科研成果,Lead federated neuromorphic learning for wireless edge artificial intelligence,以廈門(mén)大學(xué)為第一署名單位發(fā)表于在國際期刊《Nature Communications》上。
近年來(lái),隨著(zhù)移動(dòng)計算和物聯(lián)網(wǎng)(IoT)的快速發(fā)展,傳感器、機器人和智能手機等數十億設備連接在一起,產(chǎn)生了大量數據。在這驅動(dòng)下,邊緣人工智能(AI)這一強大技術(shù)融合了邊緣計算和AI,使邊緣網(wǎng)絡(luò )的設備能夠本地分析和處理數據,無(wú)需將收集的數據傳輸到中心服務(wù)器。此技術(shù)不僅有助于數據隱私保護,還可以減少數據流量和網(wǎng)絡(luò )延遲。此外,在邊緣網(wǎng)絡(luò )中,通過(guò)深度學(xué)習為語(yǔ)音識別、圖像和視頻分類(lèi)以及目標檢測訓練,已實(shí)現高精度檢測性能。盡管擁有這些優(yōu)點(diǎn),邊緣計算仍然面臨以下兩個(gè)基本挑戰。首先,深度學(xué)習等算法本質(zhì)上依賴(lài)于復雜的學(xué)習方法,同時(shí)需要足夠豐富的訓練數據集。因此,邊緣設備在有限的局部數據集上很難訓練得到可靠的模型。其次,機器學(xué)習算法通常需要大量計算和訓練能耗,這阻礙了能量受限的邊緣設備訓練/分析數據。
本文提出了領(lǐng)導式聯(lián)邦神經(jīng)形態(tài)學(xué)習方案(LFNL),是一種基于SNN的分散式大腦啟發(fā)計算方法,使多個(gè)邊緣設備無(wú)需中心協(xié)調器的情況下協(xié)作訓練全局神經(jīng)形態(tài)模型。同時(shí),我們提出了一種領(lǐng)導者選舉方案,選擇一個(gè)具有高能力(例如計算和通信能力)的設備作為領(lǐng)導者來(lái)管理模型聚合。該方法可以有效地加快聯(lián)邦學(xué)習的收斂速度,抵御模型中毒攻擊。
領(lǐng)導式聯(lián)邦神經(jīng)形態(tài)學(xué)習系統示意圖
圖1a顯示了人類(lèi)社交網(wǎng)絡(luò )的示意圖。每個(gè)人通過(guò)五個(gè)感覺(jué)器官觀(guān)察外部環(huán)境的模擬刺激,然后使用神經(jīng)元將刺激轉化為尖峰信號,最后由人腦處理。每個(gè)人建立一個(gè)相應的知識模型,然后與其他人共享該模型,以創(chuàng )建一個(gè)優(yōu)化的知識模型,以便更好地感知外界環(huán)境。受此啟發(fā),邊緣人工智能引入了聯(lián)邦神經(jīng)形態(tài)學(xué)習系統(圖1b),其中邊緣設備配備了攝像機(視覺(jué))、麥克風(fēng)(聽(tīng)覺(jué))、雷達(物體感應)、壓力傳感器(觸摸)和射頻信號檢測器(無(wú)線(xiàn)通信)。這些傳感器采用SNN作為神經(jīng)形態(tài)處理器,將檢測到的信息轉換為尖峰信號。
LFNL由一個(gè)組中的一個(gè)領(lǐng)導者和多個(gè)追隨者實(shí)現(圖1d),學(xué)習模型參數通過(guò)分布式網(wǎng)絡(luò )共享和交換,每個(gè)設備在本地數據上獨立訓練其模型。受仿人學(xué)習功能的啟發(fā),LFNL通過(guò)使用神經(jīng)形態(tài)學(xué)習訓練或評估來(lái)自聽(tīng)覺(jué)、視覺(jué)和雷達系統的尖峰信號來(lái)實(shí)現對外界環(huán)境的感知(圖1e)。
這項工作不僅推動(dòng)智能邊緣計算、多模態(tài)網(wǎng)絡(luò )和無(wú)線(xiàn)網(wǎng)絡(luò )領(lǐng)域突破性發(fā)展的新策略,而且提供了一種技術(shù)和應用上可行的類(lèi)腦神經(jīng)計算思維方式,這些探索將為多模態(tài)網(wǎng)絡(luò )、虛擬現實(shí)以及元宇宙等的應用發(fā)展提供一定的參考意義。
來(lái)源:廈門(mén)大學(xué)