近日，中國科學(xué)院自動(dòng)化所腦圖譜與類(lèi)腦智能實(shí)驗室李國齊研究員與西安交通大學(xué)趙廣社教授合作在人工智能頂級國際期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）上發(fā)表了一篇題為“Attention Spiking Neural Networks”的研究。這項工作將注意力機制融入百萬(wàn)級規模脈沖神經(jīng)網(wǎng)絡(luò )，在ImageNet-1K數據集上，首次取得了與傳統人工神經(jīng)網(wǎng)絡(luò )相當的性能，且理論能效為同等結構人工神經(jīng)網(wǎng)絡(luò )的31.8倍。本方法在顯著(zhù)提升任務(wù)性能的同時(shí)能夠大幅降低網(wǎng)絡(luò )能量消耗，為低功耗神經(jīng)形態(tài)系統的發(fā)展提供了新思路。

　　以傳統人工神經(jīng)網(wǎng)絡(luò )為代表的深度學(xué)習近年來(lái)在一些任務(wù)上展現出接近或超越人類(lèi)的能力。在取得這些成就的同時(shí)，人類(lèi)也付出了海量的能耗代價(jià)。而人腦能夠以極低地能耗高效完成相同或更復雜的任務(wù)。如何使得機器智能像人腦一樣高效工作是研究者們孜孜以求的目標?；诿}沖神經(jīng)網(wǎng)絡(luò )的神經(jīng)形態(tài)計算提供了一種極具吸引力的傳統人工智能的低能耗替代方案。脈沖神經(jīng)元模擬了生物神經(jīng)元中的復雜時(shí)空動(dòng)態(tài)，其表達能力在理論上強于現有的人工神經(jīng)元。同時(shí)，脈沖神經(jīng)元繼承了生物神經(jīng)元中的脈沖通信方式，這也是脈沖神經(jīng)網(wǎng)絡(luò )實(shí)現低功耗的關(guān)鍵。一方面，在神經(jīng)形態(tài)系統中只需要執行低能耗的突觸加法；另一方面，事件驅動(dòng)特性使得只有脈沖神經(jīng)元發(fā)放脈沖時(shí)神經(jīng)形態(tài)系統才會(huì )觸發(fā)計算。因此，如何以低脈沖發(fā)放率實(shí)現高任務(wù)性能是神經(jīng)形態(tài)計算中的一個(gè)重要問(wèn)題。人腦可以自然而有效地在復雜場(chǎng)景中找到重要信息，這被稱(chēng)為注意力機制。注意力機制已被廣泛應用于深度學(xué)習中，并取得了顯著(zhù)的效果。然而在神經(jīng)形態(tài)計算領(lǐng)域的應用還極具挑戰性。 

　　為了將注意力機制融入脈沖神經(jīng)網(wǎng)絡(luò )中，有三個(gè)基礎問(wèn)題需要考慮。首先，脈沖神經(jīng)網(wǎng)絡(luò )高能效的關(guān)鍵是以脈沖通信為基礎的事件驅動(dòng)特性，注意力機制不能破壞這種特性。其次，脈沖神經(jīng)網(wǎng)絡(luò )應用場(chǎng)景廣泛，需要有多樣性的設計以保證其在各種場(chǎng)景中的有效性。最后，二進(jìn)制脈沖通信使得深度脈沖神經(jīng)網(wǎng)絡(luò )容易出現由梯度消失或爆炸帶來(lái)的性能退化問(wèn)題，注意力機制的加入至少不應加劇退化問(wèn)題。 

如圖1所示，人腦中注意力的功能實(shí)現主要體現在對不同腦區或神經(jīng)元脈沖發(fā)放的調節。受此啟發(fā)，該研究通過(guò)注意力機制來(lái)優(yōu)化脈沖神經(jīng)網(wǎng)絡(luò )內部的膜電勢分布，關(guān)注重要特征并抑制不必要的特征，進(jìn)而起到調節脈沖發(fā)放的作用。網(wǎng)絡(luò )架構如圖2所示。

　進(jìn)一步地，為了使注意力脈沖神經(jīng)網(wǎng)絡(luò )適應于各種應用場(chǎng)景，如圖3所示，該研究融合了時(shí)間、通道和空間三個(gè)維度，以學(xué)習“何時(shí)”、“什么”、“哪里”是重要的。 

　　研究團隊在基于事件的動(dòng)作識別數據集以及靜態(tài)圖像分類(lèi)數據集ImageNet-1K上對提出的多維度注意力脈沖神經(jīng)網(wǎng)絡(luò )進(jìn)行了實(shí)驗。實(shí)驗表明注意力模塊的加入不僅幫助脈沖神經(jīng)網(wǎng)絡(luò )在性能上有顯著(zhù)提升，網(wǎng)絡(luò )中的脈沖數量也能大大降低，從而降低模型能耗。在DVS128 Gait數據集上，多維度注意力模塊能夠使得原始脈沖神經(jīng)網(wǎng)絡(luò )降低81.6%的脈沖發(fā)放，同時(shí)帶來(lái)4.7%的性能提升（表1）。在ImageNet-1K數據集上，注意力脈沖神經(jīng)網(wǎng)絡(luò )首次取得了與傳統人工神經(jīng)網(wǎng)絡(luò )相當的性能，且理論能效為同等結構人工神經(jīng)網(wǎng)絡(luò )的31.8倍（表2）。 

　該研究還提出了一種新的可視化方法用來(lái)分析為什么所提出的注意力模塊能夠在降低脈沖發(fā)放的同時(shí)提升網(wǎng)絡(luò )性能。如圖4、圖5所示，加入了注意力機制的脈沖神經(jīng)網(wǎng)絡(luò )在專(zhuān)注重要信息的同時(shí)，能夠抑制不重要的背景噪聲信息（特征圖中的每個(gè)像素點(diǎn)代表一個(gè)神經(jīng)元發(fā)放率。顏色越紅代表發(fā)放率越大；越藍代表發(fā)放率越?。?。而在所有的特征圖中，噪聲特征圖或神經(jīng)元中的脈沖發(fā)放率都很高。因此抑制噪聲信息能夠顯著(zhù)降低網(wǎng)絡(luò )中的脈沖發(fā)放。 

　進(jìn)一步，該研究通過(guò)塊動(dòng)態(tài)等距理論證明將所提出的注意力模塊加入到深度脈沖神經(jīng)網(wǎng)絡(luò )中仍然能實(shí)現動(dòng)態(tài)等距。也就是，注意力模塊在深度脈沖神經(jīng)網(wǎng)絡(luò )中不會(huì )引起性能退化。 

　　綜上，本研究工作探索了如何在脈沖神經(jīng)網(wǎng)絡(luò )中使用注意力機制，發(fā)現通過(guò)將注意力機制作為輔助模塊插入到脈沖神經(jīng)網(wǎng)絡(luò )中，能夠在大幅度降低網(wǎng)絡(luò )脈沖發(fā)放的同時(shí)顯著(zhù)提升任務(wù)性能。通過(guò)可視化原始和注意力脈沖神經(jīng)網(wǎng)絡(luò )的脈沖響應可知，注意力機制能幫助原始網(wǎng)絡(luò )在專(zhuān)注重要信息的同時(shí)抑制噪聲信息，而噪聲通道或神經(jīng)元中包含了大量的脈沖。因此，在基于脈沖神經(jīng)網(wǎng)絡(luò )的神經(jīng)形態(tài)計算中，能夠實(shí)現像人腦一樣以更低的能耗獲得更好的性能。 

　　論文第一作者為西安交大博士生姚滿(mǎn)，通訊作者為中國科學(xué)院自動(dòng)化所李國齊研究員。中國科學(xué)院自動(dòng)化所徐波研究員、西安交通大學(xué)趙廣社教授、北京大學(xué)田永鴻教授和清華大學(xué)碩士生張恒煜、博士生胡一凡、鄧磊助理教授是論文共同作者。相關(guān)工作得到了北京市杰出青年基金、國家自然科學(xué)基金委重點(diǎn)項目、區域創(chuàng )新聯(lián)合重點(diǎn)項目等基金項目的支持。 

來(lái)源：中國科學(xué)院自動(dòng)化研究所