脈沖神經(jīng)網(wǎng)絡(luò )（Spiking Neural Network, SNN）被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò )，使用更低層次的生物神經(jīng)系統的抽象，既是神經(jīng)科學(xué)中研究大腦原理的基本工具，又因其稀疏計算、事件驅動(dòng)、超低功耗的特性而備受計算科學(xué)的關(guān)注。隨著(zhù)深度學(xué)習方法的引入，SNN的性能得到大幅度提升，脈沖深度學(xué)習（Spiking Deep Learning）成為新興的研究熱點(diǎn)。傳統SNN框架更多的關(guān)注生物可解釋性，致力于構建精細脈沖神經(jīng)元并仿真真實(shí)生物神經(jīng)系統，并不支持自動(dòng)微分，無(wú)法充分利用GPU的大規模并行計算能力，也缺乏對神經(jīng)形態(tài)傳感器和計算芯片的支持。 

　　為了解決上述問(wèn)題，中國科學(xué)院自動(dòng)化研究所李國齊研究員與北京大學(xué)計算機學(xué)院田永鴻教授團隊合作構建并開(kāi)源了脈沖神經(jīng)網(wǎng)絡(luò )深度學(xué)習框架SpikingJelly（中文名：驚蜇）。SpikingJelly（驚蜇）提供了全棧式的脈沖深度學(xué)習解決方案，支持神經(jīng)形態(tài)數據處理、深度SNN的構建、替代梯度訓練、ANN轉換SNN、權重量化和神經(jīng)形態(tài)芯片部署等功能。 

　　SpikingJelly（驚蜇）框架具有以下幾個(gè)方面的主要優(yōu)勢。 

　　第一，簡(jiǎn)單易用。脈沖深度學(xué)習作為計算神經(jīng)科學(xué)與深度學(xué)習的交叉學(xué)科，要求研究者同時(shí)掌握兩個(gè)領(lǐng)域的知識體系，但實(shí)際情況是研究者可能只對一個(gè)領(lǐng)域有深度了解。SpikingJelly（驚蜇）框架提供了簡(jiǎn)單易用的PyTorch風(fēng)格的API、中英文雙語(yǔ)編寫(xiě)的教程、活躍友善的討論社區，常用的網(wǎng)絡(luò )模型和訓練腳本也一并給出，研究者可以快速進(jìn)行跨領(lǐng)域的學(xué)習和使用，通過(guò)寥寥數行代碼輕松構建并訓練深度SNN。 

　　第二，擴展性強。通過(guò)模仿真實(shí)生物神經(jīng)系統或借鑒人工神經(jīng)網(wǎng)絡(luò )的成熟經(jīng)驗，改進(jìn)和提出新的SNN算法和模型，這種研究范式已經(jīng)被廣泛使用，成果頗豐。研究者期望能夠自由地定義和擴展新模型，僅需少量代碼改動(dòng)就對模型行為產(chǎn)生巨大改變，這一開(kāi)發(fā)理念與SpikingJelly（驚蜇）的設計哲學(xué)不謀而合。SpikingJelly（驚蜇）中的絕大多數模塊都是通過(guò)層次清晰的多重繼承實(shí)現，這既為開(kāi)發(fā)者降低了開(kāi)發(fā)成本，也給用戶(hù)提供了完美的定義新模型的范例。 

　　第三，性能卓越。深度學(xué)習涉及大規模數據處理、大尺度模型訓練，脈沖深度學(xué)習亦不例外。而SNN特有的額外的時(shí)間維度，使其具有更高的計算復雜度，因而脈沖深度學(xué)習對計算資源的需求更高?？紤]到ImageNet這樣百萬(wàn)規模樣本的數據集已經(jīng)在SNN中廣泛使用，研究者愈發(fā)關(guān)注網(wǎng)絡(luò )的訓練速度。SpikingJelly（驚蜇）充分利用SNN的特性，通過(guò)計算圖遍歷順序優(yōu)化、JIT （just-in-time compilation, 即時(shí)編譯）、半自動(dòng)CUDA代碼生成等技術(shù)來(lái)加速SNN仿真，與其他框架相比可達11倍的訓練加速。第三方獨立社區Open Neuromorphic組織對多個(gè)SNN框架進(jìn)行了精細的速度基準測試，參與評測的框架除了SpikingJelly（驚蜇）還包括來(lái)自Intel、SynSense時(shí)識科技、加州大學(xué)圣克魯斯分校、海德堡大學(xué)、瑞典皇家理工學(xué)院等科技公司和學(xué)術(shù)機構的框架，結果表明SpikingJelly（驚蜇）具有最快的仿真速度，比其他框架快10倍以上。

　　SpikingJelly（驚蜇）框架自2019年冬季一經(jīng)推出就受到了研究者們的歡迎和廣泛使用，基于SpikingJelly（驚蜇）的研究工作已經(jīng)大量出版，將SNN的應用從簡(jiǎn)單的MNIST數據集分類(lèi)擴展到人類(lèi)水平的ImageNet圖像分類(lèi)、網(wǎng)絡(luò )部署、事件相機數據處理等實(shí)際應用。此外，一些尖端前沿領(lǐng)域的探索也被報道，包括可校準的神經(jīng)形態(tài)感知系統、神經(jīng)形態(tài)憶阻器、事件驅動(dòng)加速器硬件設計等。目前有超過(guò)95篇公開(kāi)論文使用SpikingJelly（驚蜇）框架進(jìn)行實(shí)驗，其中25篇發(fā)表在CCF-A類(lèi)人工智能頂級會(huì )議，5篇發(fā)表在IEEE Transactions，1篇發(fā)表在Nature Communications。以上應用和研究表明，SpikingJelly（驚蜇）的開(kāi)源，極大促進(jìn)了脈沖深度學(xué)習領(lǐng)域的發(fā)展。 

　　介紹SpikingJelly (驚蜇)框架的論文SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence于2023年10月6號在Science子刊《科學(xué)進(jìn)展》（Science Advances）在線(xiàn)發(fā)表。北京大學(xué)計算機學(xué)院田永鴻教授、中國科學(xué)院自動(dòng)化研究所李國齊研究員為論文共同通訊作者，北京大學(xué)計算機學(xué)院直博生方維為論文第一作者。國家自然科學(xué)基金、鵬城云腦網(wǎng)絡(luò )智能重大科技基礎設施項目、北京市自然科學(xué)基金為此項研究提供了資助。SpikingJelly（驚蜇）框架在2020-2022連續三年獲得科技部領(lǐng)導的啟智社區優(yōu)秀開(kāi)源項目，啟智社區亦為框架的發(fā)展提供了大力支持。 

圖1. SpikingJelly論文發(fā)表于Science Advances

圖2. SpikingJelly(驚蜇)框架的整體結構、示例代碼、仿真速度、生態(tài)位以及典型應用

圖3. SpikingJelly(驚蜇)框架中的典型模塊

圖4：SpikingJelly(驚蜇)框架的典型應用

　　論文網(wǎng)址： 

　　https://www.science.org/doi/full/10.1126/sciadv.adi1480 

　　SpikingJelly（驚蜇）框架網(wǎng)址： 

　　GitHub： https://github.com/fangwei123456/spikingjelly 

　　啟智社區： https://openi.pcl.ac.cn/OpenI/spikingjelly 

來(lái)源：中國科學(xué)院自動(dòng)化研究所