構建更加通用的人工智能，讓模型具有更加廣泛和通用的認知能力，是當前人工智能（AI）領(lǐng)域發(fā)展的重要目標。目前流行的大模型路徑是基于Scaling Law(尺度定律)去構建更大、更深和更寬的神經(jīng)網(wǎng)絡(luò )，可稱(chēng)之為“基于外生復雜性”的通用智能實(shí)現方法。這一路徑面臨著(zhù)計算資源及能源消耗難以為繼、可解釋性不足等問(wèn)題。中國科學(xué)院自動(dòng)化研究所李國齊、徐波研究團隊聯(lián)合清華大學(xué)、北京大學(xué)等借鑒大腦神經(jīng)元復雜動(dòng)力學(xué)特性，提出了“基于內生復雜性”的類(lèi)腦神經(jīng)元模型構建方法，改善了傳統模型通過(guò)向外拓展規模帶來(lái)的計算資源消耗問(wèn)題，為有效利用神經(jīng)科學(xué)發(fā)展人工智能提供了示例。

本研究首先展示了脈沖神經(jīng)網(wǎng)絡(luò )神經(jīng)元LIF（Leaky?Integrate and Fire）模型和HH（Hodgkin-Huxley）模型^[1]在動(dòng)力學(xué)特性上存在等效性，進(jìn)一步從理論上證明了HH神經(jīng)元可以和四個(gè)具有特定連接結構的時(shí)變參數LIF神經(jīng)元（tv-LIF）動(dòng)力學(xué)特性等效?；谶@種等效性，團隊通過(guò)設計微架構提升計算單元的內生復雜性，使HH網(wǎng)絡(luò )模型能夠模擬更大規模LIF網(wǎng)絡(luò )模型的動(dòng)力學(xué)特性，在更小的網(wǎng)絡(luò )架構上實(shí)現與之相似的計算功能。進(jìn)一步，團隊將由四個(gè)tv-LIF神經(jīng)元構建的“HH模型”（tv-LIF2HH）簡(jiǎn)化為s-LIF2HH模型，通過(guò)仿真實(shí)驗驗證了這種簡(jiǎn)化模型在捕捉復雜動(dòng)力學(xué)行為方面的有效性。

實(shí)驗結果表明HH網(wǎng)絡(luò )模型和s-LIF2HH網(wǎng)絡(luò )模型在表示能力和魯棒性上具有相似的性能，驗證了內生復雜性模型在處理復雜任務(wù)時(shí)的有效性和可靠性。同時(shí)，研究發(fā)現HH網(wǎng)絡(luò )模型在計算資源消耗上更為高效，顯著(zhù)減少了內存和計算時(shí)間的使用，從而提高了整體的運算效率。研究團隊通過(guò)信息瓶頸理論對上述研究結果進(jìn)行了解釋。

為將神經(jīng)科學(xué)的復雜動(dòng)力學(xué)特性融入人工智能，為構筑人工智能與神經(jīng)科學(xué)的橋梁提供了新的方法和理論支持，為實(shí)際應用中的AI模型優(yōu)化和性能提升提供了可行的解決方案。目前，研究團隊已開(kāi)展對更大規模HH網(wǎng)絡(luò )，以及具備更大內生復雜性的多分支多房室神經(jīng)元的研究，有望進(jìn)一步提升大模型計算效率與任務(wù)處理能力，實(shí)現在實(shí)際應用場(chǎng)景中的快速落地。

該工作發(fā)表在《Nature Computational Science》，共同通訊作者是中國科學(xué)院自動(dòng)化所李國齊研究員、徐波研究員，北京大學(xué)田永鴻教授。共同一作是清華大學(xué)錢(qián)學(xué)森班的本科生何林軒（自動(dòng)化所實(shí)習生），數理基科班本科生徐蘊輝（自動(dòng)化所實(shí)習生），清華大學(xué)精儀系博士生何煒華和林逸晗。

論文鏈接：https://www.nature.com/articles/s43588-024-00674-9

評論鏈接：https://www.nature.com/articles/s43588-024-00677-6

[1] HH神經(jīng)元模型，全稱(chēng)為Hodgkin-Huxley模型，由英國生理學(xué)家Alan Hodgkin和Andrew Huxley在1952年基于魷魚(yú)巨型軸突的電生理實(shí)驗數據提出，用以描述神經(jīng)脈沖的產(chǎn)生和傳導，并因此獲得了1963年的諾貝爾醫學(xué)或生理學(xué)獎。該模型是一組描述神經(jīng)元細胞膜電生理現象的非線(xiàn)性微分方程，直接反映了細胞膜上離子通道的開(kāi)閉情況及其與膜電位變化之間的關(guān)系。HH模型是神經(jīng)科學(xué)領(lǐng)域中的一個(gè)重要里程碑，它首次從分子水平上解釋了動(dòng)作電位的產(chǎn)生機制，為后續神經(jīng)元電生理研究奠定了基礎。

來(lái)源：中國科學(xué)院自動(dòng)化研究所