這兩年，頻頻有專(zhuān)家警示深度學(xué)習即將進(jìn)入寒冬。而同時(shí)，一個(gè)名叫“類(lèi)腦智能”的詞匯火起來(lái)，這個(gè)概念說(shuō)的是一種比目前深度學(xué)習更加接近人腦的智能。這背后的故事是，深度學(xué)習的大佬，目前已經(jīng)注意到深度學(xué)習的原創(chuàng )性進(jìn)展面臨瓶頸，甚至呼吁全部重來(lái)。為了拯救這種趨勢，模擬人腦再次成為一種希望。然而這一思路是否經(jīng)得住深度推敲?  我本人做過(guò)多年計算神經(jīng)科學(xué)和AI，做一個(gè)拋磚引玉的小結。

AI發(fā)展的危機人工智能，目前多被理解成一個(gè)領(lǐng)域領(lǐng)應用的工程學(xué)科，從自動(dòng)安防系統到無(wú)人駕駛是它的疆土，而模式識別和計算機專(zhuān)家，是這片陸地的原住民。目前的人工智能事實(shí)上以工程思維為主，從當下人工智能的主流深度學(xué)習來(lái)看，打開(kāi)任何一篇論文，映入眼簾的是幾個(gè)知名數據集的性能比較，無(wú)論是視覺(jué)分類(lèi)的ImageNet，Pascal Vol，還是強化學(xué)習的Atari game。各種各樣的bench mark和曲線(xiàn)，讓我們感覺(jué)像是一個(gè)CPU或者數碼相機的導購指南。

那么，是否這些在這些流行數據庫跑分最高的“智能工具"就更智能？這可能取決于對”智能“ 本身的定義。如果你問(wèn)一個(gè)認知專(zhuān)家“智能”是不是ImageNet的錯誤率， 那么他一定會(huì )覺(jué)得相當好笑。一個(gè)人可能在識別圖片的時(shí)候由于各種勞累和馬虎，在這個(gè)數據集的錯誤率高于機器。但是只要你去和它談任何一個(gè)圖片它所理解的東西，比如一個(gè)蘋(píng)果，你都會(huì )震驚于其信息之豐富，不僅包含了真實(shí)蘋(píng)果的各種感官，還包含了關(guān)于蘋(píng)果的各種文學(xué)影視，從夏娃的蘋(píng)果，到白雪公主的蘋(píng)果。應該說(shuō)，人類(lèi)理解的蘋(píng)果更加接近概念網(wǎng)絡(luò )里的一個(gè)節點(diǎn)，和整個(gè)世界的所有其它概念相關(guān)聯(lián)，而非機器學(xué)習分類(lèi)器眼里的n個(gè)互相分離的“高斯分布”。

如果我們認為，”智能“ 是解決某一類(lèi)復雜問(wèn)題的能力，是否我們就可以完全不care上述那種”理解“呢 ？ 這樣的智能工具，頂多是一些感官的外延，而”感官“ 是否可以解決復雜問(wèn)題呢？一個(gè)能夠準確的識別1000種蘋(píng)果的機器，未必能有效的利用這樣的信息去思考如何把它在圣誕節分作為禮品分發(fā)給公司的員工，或者取悅你的女友。沒(méi)有”理解“ 的智能，將很快到達解決問(wèn)題復雜度的上限。缺少真正的理解，甚至連做感官有時(shí)也會(huì )捉襟見(jiàn)肘，你在圖像里加入各種噪聲，會(huì )明顯的干擾分類(lèi)的準確性，這點(diǎn)在人類(lèi)里并不存在。比如下圖的小狗和曲奇，你可以分出來(lái)，AI很難。

”語(yǔ)言“ 在人類(lèi)的智能里享有獨一無(wú)二的特殊性，而剛剛的”理解“問(wèn)題，背后的本質(zhì)是目前深度學(xué)習對語(yǔ)言的捉襟見(jiàn)肘。雖然我們可以用強大的LSTM生成詩(shī)歌(下圖)，再配上注意力機制和外顯記憶與人類(lèi)對話(huà)，也不代表它能理解人類(lèi)的這個(gè)語(yǔ)言系統。目前機器對自然語(yǔ)言處理的能力遠不及視覺(jué)（當下的圖卷積網(wǎng)絡(luò )或可以這個(gè)領(lǐng)域做出貢獻）。

更加糟糕的還有強化學(xué)習，深度強化學(xué)習已經(jīng)戰勝了最強大的人類(lèi)棋手。但是強化學(xué)習卻遠非一種可靠的實(shí)用方法。這里面最難的在于目前的強化學(xué)習還做不到可擴展，也就是從一個(gè)游戲的問(wèn)題擴展到真實(shí)的問(wèn)題時(shí)候會(huì )十分糟糕。一個(gè)已經(jīng)學(xué)的很好的強化學(xué)習網(wǎng)絡(luò )，可以在自己已經(jīng)學(xué)到的領(lǐng)域所向披靡，然而在游戲里稍微增加一點(diǎn)變化，神經(jīng)網(wǎng)絡(luò )就不知所措。我們可以想象成這是泛化能力的嚴重缺失，在真實(shí)世界里，這恰恰一擊致命。

游戲里的王者不代表真實(shí)世界能用

事實(shí)上在很長(cháng)時(shí)間里，人工智能的過(guò)分依賴(lài)工科思維恰恰給它的危機埋下了伏筆，在人工數據上破記錄， 并不代表我們就會(huì )在剛說(shuō)的“理解”上做進(jìn)步。這更像是兩個(gè)不同的進(jìn)化方向。其實(shí)，關(guān)于智能的更深刻的理解，早就是認知科學(xué)家，心理學(xué)家和神經(jīng)科學(xué)家的核心任務(wù)。如果我們需要讓人工智能進(jìn)步，向他們取經(jīng)就看起來(lái)很合理。

腦科學(xué)與人工智能合作與分離的歷史

雖然看起來(lái)模擬生物大腦是達到更高層次人工智能的必由之路，但是從當下的人工智能學(xué)者的角度，這遠非顯然。這里的淵源來(lái)自人工智能的早期發(fā)展史，應該說(shuō)深度學(xué)習來(lái)自于對腦科學(xué)的直接取經(jīng)，然而它的壯大卻是由于對這條道路的背離。我們可以把這個(gè)歷史概括為兩次合作一次分離。

第一次合作： 深度學(xué)習的前身-感知機。模擬人類(lèi)大腦的人工智能流派又稱(chēng)為連接主義，最早的連接主義嘗試就是模擬大腦的單個(gè)神經(jīng)元。Warren McCulloch 和 WalterPitts在1943 提出而來(lái)神經(jīng)元的模型，這個(gè)模型類(lèi)似于某種二極管或邏輯門(mén)電路。事實(shí)上，人們很快發(fā)現感知機的學(xué)習有巨大的局限性，Minksky等一批AI早期大師發(fā)現感知機無(wú)法執行“異或”這個(gè)非?；镜倪壿嬤\算，從而讓人們徹底放棄了用它得到人類(lèi)智能的希望。 對感知機的失望導致連接主義機器學(xué)習的研究陷入低谷達15年， 直到一股新的力量的注入。

第二次合作：這次風(fēng)波，來(lái)自一群好奇心極強的物理學(xué)家，在20世紀80年代，hopefiled提出了它的 Hopefield 網(wǎng)絡(luò )模型，這個(gè)模型受到了物理里的Ising模型和自旋玻璃模型的啟發(fā)，Hopefield發(fā)現，自旋玻璃和神經(jīng)網(wǎng)絡(luò )具有極大的相似性。每個(gè)神經(jīng)元可以看作一個(gè)個(gè)微小的磁極，它可以一種極為簡(jiǎn)單的方法影響周?chē)纳窠?jīng)元，一個(gè)是興奮（使得其他神經(jīng)元和自己狀態(tài)相同），一個(gè)是抑制（相反）。如果我們用這個(gè)模型來(lái)表示神經(jīng)網(wǎng)絡(luò )，那么我們會(huì )立刻得到一個(gè)心理學(xué)特有的現象：關(guān)聯(lián)記憶。比如說(shuō)你看到你奶奶的照片，立刻想到是奶奶，再聯(lián)想到和奶奶有關(guān)的很多事。這里的觀(guān)點(diǎn)是，某種神經(jīng)信息（比如奶奶）對應神經(jīng)元的集體發(fā)放狀態(tài)（好比操場(chǎng)上正步走的士兵），當奶奶的照片被輸入進(jìn)去，它會(huì )召喚這個(gè)神經(jīng)元的集體狀態(tài)，然后你就想到了奶奶。

由于這個(gè)模型可以模擬心理學(xué)的現象，人們開(kāi)始重新對模擬人腦的人工智能報以希望。人們從不同領(lǐng)域開(kāi)始涌入這個(gè)研究。在這批人里，發(fā)生了一個(gè)有趣的分化。有的人沿著(zhù)這個(gè)路數去研究真實(shí)大腦是怎么思考的，有的人則想直接用這個(gè)模型制造機器大腦，前者派生出了計算神經(jīng)科學(xué)，后者則導致了聯(lián)結主義機器學(xué)習的復興， 你可以理解為前者對貓感興趣，后者只對機器貓感興趣，雖然兩者都在那里寫(xiě)模型。CNN和RNN分別在80年中后期被發(fā)現， 應該說(shuō)，CNN的結構是直接借鑒了Husel和Wiesel發(fā)現的視覺(jué)皮層處理信息的原理，而RNN則是剛剛說(shuō)到的Hopefield網(wǎng)絡(luò )的一個(gè)直接進(jìn)化。

AI與腦科學(xué)的分離：90年代后人工智能的主流是以支持向量機為代表的統計機器學(xué)習，而非神經(jīng)網(wǎng)絡(luò )。在漫長(cháng)的聯(lián)結主義低谷期， Hinton堅信神經(jīng)網(wǎng)絡(luò )既然作為生物智能的載體，它一定會(huì )稱(chēng)為人工智能的救星，在它的努力下，Hopefield網(wǎng)絡(luò )很快演化稱(chēng)為新的更強大的模型玻爾茲曼機，玻爾茲曼機演化為受限玻爾茲曼機， 自編碼器，堆疊自編碼器，這已經(jīng)很接近當下的深度網(wǎng)絡(luò )。而深度卷積網(wǎng)絡(luò )CNN則連續打破視覺(jué)處理任務(wù)的記錄，宣布深度學(xué)習時(shí)代開(kāi)始。

然而，如果你認為這一股AI興起的風(fēng)波的原因是我們對大腦的借鑒，則一定會(huì )被機器學(xué)習專(zhuān)家diss，恰恰相反，這波深度學(xué)習的崛起來(lái)自于深度學(xué)習專(zhuān)家對腦科學(xué)的背離。CNN雖然直接模擬了大腦視皮層結構的模擬，利用了層級編碼，局部網(wǎng)絡(luò )連接，池化這樣和生物直接相關(guān)的原理。但是，網(wǎng)絡(luò )的訓練方法，卻來(lái)自一種完全非生物的方法。由于信息存儲在無(wú)數神經(jīng)元構成的網(wǎng)絡(luò )連接里，如何讓它學(xué)進(jìn)去，也是最難的問(wèn)題。很久以前，人們使用的學(xué)習方法是Hebian learning 的生物學(xué)習方法，這種方法實(shí)用起來(lái)極為困難。Hinton等人放棄這條道路而使用沒(méi)有生物支撐但更加高效的反向傳播算法，使得最終訓練成功。從此數據猶如一顆顆子彈打造出神經(jīng)網(wǎng)絡(luò )的雛形 ，雖然每次只改一點(diǎn)點(diǎn)，最終當數據的量特別巨大，卻發(fā)生一場(chǎng)質(zhì)變。

CNN能夠在2012年而不是2011或者2010年開(kāi)始爆發(fā)是因為那一年人們提出了Alexnet。而Alexnet比起之前的Lenet一個(gè)關(guān)鍵性的微小調整在于使用Relu，所謂線(xiàn)性整流單元替換了之前的Sigmoid作為激活函數。Simoid 函數才是更加具有生物基礎的學(xué)習函數，然而能夠拋棄模擬大腦的想法使用Relu，使得整個(gè)網(wǎng)絡(luò )的信息流通通暢了很多。

深度學(xué)習另一條主線(xiàn)，沿著(zhù)讓機器聽(tīng)懂人類(lèi)的語(yǔ)言，一種叫LSTM的神經(jīng)網(wǎng)絡(luò )，模擬了人類(lèi)最奇妙的記憶能力，并卻開(kāi)始處理和自然語(yǔ)言有關(guān)的任務(wù)，LSTM框架的提出依然是沒(méi)有遵循大腦的結構，而是直接在網(wǎng)絡(luò )里引入類(lèi)似邏輯門(mén)的結構控制信息。

由此我們看到，神經(jīng)網(wǎng)絡(luò )雖然在誕生之初多次吸收了生物學(xué)的原理本質(zhì)，而其最終的成功卻在于它大膽的脫離生物細節，使用更加講究效率的數理工科思維。生物的細節千千萬(wàn)，有一些是進(jìn)化的副產(chǎn)品，或者由于生物經(jīng)常挨餓做出的妥協(xié)，卻遠非智能的必須，因此對它們的拋棄極大的解放了人工智能的發(fā)展。

腦科學(xué)究竟能否開(kāi)啟深度學(xué)習時(shí)代的下個(gè)階段

那么生物神經(jīng)網(wǎng)絡(luò )究竟可不可以啟發(fā)人工智能呢？剛剛的分析我們看到生物的細節并不一定對人工智能有幫助，而生物大腦計算的根本原理卻始終在推動(dòng)深度學(xué)習 。正如CNN的發(fā)展直接使用了層級編碼的原理，然后根據自己計算的需求重新設定了細節，無(wú)論如何變化，生物視覺(jué)處理和CNN背后的數學(xué)核心卻始終保持一致。

那么目前的深度學(xué)習工具用到了多少生物大腦計算的基本原理呢，答案是，冰山一角。如果說(shuō)人工智能要繼續革命，那么無(wú)疑還要繼續深挖這些原理，然后根據這些原則重新設定細節。答案很簡(jiǎn)單，宇宙的基本定律不會(huì )有很多，比如相對論量子論這樣的根本原理幾乎統治物理世界。如果生物大腦使用一套原理實(shí)現了智能，那么很可能人工智能也不會(huì )差很遠。即使細節差距很大，那個(gè)根本的東西極有可能是一致的。

這樣的數學(xué)原理應該不會(huì )有很多條，因為人腦的結構一個(gè)驚人的特點(diǎn)就是雖然腦區非常不同，但不同腦區的構造卻極為相似，這種相似性顯示了大腦不同腦區使用類(lèi)似的基本原理。我們目前的深度學(xué)習算法，無(wú)論是CNN還是RNN，都只是發(fā)現了這個(gè)基本原理的某個(gè)局部。發(fā)現這個(gè)基本原理，恰恰是計算神經(jīng)科學(xué)的使命。對于智能這個(gè)上帝最杰出的作品，我們能做的只有盲人摸象，目前摸到的東西有一些已經(jīng)被用到了人工智能里，有些則沒(méi)有，我們隨便舉幾個(gè)看看。

確定已經(jīng)被應用的原理：

1，層級編碼原理（Hierarchical coding)：生物神經(jīng)網(wǎng)絡(luò )最基本的結構特點(diǎn)是多層，無(wú)論是視覺(jué)，聽(tīng)覺(jué)，我們說(shuō)基本的神經(jīng)回路都有層級結構，而且經(jīng)常是六層。這種縱深的層級，對應的編碼原理正是從具體特征到抽象特征的層級編碼結構。最有名的莫過(guò)于祖母細胞，這一思路直接催生了以CNN為代表的深度學(xué)習。

皮層網(wǎng)絡(luò )的構成往往是6層結構，在不同的腦區反復出現

層級編碼假設

2，集群編碼原理 (Distributed coding)：一個(gè)與層級編碼相對應的生物神經(jīng)編碼假設是集群編碼，這里說(shuō)的是一個(gè)抽象的概念，并非對應某個(gè)具體的神經(jīng)元，而是被一群神經(jīng)元所表述。這種編碼方法，相比層級編碼，會(huì )更具備魯棒性，或更加反脆弱，因為刪除一些細胞不會(huì )造成整體神經(jīng)回路的癱瘓。集群編碼在深度學(xué)習里的一個(gè)直接體現就是詞向量編碼，word2vect，詞向量編碼并沒(méi)有采取我們最常想到的每個(gè)向量獨立的獨熱編碼，而是每個(gè)向量里有大量非零的元素，如此好比用一個(gè)神經(jīng)集群表述一個(gè)單詞，帶來(lái)的好處不僅是更加具有魯棒性，而且我們無(wú)形中引入了詞語(yǔ)之間本來(lái)的互相關(guān)聯(lián)，從而使得神經(jīng)網(wǎng)絡(luò )更好的吸收語(yǔ)義信息，從而增加了泛化能力。在此處，每個(gè)詞語(yǔ)概念都有多個(gè)神經(jīng)元表達，而同一個(gè)神經(jīng)元，可以參與多個(gè)概念的描述。這與之前說(shuō)的每個(gè)概念比如祖母對應一個(gè)特定的神經(jīng)元有比較大的區別。

然而目前的深度學(xué)習依然缺乏對集群編碼更深刻的應用，這點(diǎn)上來(lái)看，計算神經(jīng)科學(xué)走的更遠，我們使用RNN內在的動(dòng)力學(xué)特性，可以編碼很多屬性。

局部被應用或沒(méi)有被應用的原理：

1，cortical minicolumn：皮層內的神經(jīng)元都采取簇狀結構，細胞之間不是獨立的存在，而是聚集成團簇，猶如一個(gè)微型的柱狀體。這些柱狀體成為信息傳輸的基本單元。這種驚人一致的皮層內結構，背后的認知原理是什么呢？ 目前還沒(méi)有定論。但是Hinton已經(jīng)把類(lèi)似的結構用到了Capsule Network，在那里，每個(gè)Capsule對應一個(gè)簇狀體，而它們有著(zhù)非常明確的使命，就是記錄一個(gè)物體的不同屬性，由于一個(gè)Capsule有很多神經(jīng)元構成，它也可以看作一個(gè)神經(jīng)元向量，如果它用來(lái)記錄一組特征，則可以對付向旋轉不變性這種非常抽象的性質(zhì)。

神經(jīng)簇細胞，每個(gè)神經(jīng)簇有80-120個(gè)神經(jīng)元，猶如大腦認知的基本單元，你可以把某個(gè)組成神經(jīng)簇的細胞集團看成矢量神經(jīng)元

Dynamic Routing Between CapsulesCapsule Network (Hinton)每個(gè)Capsule取代之前的單個(gè)神經(jīng)元，能夠同時(shí)感知物體的多個(gè)屬性，如長(cháng)度，寬度，角度，最終通過(guò)多個(gè)特征確定物體存在的概率，因此比卷積網(wǎng)絡(luò )具備表述更多不變性的能力，比如旋轉不變性

2，興奮抑制平衡：生物神經(jīng)系統的各個(gè)組成部分，尤其是靠近深層的腦區，都具有的一個(gè)性質(zhì)是興奮性和抑制性神經(jīng)元的信號互相抵消，猶如兩個(gè)隊伍拔河，兩邊勢均力敵（最終和為零）。這使得每個(gè)神經(jīng)元接受的信息輸入都在零附近，這帶來(lái)的一個(gè)巨大的好處是神經(jīng)元對新進(jìn)入信號更加敏感，具有更大的動(dòng)態(tài)范圍。這個(gè)原理已經(jīng)被深度學(xué)習悄悄的介入了，它的直接體現就是極為實(shí)用的batch normalization，輸入信號被加上或減去一個(gè)值從而成為一個(gè)零附近的標準高斯分布（這和興奮抑制平衡效果類(lèi)似），從而大大提升了網(wǎng)絡(luò )梯度傳輸的效率。

3，動(dòng)態(tài)網(wǎng)絡(luò )連接：生物神經(jīng)系統的神經(jīng)元和神經(jīng)元之間的連接-突觸本身是隨放電活動(dòng)變化的。當一個(gè)神經(jīng)元經(jīng)過(guò)放電，它的活動(dòng)將會(huì )引起細胞突觸鈣離子的濃度變化，從而引起兩個(gè)神經(jīng)元間的連接強度變化。這將導致神經(jīng)網(wǎng)絡(luò )的連接權重跟著(zhù)它的工作狀態(tài)變化，計算神經(jīng)科學(xué)認為動(dòng)態(tài)連接的神經(jīng)網(wǎng)絡(luò )可以承載工作記憶，而這點(diǎn)并沒(méi)有被目前的深度學(xué)習系統很好利用。

Synaptic Theory of Working Memory （Science）

4 Top down processing:目前深度學(xué)習使用的網(wǎng)絡(luò )以前向網(wǎng)絡(luò )為主（bottom up），而事實(shí)上，在生物大腦里，不同腦區間反饋的連接數量超過(guò)前向的連接，這些連接的作用是什么？一個(gè)主流的觀(guān)點(diǎn)認為它們是從高級腦區向感官的反向調節（top down），如同我們所說(shuō)的相由心生， 而不是相由眼生。同一個(gè)圖片有美女拿著(zhù)蛋糕，可能一個(gè)你在饑腸轆轆的時(shí)候只看到蛋糕而吃飽了就只看到美女。我們所看到的，很大程度上取決于我們想要看到什么，以及我們的心情 。這點(diǎn)對我們的生存無(wú)疑十分重要，你顯然不是在被動(dòng)的認知和識別物體，你的感知和認知顯然是統一的。你在主動(dòng)的搜索對你的生存有利的物體，而非被動(dòng)的感覺(jué)外界存在。這一點(diǎn)目前深度學(xué)習還完全沒(méi)有涉及。一個(gè)引入相應的機制的方法是加入從深層神經(jīng)網(wǎng)絡(luò )返回輸入層的連接，這樣深層的神經(jīng)活動(dòng)就可以調控輸出層的信息處理， 這可能對真正的“理解”有著(zhù)極為重大的意義。

給卷積神經(jīng)網(wǎng)絡(luò )加入從輸出端返回輸入端的連接，是一個(gè)深度學(xué)習未來(lái)的重要方向Deep Convolutional Neural Networks as Models of the Visual System

7，Grid Cells： 海馬柵格細胞是一組能夠集群表征空間位置的細胞，它們的原理類(lèi)似于對物體所在的位置做了一個(gè)傅里葉變換，形成一組表征物體空間位置的坐標基。為什么要對空間里物體的位置做一次傅里葉變換，這里包含的原理是對任何環(huán)境中的物體形成通用的空間表示，在新的環(huán)境里也可以靈活的學(xué)習物體的位置，而不是一下子成為路癡。

Grid Cell被用在強化學(xué)習里，使得我們可以得到更加強大的導航能力。

我們對柵格細胞的認知可能只是更大的神經(jīng)編碼原則的一個(gè)局部，正如同傅里葉變換和量子力學(xué)之間存在著(zhù)隱秘的聯(lián)系。雖然柵格網(wǎng)絡(luò )，目前已經(jīng)被Deepmind用于空間導航任務(wù)，但是目前AI所應用的應該只是這一原理的冰山一角。

8 Dale Principle：Dale Principle 說(shuō)的是興奮型和抑制型神經(jīng)元是完全分開(kāi)的，猶如動(dòng)物分雌雄。興奮性神經(jīng)元只對周?chē)窠?jīng)元發(fā)放正向反饋（只分泌興奮性遞質(zhì)， 如Glutamine），讓其它神經(jīng)元一起興奮，而抑制型神經(jīng)元只發(fā)放負向反饋（只分泌抑制型遞質(zhì)，如GABA），取消其它神經(jīng)元的興奮。目前的深度學(xué)習網(wǎng)絡(luò )不會(huì )對某個(gè)神經(jīng)元的連接權重做如此限制，每個(gè)神經(jīng)元均可向周?chē)窠?jīng)元發(fā)放正或負的信號。這一原理到底對AI有沒(méi)有作用目前未知。

8 Routing by Inhibitory cells ：生物神經(jīng)系統包含種類(lèi)豐富的抑制型神經(jīng)元，它們往往在生物神經(jīng)網(wǎng)絡(luò )起到調控功能，如同控制信息流動(dòng)的路由器，在合適的時(shí)候開(kāi)啟或關(guān)閉某個(gè)信號。當下的AI直接用attention的機制，或者LSTM里的輸入門(mén)來(lái)調控是否讓某個(gè)輸入進(jìn)入網(wǎng)絡(luò )，其它一點(diǎn)類(lèi)似路由器的作用，但是種類(lèi)和形式的多樣性遠不及生物系統。

9 臨界：大腦的神經(jīng)元組成一個(gè)巨大的喧鬧的動(dòng)力系統，根據很多實(shí)驗數據發(fā)現，這個(gè)動(dòng)力系統處于平衡和混沌的邊緣，被稱(chēng)為臨界。在臨界狀態(tài)，神經(jīng)元的活動(dòng)是一種混亂和秩序的統一體，看似混亂，但是隱含著(zhù)生機勃勃的秩序。臨界是不是也可以用于優(yōu)化目前的深度學(xué)習系統，是一個(gè)很大的課題。

10，自由能假說(shuō)：這個(gè)假定認為大腦是一臺貝葉斯推斷機器。貝葉斯推斷和決策的核心即由最新采納的證據更新先驗概率得到后驗概率。認知科學(xué)的核心（Perception）就是這樣一個(gè)過(guò)程。

這里再說(shuō)兩句認知，認知的過(guò)程用機器學(xué)習的語(yǔ)言說(shuō)就是用大腦的內部變量來(lái)模擬外部世界，并希望建立內部世界和外部的一個(gè)一一映射關(guān)系。這里我們說(shuō)認知的模型是一個(gè)概率模型，并且可以被一系列條件概率所描述。如果用一個(gè)形象的比喻來(lái)說(shuō)，你可以把你的大腦看成一個(gè)可以自由打隔斷的巨大倉庫，你要把外部世界不同種類(lèi)的貨放進(jìn)不同的隔斷，你的大腦內部運作要有一種對外界真實(shí)變化的推測演繹能力，即隨時(shí)根據新的證據調整的能力，你和外界世界的模型匹配的越好，你的腦子就運轉越有效率。認知是對外部世界運動(dòng)的一種編碼，你可以立刻聯(lián)想到機器學(xué)習里的表征方法（representation），如果你熟悉RNN或CNN的embeding過(guò)程，就會(huì )有一種豁然開(kāi)朗的感覺(jué)。這個(gè)假說(shuō)的理論如果成立，我們機器學(xué)習目前應當使用的只是冰山一角，可以參考強化學(xué)習種的有模型學(xué)習。更多內容見(jiàn)大腦的自由能假說(shuō)-兼論認知科學(xué)與機器學(xué)習

11 一些未被量化的心理學(xué)和認知科學(xué)領(lǐng)地，比如意識。意識可以理解為自我對自我本身的感知。關(guān)于意識的起源，已經(jīng)成為一個(gè)重要的神經(jīng)科學(xué)探索方向而非玄學(xué)，最近的一些文章指出（The controversial correlates of consiousness - Science 2018），意識與多個(gè)腦區協(xié)同的集體放電相關(guān)。但是，關(guān)于意識的一個(gè)重大疑團是它對認知和智能到底有什么作用，還是一個(gè)進(jìn)化的副產(chǎn)物。如果它對智能有不可替代的作用，那么毫無(wú)疑問(wèn)， 我們需要讓AI最終擁有意識。一個(gè)假說(shuō)指出意識與我們的社會(huì )屬性相關(guān)，因為我們需要預測它人的意圖和行動(dòng)，就需要對它人的大腦建模，從而派生了對自己本身大腦的感知和認知，從而有了意識。那么我們究竟需要不需要讓AI之間能夠互相交流溝通形成組織呢？這就是一個(gè)更有趣的問(wèn)題了。

深度學(xué)習對腦科學(xué)的啟發(fā)：

反過(guò)來(lái)，深度學(xué)習的某些發(fā)現也在反向啟發(fā)腦科學(xué)，這點(diǎn)正好對應費曼所說(shuō)的，如果你要真正理解一個(gè)東西，請你把它做出來(lái)。由于深度學(xué)習的BP算法太強大了，它可以讓我們在不care任何生物細節的情況下任意的改變網(wǎng)絡(luò )權重，這就好比給我們了一個(gè)巨大的檢測各種理論假設的東西。由于當下對大腦連接改變的方式我們也只理解了冰山一角，我們可以先丟下細節，直接去檢驗所有可能的選項。這點(diǎn)上看， 用深度學(xué)習理解大腦甚至更加有趣。

就那剛剛講的興奮抑制平衡來(lái)看，最初人們對興奮抑制平衡作用的理解更多停留在它通過(guò)對信號做一個(gè)信息增益，而在深度學(xué)習興起后 ，我們越來(lái)越多的把它的功能和batch normalization 聯(lián)系起來(lái)，而batch normalization更大的作用在于對梯度消失問(wèn)題的改進(jìn)，而且提高了泛化性能，這無(wú)疑可以提示它的更多功能。而最近的一篇文章甚至直接將它和LSTM的門(mén)調控機制聯(lián)系起來(lái)。抑制神經(jīng)元可以通過(guò)有條件的發(fā)放對信息進(jìn)行導流，正如LSTM種的輸入門(mén)，輸出門(mén)的作用，而互相連接的興奮神經(jīng)元則作為信息的載體（對應LSTM中央的循環(huán)神經(jīng)網(wǎng)絡(luò )）

Cortical Microcircuit as gated recurrent networks DeepMind LSTM 和皮層通用回路具有極為密切的相關(guān)性

我們距離通用人工智能可能還有多遠？

其實(shí)人工智能的目標就是找尋那個(gè)通用人工智能，而類(lèi)腦計算是實(shí)現它的一個(gè)重要途徑 。通用智能和當下的智能到底有什么實(shí)質(zhì)性的區別，作為本文結尾，我們來(lái)看一下：

對數據的使用效率：比如大腦對數據的應用效率和AI算法并非一個(gè)等級，你看到一個(gè)數據，就可以充分的提取里面的信息，比如看到一個(gè)陌生人的臉，你就記住他了，但是對于目前的AI算法，這是不可能的，因為我們需要大量的照片輸入讓他掌握這件事。我們可以輕松的在學(xué)完蛙泳的時(shí)候學(xué)習自由泳，這對于A(yíng)I，就是一個(gè)困難的問(wèn)題，也就是說(shuō)，同樣的效率，人腦能夠從中很快提取到信息，形成新的技能，AI算法卻差的遠。

這是為什呢？可能這里的掛件體現在一種被稱(chēng)為遷移學(xué)習的能力。雖然當下的深度學(xué)習算法也具備這一類(lèi)舉一反三的遷移學(xué)習能力，但是往往集中在一些真正非常相近的任務(wù)里，人的表現卻靈活的多。這是為什么呢？也許， 目前的AI算法缺少一種元學(xué)習的能力。和為元學(xué)習，就是提取一大類(lèi)問(wèn)題里類(lèi)似的本質(zhì)，我們人類(lèi)非常容易干的一個(gè)事情。到底什么造成了人工神經(jīng)網(wǎng)絡(luò )和人的神經(jīng)網(wǎng)路的差距，還是未知的，而這個(gè)問(wèn)題也構成一個(gè)非常主流的研究方向。

能耗比：如果和人類(lèi)相比，人工智能系統完成同等任務(wù)的功耗是人的極多倍數（比如阿法狗是人腦消耗的三百倍，3000MJ vs 10MJ 5小時(shí)比賽）。如果耗能如此劇烈，我們無(wú)法想象在能源緊張的地球可以很容易大量普及這樣的智能。那么這個(gè)問(wèn)題有沒(méi)有解呢？ 當然有，一種，是我們本身對能量提取的能力大大增強，比如小型可控核聚變實(shí)用化。另一種，依然要依靠算法的進(jìn)步，既然人腦可以做到的，我們相信通過(guò)不斷仿生機器也可以接近。這一點(diǎn)上我們更多看到的信息是，人工智能的能耗比和人相比，還是有很大差距的。

不同數據整合：我們離終極算法相差甚遠的另一個(gè)重要原因可能是現實(shí)人類(lèi)在解決的AI問(wèn)題猶如一個(gè)個(gè)分離的孤島，比如說(shuō)視覺(jué)是視覺(jué)，自然語(yǔ)言是自然語(yǔ)言，這些孤島并沒(méi)有被打通。相反，人類(lèi)的智慧里，從來(lái)就沒(méi)有分離的視覺(jué)，運動(dòng)或自然語(yǔ)言，這點(diǎn)上看，我們還處在A(yíng)I的初級階段。我們可以預想，人類(lèi)的智慧是不可能建立在一個(gè)個(gè)分離的認知孤島上的，我們的世界模型一定建立在把這些孤立的信息領(lǐng)域打通的基礎上，才可以做到真正對某個(gè)事物的認知，無(wú)論是一個(gè)蘋(píng)果，還是一只狗。

溝通與社會(huì )性：另外，人類(lèi)的智慧是建立在溝通之上的，人與人相互溝通結成社會(huì )，社會(huì )基礎上才有文明，目前的人工智能體還沒(méi)有溝通，但不代表以后是不能的，這點(diǎn)，也是一個(gè)目前的AI水平與強AI（超級算法）的距離所在。

有的人認為，我們可以直接通過(guò)模擬大腦的神經(jīng)元，組成一個(gè)和大腦類(lèi)似復雜度的復雜系統，讓它自我學(xué)習和進(jìn)化，從而實(shí)現強AI。從我這個(gè)復雜系統專(zhuān)業(yè)的角度看，這還是一個(gè)不太現實(shí)的事情。因為復雜系統里面最重要的是涌現，也就是說(shuō)當組成一個(gè)集合的元素越來(lái)越多，相互作用越來(lái)越復雜，這個(gè)集合在某個(gè)特殊條件下會(huì )出現一些特殊的總體屬性，比如強AI，自我意識。但是我們幾乎不可能指望只要我們堆積了那么多元素，這個(gè)現象（相變）就一定會(huì )發(fā)生。

至于回到那個(gè)未來(lái)人工智能曲線(xiàn)發(fā)展展望的話(huà)題，我們可以看到，這些不確定的因素都會(huì )使得這條發(fā)展曲線(xiàn)變得不可確定。然而有一點(diǎn)是肯定的，就是正在有越來(lái)越多非常聰明的人，開(kāi)始迅速的進(jìn)入到這個(gè)領(lǐng)域，越來(lái)越多的投資也在進(jìn)來(lái)。這說(shuō)明，AI已經(jīng)是勢不可擋的稱(chēng)為人類(lèi)歷史的增長(cháng)極，即使有一些不確定性，它卻不可能再進(jìn)入到一個(gè)停滯不前的低谷了，我們也許不會(huì )一天兩天就接近終極算法，但卻一定會(huì )在細分領(lǐng)域取得一個(gè)又一個(gè)突破。無(wú)論是視覺(jué)，自然語(yǔ)言，還是運動(dòng)控制。

能否走向通用人工智能的確是人工智能未來(lái)發(fā)展最大的變數，或許，我們真正的沉下心來(lái)去和大腦取經(jīng)還是可以或多或少的幫助我們。因為本質(zhì)上，我們在人工智能的研究上所作的，依然是在模擬人類(lèi)大腦的奧秘。我們越接近人類(lèi)智慧的終極算法，就越能得到更好的人工智能算法。

來(lái)源：混沌巡洋艦