辛頓開(kāi)發(fā)的玻爾茲曼機成為了生成模型的早期例子。玻爾茲曼機常被用作一個(gè)大網(wǎng)絡(luò )的一部分,可以用來(lái)根據觀(guān)眾的喜好推薦電影或電視劇。
機器學(xué)習與傳統軟件不同,傳統軟件的工作方式就像一種配方。傳統軟件接收數據,然后根據清晰的描述進(jìn)行處理并產(chǎn)生結果,就像有人收集原料并按照食譜處理。相反,在機器學(xué)習中,計算機通過(guò)實(shí)例學(xué)習,使其能夠解決模糊和復雜的問(wèn)題,這些問(wèn)題無(wú)法通過(guò)一步一步的指令來(lái)管理。
約翰·J·霍普菲爾德和杰弗里·E·辛頓因“通過(guò)人工神經(jīng)網(wǎng)絡(luò )實(shí)現機器學(xué)習的基礎性發(fā)現和發(fā)明”,獲得2024年諾貝爾物理學(xué)獎。
10月8日,2024年諾貝爾物理學(xué)獎出乎意料地授予機器學(xué)習研究領(lǐng)域,結果公布后,連獲獎?wù)弑救私芨ダ铩·辛頓(Geoffrey E。 Hinton)在接受瑞典皇家科學(xué)院的電話(huà)采訪(fǎng)時(shí),也直呼“沒(méi)有想到”。
2024年,普林斯頓大學(xué)的約翰·J·霍普菲爾德(John J。 Hopfield)和加拿大多倫多大學(xué)的杰弗里·E·辛頓因“通過(guò)人工神經(jīng)網(wǎng)絡(luò )實(shí)現機器學(xué)習的基礎性發(fā)現和發(fā)明”,獲得諾貝爾物理學(xué)獎。獲獎?wù)邔⒐蚕?100萬(wàn)瑞典克朗(約合745萬(wàn)元人民幣)獎金。
諾貝爾物理學(xué)獎為何花落機器學(xué)習?機器學(xué)習在過(guò)去15到20年里爆炸式發(fā)展,它利用了一種叫做人工神經(jīng)網(wǎng)絡(luò )的結構。所以當我們談?wù)撊斯ぶ悄軙r(shí),通常指的是使用人工神經(jīng)網(wǎng)絡(luò )的機器學(xué)習。雖然計算機不能思考,但機器現在可以模擬記憶和學(xué)習等功能。這要得益于今年諾貝爾物理學(xué)獎得主的創(chuàng )造性工作。
今年的兩位諾貝爾物理學(xué)獎得主兩位獲獎?wù)呒s翰·霍普菲爾德和杰弗里·辛頓從20世紀80年代開(kāi)始就在人工神經(jīng)網(wǎng)絡(luò )方面開(kāi)展了重要工作。他們使用了物理學(xué)的工具來(lái)開(kāi)發(fā)方法,這些方法是當今強大的機器學(xué)習的基礎。
霍普菲爾德創(chuàng )造了一種聯(lián)想記憶,可以存儲和重建圖像和其他類(lèi)型的數據模式。當給定一個(gè)不完整或稍微扭曲的網(wǎng)絡(luò )模式時(shí),霍普菲爾德的方法可以找到最相似的存儲模式。
1980年,霍普菲爾德離開(kāi)了普林斯頓大學(xué)的職位,他的研究興趣把他帶出了物理學(xué)同行們工作的領(lǐng)域。他來(lái)到加州理工學(xué)院擔任化學(xué)和生物學(xué)教授。在那里,他可以使用計算機資源進(jìn)行免費實(shí)驗,并發(fā)展他關(guān)于神經(jīng)網(wǎng)絡(luò )的想法。但他并沒(méi)有放棄自己的物理學(xué)基礎。磁性材料由于原子自旋而使得每個(gè)原子都能成為一個(gè)微小的磁鐵,相鄰原子的自旋相互影響。得益于對磁性材料的了解,霍普菲爾德利用描述自旋相互影響時(shí)材料如何發(fā)展的物理學(xué)原理,建立了一個(gè)具有節點(diǎn)和連接的模型網(wǎng)絡(luò )?;羝辗茽柕碌热死^續發(fā)展霍普菲爾德網(wǎng)絡(luò )的運作細節,例如可以存儲任何值的節點(diǎn),而不僅僅是0或1。如果把節點(diǎn)想象成圖片中的像素,它們可以有不同的顏色,而不僅僅是黑色或白色。改進(jìn)的方法使保存更多的圖片成為可能,即使它們非常相似,也可以區分它們。
記住一幅圖像是一回事,但要解釋它所描繪的內容需要更多的東西。
辛頓曾在英格蘭和蘇格蘭研究實(shí)驗心理學(xué)和人工智能,他想知道機器是否能像人類(lèi)一樣學(xué)會(huì )處理模式,分類(lèi)和解釋信息。當霍普菲爾德1982年發(fā)表關(guān)于聯(lián)想記憶的文章時(shí),辛頓正在卡內基梅隆大學(xué)工作。辛頓將霍普菲爾德發(fā)明的網(wǎng)絡(luò )作為一個(gè)新網(wǎng)絡(luò )的基礎,這種新網(wǎng)絡(luò )使用另一種方法是玻爾茲曼機,可以學(xué)習識別給定類(lèi)型數據中的特征元素。這一方法發(fā)表于1985年。
辛頓使用了統計物理學(xué)的工具,通過(guò)給機器輸入案例來(lái)訓練機器。玻爾茲曼機不是從指令中學(xué)習,而是從給定的例子中學(xué)習,它可對圖像進(jìn)行分類(lèi),或者為它所訓練的模式類(lèi)型創(chuàng )建新的案例。玻爾茲曼機每次更新一個(gè)節點(diǎn)的值,最終機器將進(jìn)入一種狀態(tài),在這種狀態(tài)下,節點(diǎn)的模式可以改變,但整個(gè)網(wǎng)絡(luò )的屬性保持不變。根據玻爾茲曼方程,每個(gè)可能的模式都有一個(gè)特定的概率,這個(gè)概率由網(wǎng)絡(luò )的能量決定。當機器停止時(shí),它創(chuàng )造了一個(gè)新的模式,這使得玻爾茲曼機成為了生成模型的早期例子。
約翰·J·霍普菲爾德和杰弗里·E·辛頓因“通過(guò)人工神經(jīng)網(wǎng)絡(luò )實(shí)現機器學(xué)習的基礎性發(fā)現和發(fā)明”,獲得2024年諾貝爾物理學(xué)獎。
20世紀90年代,許多研究人員對人工神經(jīng)網(wǎng)絡(luò )失去了興趣,但辛頓是繼續在該領(lǐng)域探索的科學(xué)家之一,他還在這項工作的基礎上幫助啟動(dòng)了當前機器學(xué)習的爆炸性發(fā)展。2006年,他和同事開(kāi)發(fā)了一種預訓練網(wǎng)絡(luò )的方法,該網(wǎng)絡(luò )由一系列分層的波爾茲曼機組成。這種預訓練為網(wǎng)絡(luò )中的連接提供了一個(gè)更好的起點(diǎn),從而優(yōu)化了識別圖像元素的訓練。玻爾茲曼機常被用作一個(gè)大網(wǎng)絡(luò )的一部分,可以用來(lái)根據觀(guān)眾的喜好推薦電影或電視劇。
值得一提的是,辛頓因在深度學(xué)習方面的貢獻與約書(shū)亞·本希奧和楊立昆一同被授予了2018年的圖靈獎。
今天的人工神經(jīng)網(wǎng)絡(luò )通常是巨大的,由更多層組成。它們被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò ),它們的訓練方式被稱(chēng)為深度學(xué)習。人工智能越來(lái)越深入各行各業(yè)、幫助科學(xué)研究。諾獎官方評價(jià)稱(chēng),物理學(xué)為機器學(xué)習的發(fā)展提供了工具,物理學(xué)作為一個(gè)研究領(lǐng)域如何也從人工神經(jīng)網(wǎng)絡(luò )中受益將是有趣的。
來(lái)源:《 澎湃新聞》