沒(méi)有人知道人工智能（Artificial Intelligence，AI）將如何改變世界，原因之一在于，沒(méi)有人真正了解這些AI的內部運作方式。一些AI系統具備的能力遠遠超出了它們所受訓練的范圍——就連它們的發(fā)明者也對此感到困惑。研究人員也在想盡辦法理解，為什么大語(yǔ)言模型能夠掌握那些沒(méi)人告訴過(guò)它們的知識。越來(lái)越多的測試表明，這些AI系統就像我們人類(lèi)的大腦一樣，在自己的內部構建出了現實(shí)世界的模型——盡管它們達成的方式和我們的不同。

AI是鸚鵡學(xué)舌嗎

美國布朗大學(xué)的埃莉·帕夫利克是致力于填補這一空白的研究人員之一。帕夫利克表示：“如果我們不了解它們是如何運作的，任何想要優(yōu)化人工智能、使它變得更安全或者類(lèi)似的行為，對我來(lái)說(shuō)都是很荒謬的?！?/p>

從某種程度上說(shuō)，帕夫利克和她的同事對“基于生成式預訓練模型”（Generative Pre-trained Transformer，GPT）和其他類(lèi)型的大型語(yǔ)言模型（LLM）了解得一清二楚。這些模型都依賴(lài)于一種名為“神經(jīng)網(wǎng)絡(luò )”的機器學(xué)習系統——它的結構大致仿照了人腦的神經(jīng)元連接。用于構建神經(jīng)網(wǎng)絡(luò )的程序代碼相對簡(jiǎn)單，僅占幾個(gè)屏幕的篇幅就能建立起一種可自動(dòng)更正的算法。這種算法可以統計分析數百GB的互聯(lián)網(wǎng)文本，再挑選出最有可能的單詞，由此生成一段內容。一些額外訓練還能確保系統以對話(huà)的形式呈現結果。從這個(gè)意義上說(shuō)，它所做的只是重復所學(xué)到的內容——用美國華盛頓大學(xué)語(yǔ)言學(xué)家埃米莉·本德的話(huà)來(lái)說(shuō)，這就是一只“隨機鸚鵡”。這并不是詆毀已故的非洲灰鸚鵡亞歷克斯，它能夠理解諸如顏色、形狀和面包等概念，并且會(huì )有意地使用相應的詞語(yǔ)。不過(guò)，LLM也通過(guò)了律師資格考試，并就希格斯玻色子寫(xiě)了一首十四行詩(shī)，甚至還試圖破壞用戶(hù)的婚姻。鮮有人預料到，一個(gè)相當簡(jiǎn)單的自動(dòng)更正算法可以具備如此廣泛的能力。

此外，GPT和其他AI系統還能執行未經(jīng)訓練的任務(wù)，因而會(huì )產(chǎn)生一些“涌現能力”（Emergent Abilities，隨模型規模增大而不可預測地出現的能力）。這一點(diǎn)甚至讓那些對LLM過(guò)度宣傳普遍持懷疑態(tài)度的研究人員也感到驚訝。美國圣菲研究所的AI研究員梅拉妮·米切爾表示：“我不知道它們是如何做到的，也不知道它們能否像人類(lèi)那樣在更普遍意義上做到這一點(diǎn)，但現在的情況已經(jīng)挑戰了我的觀(guān)點(diǎn)?！?/p>

加拿大蒙特利爾大學(xué)的AI研究員約書(shū)亞·本希奧說(shuō)：“它肯定比‘隨機鸚鵡’要強得多，并且確實(shí)構建出了一些關(guān)于現實(shí)世界的內部表征——盡管我認為這和人類(lèi)腦中構建世界模型的方式不大相同?！?/p>

涌現能力

今年3月，在美國紐約大學(xué)舉辦的一場(chǎng)會(huì )議上，美國哥倫比亞大學(xué)的哲學(xué)家拉斐爾·米利埃展示了LLM另一個(gè)令人瞠目結舌的能力。我們已經(jīng)知道這些模型具備令人印象深刻的寫(xiě)代碼能力，但由于網(wǎng)上有太多的代碼可以模仿，所以不足為奇。相比之下，米利埃更進(jìn)一步證明，GPT也有執行代碼的能力。這位哲學(xué)家輸入了一個(gè)用于計算斐波那契數列中第83個(gè)數字的程序?！皥绦羞@套程序需要非常高級的多步推理，”他說(shuō)。盡管AI聊天機器人似乎本不應該能夠實(shí)現此類(lèi)操作，但它卻成功了。不過(guò)，當米利埃直接問(wèn)它第83個(gè)斐波那契數是多少時(shí)，它卻答錯了。這樣看來(lái)，它不僅僅是一只“隨機鸚鵡”、只能根據見(jiàn)過(guò)的數據輸出答案，而是可以通過(guò)執行運算來(lái)得出答案。

盡管LLM是在計算機上運行的，但它本身并不是計算機。因為它缺乏必要的計算元素，比如工作記憶（對信息進(jìn)行短時(shí)存儲和加工的記憶系統）。GPT被默認自身無(wú)法運行代碼，對此它的發(fā)明者——科技公司OpenAI推出了一個(gè)專(zhuān)門(mén)的插件，以便使生成式預訓練聊天機器人可以在回答問(wèn)題時(shí)使用這種工具來(lái)運行代碼。不過(guò)，米利埃展示的工作并沒(méi)有使用這種插件。相反，他猜測GPT可以利用它根據上下文解釋單詞的能力，臨時(shí)創(chuàng )建一種記憶——這種行為很像自然界中的生物如何將現有能力重新用于實(shí)現新功能一樣。

這種可以臨時(shí)產(chǎn)生記憶的能力表明，LLM發(fā)展出了遠超出簡(jiǎn)單統計分析的內部復雜性。研究人員發(fā)現，這些系統似乎能夠真正理解它們所學(xué)的內容。在今年5月舉辦的國際表征學(xué)習大會(huì )上，美國哈佛大學(xué)的博士生肯尼思·李和他的同事報告了一項研究，他們搭建了一個(gè)較小的GPT神經(jīng)網(wǎng)絡(luò )，以便研究其內部運作。通過(guò)以文本形式輸入棋子走法，他們對它進(jìn)行了數百萬(wàn)場(chǎng)黑白棋（Othello）的比賽訓練，從而使他們的模型成為一名近乎完美的玩家。

為了研究神經(jīng)網(wǎng)絡(luò )如何編碼信息，他們采用了來(lái)自蒙特利爾大學(xué)的本希奧和紀堯姆·阿蘭于2016年開(kāi)發(fā)的一項技術(shù)。他們創(chuàng )建了一種微型“探針”網(wǎng)絡(luò )來(lái)逐層分析主網(wǎng)絡(luò )?？夏崴肌だ钫J為這好比神經(jīng)科學(xué)中的方法，“就像把探針?lè )湃肴四X一樣?！本涂夏崴肌だ畹热擞柧毜腁I模型而言，探針顯示它的“神經(jīng)活動(dòng)”與一場(chǎng)黑白棋游戲的表征相匹配，不過(guò)是以卷積的形式存在。為了證實(shí)這一點(diǎn)，研究人員在將信息植入網(wǎng)絡(luò )時(shí)反向運行探針，例如，將棋盤(pán)游戲中的一枚黑棋翻轉成白棋?？夏崴肌だ畋硎荆骸皬母旧险f(shuō)，我們侵入了這些語(yǔ)言模型的‘大腦’?！苯Y果顯示，神經(jīng)網(wǎng)絡(luò )據此調整了自己的行為。研究人員推斷，它在玩黑白棋時(shí)與人類(lèi)大致相同：在“腦?！敝邢胂笠粋€(gè)棋盤(pán)，并使用這個(gè)模型來(lái)評估可走的棋步?？夏崴肌だ钫J為，系統之所以能夠學(xué)會(huì )這項技能，是因為這是對它所接受的訓練數據的最簡(jiǎn)潔的一種描述?！叭绻阌幸淮蠖延螒蚰_本，那么最好的壓縮數據的方法就是嘗試找出背后的規則?！彼a充道。

這種推斷外部世界結構的能力并不局限于簡(jiǎn)單的走棋動(dòng)作，它還表現在對話(huà)中。麻省理工學(xué)院的研究人員利用一種文字冒險游戲研究了神經(jīng)網(wǎng)絡(luò )。他們會(huì )輸入一些語(yǔ)句，比如先輸入“鑰匙在寶箱里”，然后輸入“你拿走鑰匙”。利用一種探針，他們發(fā)現這些神經(jīng)網(wǎng)絡(luò )已經(jīng)在內部編碼了與“寶箱”和“你”對應的變量，每個(gè)變量都分為“有鑰匙”和“無(wú)鑰匙”這兩種情況，并且變量的值會(huì )隨輸入語(yǔ)句的不同而不斷更新。這個(gè)系統并不能獨立地理解寶箱和鑰匙的含義，但是它可以從語(yǔ)句中挑選出完成這項任務(wù)所需的概念。

研究人員驚嘆于LLM能夠從文本中學(xué)到如此多的內容。例如，帕夫利克和同事發(fā)現，這些神經(jīng)網(wǎng)絡(luò )可以從互聯(lián)網(wǎng)的文本數據中獲得關(guān)于顏色的描述，然后構建關(guān)于顏色的內部表征。當它們看到“紅色”這個(gè)詞時(shí)，不只是將它作為一個(gè)抽象符號來(lái)處理，還會(huì )把它當作一個(gè)與栗色、深紅色、紫紅色和鐵銹色等顏色具有某種聯(lián)系的概念。想要體現出這一點(diǎn)還有些棘手。研究人員并沒(méi)有使用探針，而是研究了AI模型對一系列文本提示所作的響應。為了檢驗AI系統是否只是在模仿互聯(lián)網(wǎng)上數據中不同顏色之間的關(guān)系，他們嘗試誤導系統，告訴它紅色其實(shí)是綠色。結果表明，AI系統并沒(méi)有照搬錯誤的答案，而是通過(guò)適當更正輸出了正確答案。AI可以通過(guò)找到訓練數據背后的邏輯來(lái)實(shí)現自我更正，對此微軟研究院的機器學(xué)習研究員塞巴斯蒂安·布貝克表示，數據范圍越廣，系統發(fā)現的規則就越普遍。

語(yǔ)境學(xué)習

除了提取語(yǔ)言的潛在含義外，LLM還能現學(xué)現用。在人工智能領(lǐng)域，“學(xué)習”一詞通常用在計算密集型的進(jìn)程中，包括開(kāi)發(fā)人員給神經(jīng)網(wǎng)絡(luò )提供GB級別的數據，以及修改其內部連接。當你向生成式預訓練聊天機器人提出一個(gè)問(wèn)題時(shí)，神經(jīng)網(wǎng)絡(luò )理應固定不變，因為它不像人類(lèi)一樣會(huì )繼續學(xué)習。但令人驚訝的是，LLM實(shí)際上可以學(xué)會(huì )根據用戶(hù)給出的提示生成與上下文相關(guān)的輸出，這種能力被稱(chēng)為“上下文學(xué)習”（In-context Learning，又稱(chēng)語(yǔ)境學(xué)習）。AI公司SingularityNET的創(chuàng )始人本·戈策爾表示：“這是一種完全不同的學(xué)習方式，此前我們并不真正了解它?！?/p>

人類(lèi)與AI聊天機器人之間的交互方式是展示LLM如何學(xué)習的一個(gè)例子。你可以給系統舉例說(shuō)明你希望它如何響應，然后它就會(huì )服從你的指令。它的輸出取決于它看到的最后幾千個(gè)單詞，這樣的行為是由AI模型固定的內部連接決定的——不過(guò)單詞序列提供了一定程度的可變性。整個(gè)互聯(lián)網(wǎng)都在致力于尋找讓模型“越獄”的提示詞，以此突破系統防護——例如，系統防護會(huì )阻止它告訴用戶(hù)如何制作管狀炸彈——這通常是通過(guò)引導模型“扮演”一個(gè)沒(méi)有防護的系統來(lái)實(shí)現的。有些人利用“越獄”來(lái)達成一些可疑意圖，而另一些人則是利用“越獄”來(lái)獲得更具創(chuàng )造性的答案。佛羅里達大西洋大學(xué)機器感知與認知機器人實(shí)驗室聯(lián)合主任威廉·哈恩表示，與不加“越獄”提示詞而直接詢(xún)問(wèn)AI科學(xué)問(wèn)題相比，加了以后可以表現得更好，“我認為這將能更好地解決科學(xué)問(wèn)題?！睋Q句話(huà)說(shuō)，“越獄后的模型更擅長(cháng)學(xué)術(shù)問(wèn)題?！绷硪环N類(lèi)型的語(yǔ)境學(xué)習則是通過(guò)一種叫做“思維鏈”的提示方法實(shí)現的。這種方法要求神經(jīng)網(wǎng)絡(luò )闡明其推理過(guò)程中的每一步，從而使LLM在需要多步推理的邏輯或算術(shù)問(wèn)題上做得更好。值得一提的是，米利埃的研究并沒(méi)有使用類(lèi)似的提示方法，這也是它令人如此驚訝的原因之一。

2022年，由谷歌研究院和瑞士蘇黎世聯(lián)邦理工學(xué)院的研究人員組成的一支團隊發(fā)現，語(yǔ)境學(xué)習與標準學(xué)習都遵循一種名為“梯度下降法”（Gradient Descent）的基本算法——該操作是AI系統在沒(méi)有人類(lèi)幫助下自行發(fā)現的?！斑@是AI習得的一種能力，”谷歌研究院副總裁布萊斯·阿圭拉-阿爾卡斯說(shuō)。事實(shí)上，他認為L(cháng)LM可能還有其他尚未被發(fā)現的能力。

現在LLM還有相當多的盲點(diǎn)，所以我們還不能把它稱(chēng)為通用人工智能（AGI，具備與生物大腦類(lèi)似智慧的機器），但一些研究人員認為，它們這些涌現能力表明，科技公司距離AGI也許比樂(lè )觀(guān)主義者猜測的還要更近。今年3月，戈策爾在佛羅里達大西洋大學(xué)舉行的深度學(xué)習會(huì )議上說(shuō)：“它們間接證明我們離AGI可能并不遙遠?！監penAI的插件使生成式預訓練聊天機器人具有了模塊化的架構，與人類(lèi)大腦有些類(lèi)似。麻省理工學(xué)院的研究員安娜·伊萬(wàn)諾娃表示：“將GPT-4（為生成式預訓練聊天機器人提供技術(shù)支持的最新版本的LLM）與各種插件相結合，可能是一條通往AGI的途徑?！钡c此同時(shí)，研究人員還擔心他們研究這些系統的機會(huì )窗口可能正在關(guān)閉。OpenAI沒(méi)有透露GPT-4設計和訓練的細節，部分原因是它陷入了與谷歌等其他公司——且不說(shuō)其他國家的競爭中。丹·羅伯茨是麻省理工學(xué)院的理論物理學(xué)家，主要運用專(zhuān)業(yè)知識來(lái)理解人工智能。羅伯茨表示：“業(yè)界公開(kāi)的研究將可能會(huì )減少，而圍繞產(chǎn)品構建的研究工作將變得更加孤立且組織化?！?/p>

缺乏透明度不只不利于研究的開(kāi)展，圣菲研究所的米切爾說(shuō)。它還會(huì )阻礙我們對AI熱潮所產(chǎn)生的社會(huì )影響的理解?！斑@些模型透明化是確保AI安全性最重要的一點(diǎn)?！?/p>

來(lái)源：《光明日報》