★中國自動(dòng)化學(xué)會(huì )專(zhuān)家咨詢(xún)工作委員會(huì ) 孫柏林

1　什么是大模型

大模型是指具有龐大規模和復雜結構的人工智能模型，它們具有數以?xún)|計的參數和深層次的神經(jīng)網(wǎng)絡(luò )架構。這些模型通過(guò)海量數據的學(xué)習和深度神經(jīng)網(wǎng)絡(luò )的優(yōu)化，在各種任務(wù)上取得了令人矚目的成果。這些模型使用大量的多媒體數據資源作為輸入，并通過(guò)復雜的數學(xué)運算和優(yōu)化算法來(lái)完成大規模的訓練，以學(xué)習和理解到輸入數據的模式和特征。這些模式和特征最終通過(guò)大模型中龐大的參數進(jìn)行表征，以獲得與輸入數據和模型設計相匹配的能力，最終實(shí)現更復雜、更廣泛的任務(wù)，如語(yǔ)音識別、自然語(yǔ)言處理、計算機視覺(jué)等。

追尋大模型的起源，應該從那篇《Attention is All You Need》開(kāi)始，大模型的發(fā)展大致走上了兩條路：

一條路是舍棄Decoder部分，僅僅使用Encoder作為編碼器的預訓練模型，其最出名的代表就是Bert家族。這些模型開(kāi)始嘗試應用“無(wú)監督預訓練”的方式來(lái)更好地利用相較其他數據而言更容易獲得的大規模的自然語(yǔ)言數據，而“無(wú)監督”的方式就是Masked Language Model（MLM），通過(guò)Mask掉句子中的部分單詞，讓模型學(xué)習使用上下文去預測被Mask丟掉的單詞的能力。

另一條路，則是Bert的進(jìn)路沒(méi)能突破Scale Law，而這一點(diǎn)則由當下大模型的主力軍，即通過(guò)舍棄Encoder部分而基于Decoder部分的GPT家族真正做到了。GPT家族的成功來(lái)源于一個(gè)研究人員驚異的發(fā)現：“擴大語(yǔ)言模型的規?？梢燥@著(zhù)提高零樣本（zero-shot）與小樣本（few-shot）學(xué)習的能力”，這一點(diǎn)與基于微調的Bert家族有很大的區別，也是當下大規模語(yǔ)言模型神奇能力的來(lái)源。而從GPT-3開(kāi)始，當下的ChatGPT、GPT-4、Bard以及PaLM、LLaMA百家爭鳴，帶來(lái)了當下的大模型盛世。

從模型發(fā)展來(lái)看，人工智能經(jīng)歷了機器學(xué)習模型、深度學(xué)習模型、預訓練模型和大規模預訓練模型四個(gè)階段。

歸根結底，大模型的神奇能力是來(lái)源于GPT么？答案是否定的。GPT家族幾乎每一次能力的躍遷，都在預訓練數據的數量、質(zhì)量、多樣性等方面做出了重要的提升。大模型的訓練數據包括書(shū)籍、文章、網(wǎng)站信息、代碼信息等，這些數據輸入到大模型中的目的，實(shí)質(zhì)在于全面準確地反映“人類(lèi)”這個(gè)東西，并通過(guò)告訴大模型單詞、語(yǔ)法、句法和語(yǔ)義的信息，讓模型獲得識別上下文并生成連貫響應的能力，以捕捉人類(lèi)的知識、語(yǔ)言、文化等方面。

一般而言，面對許多NLP的任務(wù)，我們可以從數據標注信息的角度將其分類(lèi)為零樣本、少樣本與多樣本。無(wú)疑，零樣本的任務(wù)LLMs是最合適的方法，幾乎沒(méi)有例外，大模型在零樣本任務(wù)上遙遙領(lǐng)先于其他的模型。同時(shí)，小樣本任務(wù)也十分適合大模型的應用，通過(guò)為大模型展示“問(wèn)題-答案”的模式，可以增強大模型的表現性能，這種方式我們一般也稱(chēng)為上下文學(xué)習（In-Context Learning）。而多樣本任務(wù)盡管大模型也可以去覆蓋，但是微調可能仍然是最好的方法，當然在一些如隱私、計算等約束條件下，大模型仍然有用武之地。

同時(shí)，微調的模型很有可能會(huì )面對訓練數據與測試數據分布變化的問(wèn)題，微調的模型在OOD數據上一般表現都非常差。而相應的，LLMs由于并沒(méi)有一個(gè)顯式的擬合過(guò)程，因此表現要好許多。典型的ChatGPT基于人類(lèi)反饋的強化學(xué)習（RLHF）在大部分分布外的分類(lèi)與翻譯任務(wù)中都表現優(yōu)異，在專(zhuān)為OOD評估設計的醫學(xué)診斷數據集DDXPlus上也表現出色。

從目前來(lái)看，不可能出現一家AI大模型一統天下的情況，因為AI大模型是否能夠得到廣泛使用，一方面要看技術(shù)能力，另一方面則要看應用場(chǎng)景和流量格局。

AI大模型百花齊放只是一個(gè)階段性現象。在演變的過(guò)程中，各家企業(yè)和機構會(huì )逐漸找到自己的定位，走向細分市場(chǎng)。

百度創(chuàng )始人、董事長(cháng)兼首席執行官李彥宏曾在演講中分析了大模型在技術(shù)方面的演進(jìn)：大模型之所以會(huì )改變人工智能，原因就在于大算力、大模型、大數據，導致了智能涌現。他解釋了何為“智能涌現”：過(guò)去的人工智能是想讓機器學(xué)會(huì )什么技能，就教它什么技能。大模型導致智能涌現后，以前沒(méi)教過(guò)的技能，機器也會(huì )了。同時(shí)他還表示，人工智能發(fā)生了方向性改變，從辨別式AI走向生成式AI?；氐酱竽Ｐ捅旧淼膽蒙?，李彥宏在演講中表示，大模型會(huì )重新定義營(yíng)銷(xiāo)和客服?！暗览砗芎?jiǎn)單，就是誰(shuí)擁有最佳的跟客戶(hù)溝通的方式，誰(shuí)就會(huì )擁有這個(gè)客戶(hù)?！?/p>

當下，大模型密集發(fā)布，各大廠(chǎng)商紛紛加碼人工智能，這樣的大模型“狂”潮還會(huì )持續多久，發(fā)展方向是什么？針對業(yè)界關(guān)注的熱點(diǎn)問(wèn)題，《人民郵電》報記者采訪(fǎng)了北京郵電大學(xué)經(jīng)濟管理學(xué)院教授曾劍秋，他認為大模型帶來(lái)的顛覆性創(chuàng )新可以總結為：規模大、速度快、場(chǎng)景全。

首先，參數規模上，從GPT-1的1.17億參數到GPT-3的1750億參數，大模型的參數規模動(dòng)輒上千億，能夠從海量數據和知識中學(xué)習，在不同領(lǐng)域和場(chǎng)景中“輕松”完成任務(wù)。

其次，得益于信息基礎設施穩步推進(jìn)帶來(lái)的算力提升，大模型能夠在短時(shí)間內響應用戶(hù)并提供歸納整理后的內容，從聊天機器人轉變?yōu)閿底种帧?/p>

其次，得益于信息基礎設施穩步推進(jìn)帶來(lái)的算力提升，大模型能夠在短時(shí)間內響應用戶(hù)并提供歸納整理后的內容，從聊天機器人轉變?yōu)閿底种帧?/p>

曾劍秋還認為，大模型是建立在網(wǎng)絡(luò )能力、數據能力和計算能力三者之上的創(chuàng )新應用。大模型需要在多個(gè)設備之間進(jìn)行數據傳輸和參數同步，而堅實(shí)的網(wǎng)絡(luò )基礎為大模型提供了高效、穩定、可擴展的訓練和部署環(huán)境。數據能力對于大模型的訓練和應用至關(guān)重要，因為大模型需要從海量數據中學(xué)習和捕獲知識以提升泛化能力。在計算能力方面，大模型需要海量的計算資源來(lái)執行復雜運算和存儲巨量參數，需要使用高性能、低功耗、高度并行的計算設備和系統（如GPU）?？梢哉f(shuō)，算力是大模型訓練和人工智能發(fā)展的基礎設施。

曾劍秋談道，這三種能力是大模型發(fā)展、人工智能產(chǎn)業(yè)進(jìn)步和信息技術(shù)創(chuàng )新應用的“沃土”。入局大模型的門(mén)檻主要包括基礎門(mén)檻、訓練門(mén)檻和應用門(mén)檻?；A門(mén)檻包括網(wǎng)絡(luò )能力和數據處理能力，需要具備大模型訓練計算所需的高性能服務(wù)器、GPU設備、高速網(wǎng)絡(luò )等。訓練門(mén)檻是指大模型的“成長(cháng)”迭代需要不斷訓練，需要提供符合一定標準的高質(zhì)量訓練數據，因而需要花費時(shí)間和計算資源來(lái)對數據進(jìn)行清洗和預處理，從而保障數據的質(zhì)量和準確性。應用門(mén)檻是指大模型的落地需要與垂直行業(yè)需求深度融合，同時(shí)，對于企業(yè)來(lái)說(shuō)需要權衡收益與研發(fā)成本?；诠袛祿拇竽Ｐ褪峭ㄓ玫鬃?，很難滿(mǎn)足專(zhuān)業(yè)場(chǎng)景的特定需求。

曾劍秋談到，如何打通大模型技術(shù)和產(chǎn)業(yè)應用的“最后一公里”，找到計算資源和產(chǎn)業(yè)應用效果之間的平衡，是需要關(guān)注的重點(diǎn)課題。大模型“熱”需要“冷”思考，要超前布局也要理性發(fā)展。曾劍秋表示，盲目跟風(fēng)研發(fā)大模型不可取，當熱潮退去，留下的注定是推動(dòng)人工智能技術(shù)革新、深耕垂直行業(yè)應用的數智實(shí)干家。同時(shí)，曾劍秋建議建立國家級的基礎大模型平臺，加強智算中心、超算中心等算力資源統籌，加強跨數據中心算力協(xié)同能力，從戰略高度著(zhù)手，培育大模型發(fā)展基礎，構筑人工智能發(fā)展優(yōu)勢。

當前通用與行業(yè)大模型研發(fā)呈爆發(fā)式增長(cháng)。大模型對當前產(chǎn)業(yè)發(fā)展將起到怎樣的作用？

中國移動(dòng)集團級首席科學(xué)家、IEEE Fellow馮俊蘭認為：

一是大模型帶來(lái)了人工智能技術(shù)范式的變革。正如牛頓定律之于物理學(xué)的意義一樣，大模型開(kāi)啟了人工智能的“大一統時(shí)代”。

二是大模型帶來(lái)了人工智能研發(fā)模式的轉變，包括三個(gè)趨勢：第一，研發(fā)團隊由小到大，需要以企業(yè)為主體的創(chuàng )新模式。大模型的打造是一個(gè)集大算力、大數據、算法和應用于一體的系統工程，需要算法和工程兼備的專(zhuān)家型人才，具有高投入、高門(mén)檻和長(cháng)周期特性，企業(yè)在大模型研發(fā)上更具優(yōu)勢，這將催生以企業(yè)為主體的產(chǎn)學(xué)研合作的創(chuàng )新模式。第二，研發(fā)路徑由分方向、分領(lǐng)域到分層。傳統模型是面向特定場(chǎng)景、特定任務(wù)訓練得到的，而大模型是面向多種任務(wù)的通用模型。第三，大模型訓練推理需要將各要素統籌考慮，包括底層計算芯片、框架、算法、理論等在內，進(jìn)行端到端優(yōu)化。

三是大模型還將催生人工智能新的業(yè)務(wù)賦能模式。

四是大模型也將引發(fā)產(chǎn)業(yè)范式的變化，形成新的產(chǎn)業(yè)生態(tài)結構，推動(dòng)人工智能產(chǎn)業(yè)鏈分工更清晰，整個(gè)生態(tài)的研發(fā)效率得到顯著(zhù)提升，產(chǎn)業(yè)鏈更加成熟。

2　大模型的分類(lèi)

AI大模型根據不同維度有不同的分類(lèi)方式，如根據任務(wù)類(lèi)型可分為監督學(xué)習模型、無(wú)監督學(xué)習模型和強化學(xué)習模型；根據模型結構可分為DNN深度神經(jīng)網(wǎng)絡(luò )、CNN卷積神經(jīng)網(wǎng)絡(luò )、RNN循環(huán)神經(jīng)網(wǎng)絡(luò )；根據模型規?？煞譃榇笠幠ＤＰ秃椭行∫幠ＤＰ?。下面我們重點(diǎn)從模型數據類(lèi)型、模型工作模式和模型開(kāi)發(fā)模式來(lái)分析AI大模型的分類(lèi)。

（1）按模型數據的媒體類(lèi)型，AI大模型可以分為語(yǔ)言模型（Language Models）、圖像模型（Image Models）以及多模態(tài)模型（Multimodal Models）；

（2）根據模型工作方式，AI大模型可以分為生成模型（GenerativeModels）和強化學(xué)習模型（Reinforcement Learning Models）；

（3）根據模型開(kāi)發(fā)模式，AI大模型可以分為開(kāi)源大模型（Open Source Models）和在線(xiàn)大模型（Online Models）。

上述對AI大模型的分類(lèi)只是一些常見(jiàn)的示例，實(shí)際上，大模型的分類(lèi)可以更加細分，根據具體任務(wù)和應用領(lǐng)域的需求而定。

3　AI大模型的特點(diǎn)

AI大模型的特點(diǎn)如下：

一是大量的參數：大模型通常具有龐大的參數規模，這些參數可以存儲模型的知識和經(jīng)驗。更多的參數意味著(zhù)模型具有更強大的學(xué)習能力和表示能力，能夠更好地捕捉數據中的復雜模式和特征，以便進(jìn)行推理和預測。

二是上下文理解和生成：大模型能夠理解和生成更具上下文和語(yǔ)義的內容，并通過(guò)注意力機制、上下文編碼器等關(guān)鍵技術(shù)來(lái)學(xué)習和訓練大量的語(yǔ)言、圖像等輸入數據，可以從復雜的真實(shí)場(chǎng)景中提取有用的信息。

三是強大的泛化能力：大模型通過(guò)在大規模數據上進(jìn)行訓練，具有強大的泛化能力。它們從大量的數據中學(xué)習到廣泛的特征和模式，并且能夠在未學(xué)習過(guò)、未見(jiàn)過(guò)的數據上也同樣表現良好。對未學(xué)知識的泛化能力也是評估大模型的重要指標。

四是計算資源需求大：大模型對于數據和計算資源的需求非常大，需要強大的計算資源來(lái)進(jìn)行參數優(yōu)化和推理，這需要具備出色的并行計算能力的GPU、TPU處理器集群，這使得訓練和使用這些模型成為一項具有挑戰性的任務(wù)。

五是遷移學(xué)習能力：大模型在一個(gè)或多個(gè)領(lǐng)域上進(jìn)行預訓練，并能夠將學(xué)到的知識遷移到新任務(wù)或新領(lǐng)域中。這種遷移學(xué)習能力使得模型在新任務(wù)上的學(xué)習速度更快，同時(shí)也提高了模型在未知領(lǐng)域中的性能。

六是預訓練與微調：大模型可以采用預訓練和微調兩階段策略。在預訓練階段，模型通過(guò)大規模無(wú)標簽數據進(jìn)行學(xué)習，學(xué)習到一種通用表示。在微調階段，模型使用有標簽數據對模型進(jìn)行細化訓練，以適應具體的任務(wù)和領(lǐng)域。這種在大規模數據上進(jìn)行預訓練，再在具體任務(wù)上進(jìn)行微調，能夠讓大模型適應不同的應用場(chǎng)景。

七是多領(lǐng)域應用：大模型應用領(lǐng)域廣泛，能夠解決多種任務(wù)，如自然語(yǔ)言處理、計算機視覺(jué)、語(yǔ)音識別等。大模型不僅在單一模態(tài)領(lǐng)域中有很強的表現，也能夠進(jìn)行跨模態(tài)的任務(wù)處理。

4　大模型應用案例

當前人工智能領(lǐng)域涌現出了許多強大的AI大模型，下面列舉了一些目前備受矚目的AI大模型：

（1）OpenAI GPT大模型組

ChatGPT是OpenAI于2022年11月發(fā)布，它在自然語(yǔ)言的理解和生成上的卓越表現使得其在短短兩個(gè)月的時(shí)間用戶(hù)突破1億大關(guān)。它是基于GPT（Generative Pre-trained Transformer）架構開(kāi)發(fā)的大型語(yǔ)言模型，為對話(huà)式交互提供了更好的支持和響應，并在社交對話(huà)、問(wèn)題回答和一般性對話(huà)等場(chǎng)景中表現優(yōu)秀。

（2）Google PaLM&PaLM 2大模型組

PaLM（Pretraining and Fine-tuning Language Model）是在2020年由Google Research團隊發(fā)布的一種用于自然語(yǔ)言處理任務(wù)的預訓練和微調模型，它的第二個(gè)版本，最新的大型語(yǔ)言模型PaLM 2于2023年5月在Google I/O開(kāi)發(fā)者大會(huì )上推出。它支持谷歌AI聊天機器人Bard，并憑借改進(jìn)的數學(xué)、邏輯和推理技能，可以幫助生成、解釋和調試20多種編程語(yǔ)言的代碼。且為了滿(mǎn)足更多的使用場(chǎng)景，PaLM2提供了4個(gè)模型：Gecko、Otter、Bison、Unicorn，其中最小的Gecko模型可以在移動(dòng)端運行，并計劃在下一代Android系統中集成。

（3）百度文心大模型組

百度于2023年3月正式發(fā)布了AI大模型文心一言。這個(gè)基于百度智能云技術(shù)構建的大模型被廣泛集成到百度的所有業(yè)務(wù)中，并且提供了多樣化的大模型API服務(wù)，可通過(guò)零代碼調用大模型能力，自由探索大模型技術(shù)如何滿(mǎn)足用戶(hù)需求。隨后百度還推出了文心NLP大模型、文心CV大模型、文心跨模態(tài)大模型、文心生物計算大模型、文心行業(yè)大模型。

（4）訊飛星火認知大模型

科大訊飛于2023年5月正式發(fā)布了星火認知大模型，其具有7大核心能力，即文本生成、語(yǔ)言理解、知識問(wèn)答、邏輯推理、數學(xué)能力、代碼能力、多模態(tài)能力。

（5）阿里通義大模型

阿里通義大模型覆蓋語(yǔ)言、聽(tīng)覺(jué)、多模態(tài)等領(lǐng)域，致力于實(shí)現接近人類(lèi)智慧的通用智能，讓AI從“單一感官”到“五官全開(kāi)”，并分別在2023年4月和6月推出了通義千問(wèn)和通義聽(tīng)悟。

（6）清華開(kāi)源大模型ChatGLM

GLM-130B是清華智譜AI開(kāi)源項目，其目的是訓練出開(kāi)源開(kāi)放的高精度千億中英雙語(yǔ)模型，能夠讓更多研發(fā)者用上千億參數模型。在2023年3月，清華開(kāi)源了更精簡(jiǎn)的低門(mén)檻大模型ChatGLM-6B，這是一個(gè)具有62億參數的中英文雙語(yǔ)語(yǔ)言模型。在6月份，清華推出了二代開(kāi)源模型ChatGLM2-6B，它具有更強大的性能、更長(cháng)的上下文、更高效的推理（推理速度提升42%）和更開(kāi)放的開(kāi)源協(xié)議。

以上這些大模型只是當前眾多AI大模型中的一小部分，隨著(zhù)技術(shù)的不斷進(jìn)步和研究的不斷推進(jìn)，我們可以期待更多更強大的AI大模型的涌現。

5　小結

盡管存在著(zhù)諸多問(wèn)題和挑戰，但AI大模型的蓬勃發(fā)展已經(jīng)勢不可當。大模型必然是未來(lái)很長(cháng)一段時(shí)間內我們工作生活的一部分，而對于這樣一個(gè)與我們生活高度同頻互動(dòng)的“大家伙”，除了性能、效率、成本等問(wèn)題外，大規模語(yǔ)言模型的安全問(wèn)題幾乎是其面對的所有挑戰之中的重中之重。例如，機器幻覺(jué)是大模型目前還沒(méi)有極佳解決方案的主要問(wèn)題，大模型輸出的有偏差或有害的幻覺(jué)將會(huì )對使用者造成嚴重后果。同時(shí)，隨著(zhù)LLMs的“公信度”越來(lái)越高，用戶(hù)可能會(huì )過(guò)度依賴(lài)LLMs并相信它們能夠提供準確的信息，這點(diǎn)可以預見(jiàn)的趨勢增加了大模型的安全風(fēng)險。

除了誤導性信息外，由于LLMs生成文本的高質(zhì)量和低成本，它有可能被利用為進(jìn)行仇恨、歧視、暴力、造謠等攻擊的工具。據報道，三星員工使用ChatGPT處理工作時(shí)意外泄露了最新程序的源代碼屬性、與硬件有關(guān)的內部會(huì )議記錄等絕密數據。

目前大模型主要面臨的挑戰可以被歸類(lèi)如下：

實(shí)踐驗證：當前針對大模型的評估數據集往往是更像“玩具”的學(xué)術(shù)數據集，這些數據集無(wú)法完全反映現實(shí)世界中形形色色的問(wèn)題與挑戰，因此亟需實(shí)際的數據集在多樣化、復雜的現實(shí)問(wèn)題上對模型進(jìn)行評估，確保模型可以應對現實(shí)世界的挑戰。

模型對齊：大模型的強大也引出了另一個(gè)問(wèn)題：模型應該與人類(lèi)的價(jià)值觀(guān)選擇進(jìn)行對齊，確保模型行為符合預期，不會(huì )“強化”不良結果。作為一個(gè)高級的復雜系統，如果不認真處理這種道德問(wèn)題，有可能會(huì )為人類(lèi)醞釀一場(chǎng)災難。

安全隱患：大模型的研究要進(jìn)一步強調安全問(wèn)題、消除安全隱患，這需要具體的研究以確保大模型的安全研發(fā)，并需要更多地做好模型的可解釋性、監督管理工作。安全問(wèn)題應該是模型開(kāi)發(fā)的重要組成部分，而非錦上添花可有可無(wú)的裝飾。

模型未來(lái)：模型的性能還會(huì )隨著(zhù)模型規模的增加而增長(cháng)嗎？這個(gè)問(wèn)題估計OpenAI也難以回答，我們對于大模型的神奇現象的了解仍然十分有限，針對大模型原理性的見(jiàn)解仍然十分珍貴。

作者簡(jiǎn)介：

孫柏林（1936-），男，湖北黃陂人，軍事科學(xué)院研究員，少將軍銜，我國自動(dòng)控制系統與軍事系統工程專(zhuān)家，中國自動(dòng)化學(xué)會(huì )專(zhuān)家咨詢(xún)工作委員會(huì )名譽(yù)主任。

參考文獻：

[1] 齊旭. 大模型叩響工業(yè)大門(mén)[N]. 中國電子報, 2023.

[2] 趙熠如. "百模大戰"來(lái)了AI大模型市場(chǎng)百花齊放[N]. 中國商報, 2023.

[3] 盧岳. AI教育大模型落地詞典筆[N]. 消費日報, 2023.

[4] 楊子怡, 譚心琪. 大模型產(chǎn)業(yè)應用將成未來(lái)焦點(diǎn)[N]. 人民郵電, 2023.

[5] 羅錦釗, 孫玉龍, 錢(qián)增志, 等. 人工智能大模型綜述及展望[J]. 無(wú)線(xiàn)電工程, 2023.

摘自《自動(dòng)化博覽》2023年10月刊