5月6日，在華為昇騰AI開(kāi)發(fā)者峰會(huì )上，中國科學(xué)院自動(dòng)化研究所“紫東太初”大模型研究中心常務(wù)副主任、武漢人工智能研究院院長(cháng)王金橋研究員介紹，基于華為全棧國產(chǎn)化軟硬件平臺昇騰AI，中國科學(xué)院自動(dòng)化研究所和武漢人工智能研究院正在聯(lián)合打造“紫東太初”2.0全模態(tài)大模型，可實(shí)現文本、圖片、語(yǔ)音、視頻、3D點(diǎn)云、傳感信號等不同模態(tài)的統一表征和學(xué)習，助推通用人工智能時(shí)代加速到來(lái)。 

　　超前布局，堅持以多模態(tài)技術(shù)探索通用人工智能 

　　從嬰幼兒開(kāi)始，人類(lèi)的認知學(xué)習就建立在對現實(shí)世界圖像、聲音和文字等多種模態(tài)信息基礎之上。突破模態(tài)限制，實(shí)現圖、文、音等更多模態(tài)的通用大模型是人工智能融入現實(shí)世界的必然。

　　2019年開(kāi)始，中科院自動(dòng)化所在語(yǔ)音、文本、圖像等單模態(tài)大模型研究和應用基礎上，瞄準多模態(tài)大模型領(lǐng)域開(kāi)始聯(lián)合攻關(guān)，并于2021年7月正式發(fā)布了全球首個(gè)千億參數多模態(tài)大模型“紫東太初”，以多模態(tài)技術(shù)探索通用人工智能發(fā)展道路。 

　　區別于當前以文本為主的大部分語(yǔ)言大模型，“紫東太初”大模型在研發(fā)之初即堅持以多模態(tài)技術(shù)為核心，利用圖-音-文等更多類(lèi)型數據進(jìn)行跨模態(tài)的統一表征和學(xué)習，實(shí)現了圖像、文本、語(yǔ)音三模態(tài)數據間的“統一表示”與“相互生成”，使人工智能大模型的理解和生成能力更加接近人類(lèi)，為貫通多模態(tài)人工智能行業(yè)應用提供了創(chuàng )新基礎，向通用人工智能邁出關(guān)鍵一步。 

　　從感知到認知，面向數字物聯(lián)世界再上新臺階 

　　世界已經(jīng)進(jìn)入了數字物聯(lián)時(shí)代。在“紫東太初”1.0應用推廣過(guò)程中，除了需要處理海量語(yǔ)音、圖像和文本等互聯(lián)網(wǎng)信息外，更需要處理多種傳感器、3D點(diǎn)云及視頻等物聯(lián)網(wǎng)海量數據，才能滿(mǎn)足現實(shí)生產(chǎn)力的提高。針對數字物聯(lián)時(shí)代的新需求與新趨勢，中科院自動(dòng)化所研究探索全模態(tài)大模型體系架構和基礎算法，持續推動(dòng)“紫東太初”技術(shù)和應用發(fā)展。 

　　在文本、圖片、音頻、視頻的基礎上，“紫東太初” 2.0可融入3D、視頻、傳感信號等更多模態(tài)數據，并優(yōu)化語(yǔ)音、視頻和文本的融合認知以及常識計算等功能，進(jìn)一步突破感知、認知和決策的交互屏障，讓人工智能從感知世界進(jìn)化為認知世界，延伸出更加強大的通用能力。 

　　打造全棧國產(chǎn)化通用人工智能底座 

　　全棧國產(chǎn)化通用人工智能平臺的實(shí)踐對我國實(shí)現AI領(lǐng)域科技自立自強、占領(lǐng)科技創(chuàng )新高地具有重要的戰略意義?！白蠔|太初”大模型從立項開(kāi)始，就以中科院自動(dòng)化所自研算法為核心，以全棧國產(chǎn)化基礎軟硬件昇騰AI平臺為基礎，依托武漢人工智能計算中心算力支持，真正意義上實(shí)現了國產(chǎn)人工智能大模型的可控、可信、可用，有力地促進(jìn)了國產(chǎn)全棧式基礎軟硬件的發(fā)展。 

　　目前，由中科院自動(dòng)化所牽頭打造的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體已陸續吸納產(chǎn)學(xué)研各界近70家成員單位。圍繞多模態(tài)大模型技術(shù)及應用，“紫東太初”大模型已在手語(yǔ)教學(xué)、法律咨詢(xún)、交通出行、醫療機器人、醫學(xué)影像判讀等數十個(gè)行業(yè)場(chǎng)景領(lǐng)域已展現出廣闊的落地潛力。在華為昇騰AI開(kāi)發(fā)者峰會(huì )，“紫東太初”大模型開(kāi)源了基于昇騰昇思的3.8B圖像-文本-語(yǔ)音多模態(tài)模型并開(kāi)放紫東太初大模型服務(wù)平臺。 

　　從互聯(lián)網(wǎng)的圖音文多模態(tài)走向物聯(lián)網(wǎng)的全模態(tài)，以打造國產(chǎn)化通用人工智能底座為目標，中科院自動(dòng)化所將持續推進(jìn)“紫東太初”大模型基礎理論、關(guān)鍵技術(shù)和應用生態(tài)的全鏈條自主創(chuàng )新，著(zhù)力以自主可控基礎軟硬件建立開(kāi)源開(kāi)放的多模態(tài)產(chǎn)業(yè)生態(tài)，不懈探索通用人工智能創(chuàng )新路徑。

來(lái)源：中國科學(xué)院自動(dòng)化研究所